基于Hadoop的大数据集群搭建与优化策略研究

Journal: Advances in Computer and Autonomous Intelligence Research DOI: 10.12238/acair.v2i4.10319

张凤丽

天津工业职业学院

Abstract

本文旨在探讨基于Hadoop的大数据集群搭建与优化策略,通过详细阐述Hadoop分布式文件系统(HDFS)和MapReduce计算框架的架构与原理,结合实际应用场景,提出了一套高效的大数据集群搭建方案及优化策略。通过理论分析与实验验证,证明了所提优化策略在提高大数据集群处理效率和稳定性方面的有效性,为大数据处理领域的实践者和研究者提供了有价值的参考。

Keywords

Hadoop；大数据集群；Mapreduce；优化策略；HDFS

Full Text

PDF - Viewed/Downloaded: 0 Times

References

[1] 刘明康.基于大数据集群负载变化的智能计算任务分类研究[D].长春工业大学,2024.
[2] 阮宜龙,徐雪灵,法虎.基于多中心集群协同计算的大数据平台技术研究与应用[J].电信科学,2024,40(05):141-151.
[3] 周敏,曾达,杨祥.属性关联模型下大数据集群查询仿真[J].计算机仿真,2024,41(03):524-527+537.
[4] 乔永峰,孙承秀.虚拟机环境下Hadoop集群部署与简化配置的研究与实现[J].工业控制计算机,2021,34(9):130-131,133.

Citing this article:

This work is licensed under a Creative Commons Attribution-NonCommercial 4.0 International License