一文理解Hadoop分布式存储和计算框架入门基础

目录

• 概述
  • 定义
  • 发展历史
  • 发行版本
  • 优势
  • 生态项目
• 架构
  • 组成模块
  • HDFS架构
  • YARN架构
• 部署
  • 部署规划
  • 前置条件
  • 部署步骤
    • 下载文件（三台都执行）
    • 创建目录(三台都执行)
    • 配置环境变量(三台都执行)
    • 安装和配置（hadoop1上执行）
    • 启动和停止Hadoop
    • HDFS环境测试
    • 计算和资源环境测试

概述

定义

Hadoop 官网地址 Apache Hadoop

Hadoop GitHub地址 GitHub - apache/hadoop: Apache Hadoop

Hadoop 文档地址 Hadoop – Apache Hadoop 3.3.4

Apache Hadoop是一个由 Apache 基金会所开发的分布式存储和计算的基础框架，使用简单的编程模型跨计算机集群分布式处理海量数据，也即是主要解决海量数据的存储和海量数据的分析计算问题。

Apache Hadoop可从单个服务器扩展到数千台机器，每台机器都提供本地计算和存储，实现存储和计算高可用性；而从广义上来说， Hadoop 通常是指一个更广泛的概念 —— Hadoop 生态圈。

发展历史

• Hadoop 创始人 Doug Cutting ，为了实现与 Google 类似的全文搜索功能，他在 Lucene 框架基础上进行优化升级，查询引擎和索引引擎。
• 2001 年年底 Lucene 成为 Apache 基金会的一个子项目。
• 对于海量数据的场景， Lucene 框架面对与 Google 同样的困难， 存储海量数据困难，检索海量速度慢 。
• 学习和模仿 Google 解决这些问题的办法 ：微型版 Nutch 。
• 可以说 Google 是 Hadoop 的思想之源（ Google 在大数据方面的三篇论文，GFS --->HDFS、Map-Reduce --->MR、BigTable --->HBase）。
• 2003-2004 年， Google 公开了部分 GFS 和 MapReduce 思想的细节，以此为基础 Doug Cutting 等人用了 2 年业余时间 实现了 DFS 和 MapReduce 机制，使 Nutch 性能飙升。
• 2005 年 Hadoop 作为 Lucene 的子项目 Nutch 的一部分正式引入 Apache 基金会。
• 2006 年 3 月份， Map-Reduce 和 Nutch Distributed File System （ NDFS ）分别被