Hadoop

一.HDFS

1.HDFS定义

HDFS:分布式文件管理系统，管理多个机器上的问题件。
适合一次写入，多次读出的场景

2.HDFS优点：

• 处理大数据
• 高容错性，数据保存在多个副本上，副本丢失能自动恢复

3. HDFS缺点：

• 不适合低延时数据访问，比如毫秒级的存储数据，做不到
• 无法高效的对大量小文件进行存储
  1. 存储大量小文件，会占用NameNode大量内存来存储文件目录和块信息，NameNode的内存总是有限的
  2. 小文件存储的寻址时间会超过读取时间，违反了HDFS的设计目标
• 不支持并发写入，文件随机修改。
  1. .一个文件只能有一个写，不能多个线程同时写
  2. 仅支持数据的追加。

4.HDFS组成

5.HDFS 块大小

默认的块大小为128G。寻址时间为传输时间的1%为最佳状态，如果寻址块的时间未10ms。
10ms/0.01=1000ms=1s，硬盘的传输速度为100MB/s。所以块大小设置成128G。如果硬盘是200MB/s，块大小就256，依次递增

6 HDFS写流程

（1）客户端通过 Distributed FileSystem 模块向 NameNode 请求上传文件，NameNode 检查目标文件是否已存在，父目录是否存在。
（2）NameNode 返回是否可以上传。
（3）客户端请求第一个 Block 上传到哪几个 DataNode 服务器上
（4）NameNode 返回 3 个 DataNode 节点，分别为 dn1、dn2、dn3。
（5）客户端通过 FSDataOutputStream 模块请求 dn1 上传数据，dn1 收到请求会继续调用
dn2，然后 dn2 调用 dn3，将这个通信管道建立完成。
（6）dn1、dn2、dn3 逐级应答客户端。
（7）客户端开始往 dn1 上传第一个 Block（先从磁盘读取数据放到一个本地内存缓存），
以 Packet 为单位，dn1 收到一个 Packet 就会传给 dn2，dn2 传给 dn3；dn1 每传一个 packet
会放入一个应答队列等待应答。
（8）当一个 Block 传输完成之后，客户端再次请求 NameNode 上传第二个 Block 的服务
器。（重复执行 3-7 步）。

7.节点距离计算

在 HDFS 写数据的过程中，NameNode 会选择距离待上传数据最近距离的 DataNode 接
收数据
节点距离：两个节点到达最近的共同祖先的距离总和。

（1）Distance(/d1/r1/n0, /d1/r1/n0)=0（同一节点上的进程）。自己到自己
（2）Distance(/d1/r1/n1, /d1/r1/n2)=2（同一机架上的不同节点），机架r1为他们的最近的共同祖先，N-1到达机架r1的距离为1，N-2到达达机架r1的距离为1，所有1+1为2
（3）Distance(/d1/r2/n0, /d1/r3/n2)=4（同一数据中心不同机架上的节点），共同祖先为同一个数据中心，数线为4
（4）Distance(/d1/r2/n1, /d2/r4/n1)=6（不同数据中心的节点），共同祖先是数据中心还上一级，数线为6

这个就是机架，装服务器用的

8.副本节点的选择

当副本为3的时候，为了数据的安全，会选择不同的机架，为了时效性，第三个节点跟第二个节点在同一个机架上

9 HDFS读数据流程

（1）客户端通过 DistributedFileSystem 向 NameNode 请求下载文件，NameNode 通过查
询元数据，找到文件块所在的 DataNode 地址。
（2）挑选一台 DataNode（就近原则，然后随机）服务器，请求读取数据。
（3）DataNode 开始传输数据给客户端（从磁盘里面读取数据输入流，以 Packet 为单位
来做校验）。
（4）客户端选取排序靠前的DataNode来读取block
(5)读完列表的block后，若文件读取没结束，客户端继续向NameNode获取下一批block列表
read 方法是并行的读取 block 信息，不是一块一块的读取
(6最终关闭读流，并将读取来所有的block会合并成一个完整的最终文件。