hadoop-3.0.0-beta1运维手册（005）：hdfs3.0.0分布式构建-hdfs配置、无密码登录

写在前面的话

Hdfs采用分布式架构，为上层的应用和用户提供可扩展、高吞吐、高可靠的数据存储服务。在整个Hadoop生态系统中，hdfs处于最底层，也是最无可替代的一个基础设施。从2008年hadoop-0.10.1版本开始到现在的hadoop-3.0.0-beta1，hdfs已经走过了近10个年头，其架构和功能特性也发生了巨大的变化。特别是hdfs3.0.0系列，和hdfs2.x相比，增加了基于纠删码（erasure encoding）的容错方式，与传统的副本方式相比，在同等可用性的情况下， 能大幅节省一半以上的空间，这也是自hdfs诞生近这十年来，数据可靠性机制上的一个重大变化（之前一直都是副本容错方式）。此外hdfs3.0.0还增加了其它的一些特性，例如在Namenode HA中支持3个Namenode，可以容忍2个Namenode失效，而hdfs2.x只能容忍1个Namenode失效。

本文以连载的方式，在“大数据学习网”上记录自己使用hadoop-3.0.0-beta1的hdfs的点点滴滴，包括从零开始搭建分布式hdfs3.0，如何动态扩展hdfs节点、如何使用hdfs3.0的纠删码容错等等。不当之处，请大家发邮件aishuc@126com给艾叔，谢谢!

 

 

3.7 上传、解压Hadoop相关软件

我们将在nn1上配置1个namenode和1个datanode，构建一个最简的HDFS，成功后，再扩展datanode节点。

1. 切换到user，并进入/home/user

Ls应该能看到下面的文件和目录

3-50 hadoop存储目录

2. 解压hadoop

解压命令为：tar xf hadoop-3.0.0-beta1.tar.gz

解压后，应该能看到红圈内的目录

3-51 hadoop解压�������果

3.8 配置Hadoop

1. 添加JDK环境变量

切换到root用户，使用vi打开/etc/profile，在最后一行添加

JAVA_HOME=/home/user/jdk1.8.0_152

export PATH=$PATH:$JAVA_HOME/bin

这样做可以将/home/user/jdk1.8.0_152/bin添加到PATH环境变量，直接运行java命令。

验证

切换到普通用户，打印PATH环境变量

[user@nn1 ~]$ echo $PATH

/usr/local/bin:/usr/bin:/usr/local/sbin:/usr/sbin:/home/user/jdk1.8.0_152/bin:/home/user/.local/bin:/home/user/bin

如果我们可以看到绿色的部分，则说明设置成功，如果没有，可以执行source命令，再验证。

[user@nn1 ~]$ source /etc/profile

输入java，看能否直接运行

[user@nn1 ~]$ java

Usage: java [-options] class [args...]

.....

 

2. 配置hadoop-env.sh

切换到普通用户，vi打开

[user@nn1 hadoop]$ cd ~/hadoop-3.0.0-beta1/etc/hadoop/

[user@nn1 hadoop]$ vi hadoop-env.sh

在第55行添加红线部分内容

3-52 hadoop-env.sh的JAVA_HOME设置

3. 配置hdfs-site.sh

普通用户下，进入hadoop目录

[user@nn1 hadoop-3.0.0-beta1]$ cd ~/hadoop-3.0.0-beta1

[user@nn1 hadoop-3.0.0-beta1]$ pwd

复制hdfs-site.xml的默认文件

[user@nn1 hadoop-3.0.0-beta1]$ cp share/doc/hadoop/hadoop-project-dist/hadoop-hdfs/hdfs-default.xml etc/hadoop/hdfs-site.xml

注意：源端是hdfs-default.xml，目的文件是hdfs-site.xml

打开hdfs-site.xml

A. 设置namenode对外服务的主机名和端口。客户端将以此来连接namenode。

找到下面的部分，添加绿色部分内容，此处设置了namenode对外提供服务的主机名和端口，其中nn1是主机名，9001是端口，默认值是9820。

<property>

  <name>dfs.namenode.rpc-address</name>

  <value>nn1:9001</value>

  <description>

    RPC address that handles all clients requests. In the case of HA/Federation where multiple namenodes exist,

    the name service id is added to the name e.g. dfs.namenode.rpc-address.ns1

    dfs.namenode.rpc-address.EXAMPLENAMESERVICE

    The value of this property will take the form of nn-host1:rpc-port. The NameNode's default RPC port is 9820.

  </description>

</property>

B. 设置namenode的存储目录

找到下面的部分，添加绿色的内容

<property>

  <name>dfs.namenode.name.dir</name>

  <value>file:///home/user/dfs/share/namenode/</value>

  <description>Determines where on the local filesystem the DFS name node

      should store the name table(fsimage).  If this is a comma-delimited list

      of directories then the name table is replicated in all of the

      directories, for redundancy. </description>

</property>

上面绿色的部分，是一个本地路径，用于namenode存储HDFS的相关信息，如元数据。

我们要手动创建此目录。

[user@nn1 ~]$ mkdir -p ~/dfs/share/namenode

C. 设置datanode的存储目录

找到下面的部分，添加绿色的内容

<property>

  <name>dfs.datanode.data.dir</name>

  <value>file:///home/user/dfs/share/datanode/</value>

  <description>Determines where on the local filesystem an DFS data node

  should store its blocks.  If this is a comma-delimited

  list of directories, then data will be stored in all named

  directories, typically on different devices. The directories should be tagged

  with corresponding storage types ([SSD]/[DISK]/[ARCHIVE]/[RAM_DISK]) for HDFS

  storage policies. The default storage type will be DISK if the directory does

  not have a storage type tagged explicitly. Directories that do not exist will

  be created if local filesystem permission allows.

  </description>

</property>

同样，要手动创建目录

[user@nn1 hadoop-3.0.0-beta1]$ mkdir -p ~/dfs/share/datanode

 

4. 配置worker

这里我们最简化安装，只配置1个datanode，就是nn1本身。

编辑workers文件

[user@nn1 hadoop-3.0.0-beta1]$ vi etc/hadoop/workers

内容如下

localhost

修改为

nn1

 

3.9 nn1无密码登录nn1

下面设置nn1无密码登录nn1，因为启动datanode，需要用ssh远程登录。Hdfs3.0必须要做无密码登录，否则start-dfs.sh时，会报错退出。Hdfs2.x可以不做无密码登录，启动每个datanode时，需要输入密码，麻烦。

运行下面的命令

[user@nn1 hadoop-3.0.0-beta1]$ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa

Generating public/private dsa key pair.

Your identification has been saved in /home/user/.ssh/id_dsa.

Your public key has been saved in /home/user/.ssh/id_dsa.pub.

The key fingerprint is:

d4:d7:39:4c:6f:51:5e:77:70:f7:8e:41:2c:bc:80:d8 user@nn1

The key's randomart image is:

+--[ DSA 1024]----+

|       o . . .+oO|

|      . E.. o=.=B|

|        . ...o* =|

|       .   ..  * |

|        S     . .|

|                 |

|                 |

|                 |

|                 |

+-----------------+

注意：

1. .ssh不要自己创建
2. -P后面的’’，是两个单引号，不是双引号
3. 会生成id_dsa和id_dsa.pub两个文件，其中，id_dsa保存身份信息，而id_dsa.pub则保留公钥。此公钥可以用来标识本机身份，因为，如果用公钥能解密，说明是用本机私钥加密的，据此，可以判断对方身份。

将A公钥加入到B的authorized_keys中，这样，如果B可以用A的公钥来解密请求，则说明，此请求来自于A，就可以放行，让其无密码登陆。反之，其它机器因为没有A的私钥，也就无法无密码登陆。

此处，A和B都是同一主机，实现的是自己无密码登陆自己

[user@nn1 hadoop-3.0.0-beta1]$ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

[user@nn1 hadoop-3.0.0-beta1]$ ls -l ~/.ssh/

total 16

-rw-rw-r--. 1 user user 598 Nov 27 14:10 authorized_keys

-rw-------. 1 user user 668 Nov 27 14:08 id_dsa

-rw-r--r--. 1 user user 598 Nov 27 14:08 id_dsa.pub

-rw-r--r--. 1 user user 180 Nov 27 14:03 known_hosts

修改authorized_keys权限

 $chmod 600 ~/.ssh/authorized_keys

验证，直接登陆

[user@nn1 hadoop-3.0.0-beta1]$ ssh nn1

Last login: Mon Nov 27 13:32:59 2017 from 192.168.182.1

 

上一篇：《hadoop-3.0.0-beta1运维手册（004）：安装分布式hdfs3.0.0-配置JDK、设置主机名》

原创文章，转载请注明： 转载自大数据学习网，作者：艾叔

本文链接地址: http://www.bigdatastudy.net/show.aspx?id=451&cid=8