【黑马程序员听课笔记】hadoop/hive集群的前置环境配置（Linux安装、用户登录、环境配置）

来自黑马程序员，“Hadoop大数据入门课”第一节课笔记

一、centos安装
centos7.6版本比较常用（CentOS-7-x86_64-DVD-1810-7.6），安装为base centos
vm 网络编辑：

1、打开网络编辑器，点击更改设置
2、选中vmnet8（之后使用的网络）
3、修改子网为 192.168.88.0
4、点击nat设置，将网关IP设置为192.168.88.2

二、大数据集群设置
以base centos 作完全克隆，克隆出node1、node2、node3
node1 4g内存；node2 2g内存；node3 2g内存；【总占用8g内存，8g/16g电脑可运行】

（一）Linux虚拟机准备

1. 安装centos

2. 克隆node1、node2、node3

（二）主机名、IP、SSH免密登录

3. 配置node1、node2、node3固定IP

"
# 切换root用户
su - 或 su - root
"
# 修改主机名
hostnamectl set-hostname node1 -- 之后终端主机名会变为node1
-- hostnamectl set-hostname node2
-- hostnamectl set-hostname node3
# 修改IP地址
vim /etc/sysconfig/network-scripts/ifcfg-ens33
# 进入编写模式
i
# 修改：
"
BOOTPROTO="dhcp" 改为 BOOTPROTO="static" -- 即固定不变的IP
在最后设置
① IP地址IPADDR，后三位101可变，如101、102、103等
② 子网掩码 NETMASK
③ 网关 GATEWAY,该项在vm的虚拟机网络设置里也可以进行配置
④ DNS1，通常DNS1和网关一致
"
BOOTPROTO="static"

IPADDR="192.168.88.101"
-- IPADDR="192.168.88.102"
-- IPADDR="192.168.88.103"
NETMASK="255.255.255.0"
GATEWAY="192.168.88.2"
DNS1="192.168.88.2"
# 退出编写
esc 
# 退出、保存
:wq
# 重启网卡
# 方式一：
systemctl stop network
systemctl start network
# 方式二：
systemctl restart network
"
重启后，使用ifconfig检查IP地址
"

4. 配置主机名映射

# 在Windows系统中修改host文件
# 路径：C:\Windows\System32\drivers\etc
# 以管理员权限在文件末尾添加：
192.168.88.101 node1
192.168.88.102 node2
192.168.88.103 node3
# Linux 系统的/etc/hosts文件中，添加（node1\2\3都要添加）：
"
可通过FinalShell连接各节点，使用node1，root，123456连接进入
"
vim /etc/hosts
192.168.88.101 node1
192.168.88.102 node2
192.168.88.103 node3

5. 配置免密登录

# 每个节点执行： 
ssh-keygen -t rsa -b 4096
" 
一路回车,执行结束
rsa:格式；4096：长度
"
# 去.ssh文件夹查看（ll）构建的私钥和公钥
cd .ssh
ll
# 每台机器执行
ssh-copy-id node1
ssh-copy-id node2
ssh-copy-id node3
"均输入：yes，123456，可执行结束"
# 检查
ssh node1 # 建立连接
exit # 退出连接

6. 创建Hadoop用户，并配置免密登录
   原因：root用户权限过大

# 每台机器创建Hadoop用户
useradd hadoop
# 每台机器执行设置密码
passwd hadoop
123456
# 切换到Hadoop用户
su - hadoop
# 执行代码创建ssh密钥
ssh-keygen -t rsa -b 4096
# 每台机器执行
ssh-copy-id node1
ssh-copy-id node2
ssh-copy-id node3

（三）JDK环境部署
JDK：JAVA语言开发环境，使用JDK1.8；软件运行需要Java运行环境支持

7. 下载JDK

版本：jdk-8u361-linux-x64.tar
下载位置：Oracle官网

8. 配置JDK环境，node1、node2、node3一致

# 创建文件夹，用来部署 JDK ，将 JDK 和 Tomcat 都安装部署到： /export/server 内
mkdir -p /export/server
"后续所有软件都可安装到这个文件夹内"
# 解压缩jdk文件
cd /export/server
ll # 检查是否上传成功
tar -zxvf jdk-8u361-linux-x64.tar.gz -C /export/server
ls # 检查是否解压成功
# 配置 JDK 的软链接
ln -s /export/server/jdk1.8.0_351 jdk
ls -l # 检查软连接配置成功
"存在：
rwxrwxrwx.1 root root  27 Apr 5 04:39 jdk -> /export/server/jdk1.8.0.361
"
# 配置 JAVA_HOME 环境变量，以及将 $JAVA_HOME/bin 文件夹加入 PATH 环境变量中
# 编辑/etc/profile文件
vim /etc/profile
"
JAVA_HOME：jdk文件夹名
PATH：搜索路径,Java的bin目录
"
export JAVA_HOME=/export/server/jdk
export PATH=$PATH:$JAVA_HOME/bin
# 生效环境变量
source /etc/profile
# 检查环境变量生成
cd jdk
ll
# 配置 java 执行程序的软链接
# 删除系统自带的Java程序
rm -f /usr/bin/java
# 软链接自己安装的Java程序
"如果环境变量不生效，可以通过/usr/bin/java找到正确的Java运行环境（自己安装的）"
ln -s /export/server/jdk/bin/java /usr/bin/java
# 执行验证，查看Java版本
java -version
javac -version

（四）防火墙、SELinux、时间同步

9. 关闭防火墙和SELinux

集群化软件之间需要通过端口互相通讯，为了避免出现网络不通的问题，我们可以简单的在集群内部关闭防火墙。
学习阶段可关闭；
3个节点均执行：

# 关闭防火墙，在每一台机器执行：
systemctl stop firewalld # 关闭防火墙
systemctl disable firewalld # 消灭开机自启
# Linux 有一个安全模块： SELinux ，用以限制用户和程序的相关权限，来确保系统的安全稳定。
# 在当前，我们只需要关闭 SELinux 功能，避免导致后面的软件运行出现问题即可
# 在每一台机器执行：
vim /etc/sysconfig/selinux
"将第7行，SELINUX=enforcing改为：SELINUX=disabled"
SELINUX=disabled
# 保存退出后，重启虚拟机即可，disabled如果写错，将无法重启虚拟机
init 6 # 重启虚拟机
systemctl status firewalld # 检查防火墙是否关闭

10. 修改时区并配置自动时间同步

在3台Linux执行：

# 安装ntp软件
yum install -y ntp
# 更新时区
rm -f /etc/localtime;sudo ln -s /usr/share/zoneinfo/Asia/Shanghai /etc/localtime
# 同步时间
ntpdate -u ntp.aliyun.com
# 开启ntp服务并设置开机自启
systemctl start ntpd

报cannot find a valid baseurl for repo:base/7/x86_64错的话，需要换源
换源方式：使用阿里云镜像
（1）更新YUM仓库源为阿里云镜像源：

sudo nano /etc/yum.repos.d/CentOS-Base.repo

将内容替换为以下内容：

[base]
name=CentOS-$releasever - Base - mirrors.aliyun.com
baseurl=http://mirrors.aliyun.com/centos/$releasever/os/$basearch/
gpgcheck=1
gpgkey=http://mirrors.aliyun.com/centos/RPM-GPG-KEY-CentOS-7
 
[updates]
name=CentOS-$releasever - Updates - mirrors.aliyun.com
baseurl=http://mirrors.aliyun.com/centos/$releasever/updates/$basearch/
gpgcheck=1
gpgkey=http://mirrors.aliyun.com/centos/RPM-GPG-KEY-CentOS-7
 
[extras]
name=CentOS-$releasever - Extras - mirrors.aliyun.com
baseurl=http://mirrors.aliyun.com/centos/$releasever/extras/$basearch/
gpgcheck=1
gpgkey=http://mirrors.aliyun.com/centos/RPM-GPG-KEY-CentOS-7
 
[centosplus]
name=CentOS-$releasever - Plus - mirrors.aliyun.com
baseurl=http://mirrors.aliyun.com/centos/$releasever/centosplus/$basearch/
gpgcheck=1
enabled=0
gpgkey=http://mirrors.aliyun.com/centos/RPM-GPG-KEY-CentOS-7

保存退出：

ctrl+x 退出
y 保存
enter

（2）清理并重建缓存

sudo yum clean all
sudo yum makecache
sudo yum update

11.设置快照