CDH集群离线搭建(适用内网)——linux系统环境配置①

前言

搭建前需阅读:
本篇内容适用于大部分场景搭建，可放心阅读，文章仅供参考
由于文章篇幅过大，文章分开进行发表，读者可根据序号顺序阅读
小白均可上手操作，如有不懂或问题可以提问

---

本次搭建所做的前提准备为
linux环境：centos7
节点个数：最少为三节点
搭建版本：CDH6.3.2和CM6.3.1
内网适用，外网适用，生产适用，测试适用

环境检查

1.查看所有节点根目录内存opt，var文件夹大小

注:每个目录需大于40G

df -h

2.查看存储节点磁盘是否挂载

一般存储节点会把hdfs的dn数据存储在挂载节点上
如果节点的磁盘尚未挂载，可以参考这篇文章进行磁盘挂载操作
Linux系统集群磁盘挂载

lsblk

3.修改每台节点主机名，配置hosts

注:需要给每一台机器做互通，把单个主机组成集群

#查看主机名
hostname
#永久修改主机名
hostnamectl set-hostname 主机名
hostnamectl set-hostname cloudcdp02.hadoop.com
#修改hosts
vim /etc/hosts
172.21.35.243	cloud01
172.21.33.22	cloud02
172.21.33.30	cloud03
172.21.34.77	cloud04

#分发hosts
scp /etc/hosts root@集群ip:/etc/hosts

4.所有节点关闭防火墙

注:防火墙必须要关闭，不然后续会影响端口使用

#查看防火墙状态
systemctl status firewalld
#停用防火墙
systemctl stop firewalld
#永久关闭防火墙
systemctl disable firewalld

5.设置集群之间的免密登录

注:集群之间互相切换，可以直接ssh 主机名 进行切换

#验证是否安装，执行ssh
#没有安装，执行安装
yum install sshd
#查看sshd状态
systemctl status sshd
#生成密钥文件，执行命令ssh-keygen -t rsa,三次回车
ssh-keygen -t rsa
#在该节点上执行，互相分发
ssh-copy-id -i ~/.ssh/id_rsa.pub 节点主机名

6.优化linux虚拟内存管理

注:这个是交换分区大小的限制

sysctl -w vm.swappiness=1
#编辑/etc/sysctl.conf以在重启后保存该设置
echo "vm.swappiness = 1" >> /etc/sysctl.conf
#使配置生效
sysctl -p
#查看是否修改成功
sysctl -a | grep 'vm.swappiness'

7.禁用透明大页面

注:需要禁掉

echo never > /sys/kernel/mm/transparent_hugepage/defrag
echo never > /sys/kernel/mm/transparent_hugepage/enabled
echo 'echo never > /sys/kernel/mm/transparent_hugepage/defrag' >> /etc/rc.local
echo 'echo never > /sys/kernel/mm/transparent_hugepage/enabled' >> /etc/rc.local

#查看是否成功
cat /sys/kernel/mm/redhat_transparent_hugepage/enabled
或
cat /sys/kernel/mm/transparent_hugepage/enabled
always madvise [never]

8.关闭selinux

#打开配置加入
vim /etc/selinux/config

SELINUX=disabled
#检验
setenforce 0

9.修改服务器句柄数

#打开limits.conf文件，加入
vi /etc/security/limits.conf

* soft nproc 65535
* hard nproc unlimited


echo "* soft nproc 65535" >> /etc/security/limits.conf
echo "* hard nproc unlimited" >> /etc/security/limits.conf
#生效
ulimit -n 65535
#验证
ulimit -a

下一篇
CDH集群离线搭建(适用内网)——NTP时钟同步配置②