ambari部署hadoop

关注

VIP免费原创最新推荐文章于 2025-01-20 09:54:29 发布 3.6k 阅读 AI 写同款· GEO 优化 ›

Ambari 详细使用案例 Ambari 是一款开源的工具，旨在帮助用户管理和监控 AWS 云环境中的虚拟机、容器和其他资源。它提供了一个易于使用的界面，可以帮助用户快速部署和管理云环境中的资源。部署和管理虚拟机和容器。监控和管理云环境中的资源。提供易于使用的界面和 API，方便用户进行资源的管理和监控。支持多种 AWS 服务，如 EC2、EBS、ELB 等。阅读详情

ambari搭建hadoop集群

为何选用ambari

Ambari是Apache Software Foundation中的一个顶级项目，它可以创建、管理、监视Hadoop整个生态圈（例如Hive，Hbase，Sqoop，Zookeeper等）的集群，使得Hadoop以及相关的大数据软件更容易使用。

Ambari本身是一个分布式架构的软件，由Ambari Server和Ambari Agent两部分组成，用户可通过Ambari Server通知Ambari Agent安装对应的软件；Ambari Agent会定时地发送各个机器每个软件模块的状态给Ambari Server，最终这些状态信息会呈现在Ambari的GUI，方便用户了解到集群的各种状态，并进行相应的维护。

Ambari跟Hadoop等开源软件一样，也是Apache Software Foundation中的一个项目，并且是顶级项目。本次选用发布版本2.7.3。就Ambari的作用来说，就是创建、管理、监视Hadoop的集群，但是这里的Hadoop是广义，指的是Hadoop整个生态圈（例如Hive，Hbase，Sqoop，Zookeeper等），而并不仅是特指Hadoop。用一句话来说，Ambari就是为了让Hadoop以及相关的大数据软件更容易使用的一个工具。

Ambari主要取得了以下成绩：

通过一步一步的安装向导简化了集群供应。

预先配置好关键的运维指标（metrics），可以直接查看Hadoop Core（HDFS和MapReduce）及相关项目（如HBase、Hive和HCatalog）是否健康。
支持作业与任务执行的可视化与分析，能够更好地查看依赖和性能。
通过一个完整的RESTful API把监控信息暴露出来，集成了现有的运维工具。
用户界面非常直观，用户可以轻松有效地查看信息并控制集群。

最新的CDH已经没有了社区版，也就是说以后使用新版本的Cloudera Manager和CDH都是要收费的，这对于很多小公司来说，可能无法承受。转向Ambari是他们的一个可选项。Ambari是Apache的一个顶级开源项目，开源是其最大的优势，开源也意味着Ambari可以灵活地进行扩展，集成更多的数据组件，对于需要定制化和二次开发的企业来说，Ambari也极具吸引力。

github地址: ambari

安装前准备

1.准备三台机器，规格如下(可以根据实际情况调整)：

主机名	ip	cpu	内存	磁盘	role
ambari01	10.180.13.62	16c	32g	300G	ambai-server/namenode01/datanode01
ambari02	10.180.13.25	16c	32g	300G	ambai-agent/namenode02datanode02
ambari03	10.180.13.61	16c	32g	300G	ambai-agent/datanode03

机器能连外网
三台机器能连外网，在使用ambai 安装过程中，有些依赖包需要联网安装解决。
准备HDP包资源
2021年1月以来，新版本的Cloudera Manager和CDH都是要收费, 所以这里使用了旧的版本包，如下：

名称	版本	操作系统
HDP	3.0.0.0-1634	centos7.x
HDP-UTILS	1.1.0.22	centos7.x
HDP-GPL	3.0.0.0-1634	centos7.x
ambari	2.7.3.0	centos7.x

HDP 包路径：

[root@ambari01 yum.repos.d]# tree /usr/share/nginx/html/hadoop/ -L 4
/usr/share/nginx/html/hadoop/
|-- ambari
|   `-- centos7
|       `-- 2.7.3.0-139
|           |-- ambari
|           |-- ambari.repo
|           |-- artifacts.txt
|           |-- build.id
|           |-- build_metadata.txt
|           |-- hotfix_index.html
|           |-- index.html
|           |-- private_index.html
|           |-- public_index.html
|           |-- repodata
|           |-- RPM-GPG-KEY
|           |-- smartsense
|           `-- tars
|-- HDP
|   `-- centos7
|       `-- 3.0.0.0-1634
|           |-- accumulo
|           |-- artifacts.txt
|           |-- atlas
|           |-- bigtop-jsvc
|           |-- bigtop-tomcat
|           |-- build.id
|           |-- build_metadata.txt
|           |-- datafu
|           |-- druid
|           |-- hadoop
|           |-- hbase
|           |-- HDP-3.0.0.0-1634-MAINT.xml
|           |-- HDP-3.0.0.0-1634.xml
|           |-- hdp.repo
|           |-- hdp-select
|           |-- hive
|           |-- hive_warehouse_connector
|           |-- hotfix_index.html
|           |-- index.html
|           |-- kafka
|           |-- knox
|           |-- livy
|           |-- oozie
|           |-- phoenix
|           |-- pig
|           |-- private_index.html
|           |-- public_index.html
|           |-- ranger
|           |-- repodata
|           |-- RPM-GPG-KEY
|           |-- shc
|           |-- spark2
|           |-- sqoop
|           |-- storm
|           |-- superset
|