CDH6.3.2 Atlas-2.1.0安装打包使用，亲测可用！！！

Atlas2.1.0 安装与打包

一. 打包

1. 下载 atlas-source 源包， 网址： http://atlas.apache.org
   
2. 解压：

tar  -zxvf   apache-atlas-2.1.0-sources.tar.gz  -C    /opt/

4. 解压后修改pom.xml

<hadoop.version>3.0.0-cdh6.3.2</hadoop.version>
<hbase.version>2.1.0-cdh6.3.2</hbase.version>
<solr.version>7.4.0-cdh6.3.2</solr.version>
<hive.version>2.1.1-cdh6.3.2</hive.version>
<kafka.version>2.2.1-cdh6.3.2</kafka.version>
<zookeeper.version>3.4.5-cdh6.3.2</zookeeper.version>
<sqoop.version>1.4.7-cdh6.3.2</sqoop.version>

#添加cloudera镜像 
<repository>
    <id>cloudera</id>
    <url>https://repository.cloudera.com/artifactory/cloudera-repos</url>
</repository>

#查找maven-enforcer-plugin 
#最好maven版本以及JDK版本和安装服务器环境相同一样
#修改maven版本
<requireMavenVersion>
<version>3.6.3</version>
#修改jdk版本
<requireJavaVersion>
<level>ERROR</level>
<version>1.8.0_141</version>

5. 修改Hive-Bridge兼容代码

cd  /opt/apache-atlas-sources-2.1.0/addons/hive-bridge
cd  src/main/java/org/apache/atlas/hive/bridge/
vim HiveMetaStoreBridge.java

修改577 行

String catalogName = hiveDB.getCatalogName() != null ? hiveDB.getCatalogName().toLowerCase() : null;
改为
String catalogName = null;

继续修改

cd src/main/java/org/apache/atlas/hive/hook/
vim AtlasHiveHookContext.java

修改81行

this.metastoreHandler = (listenerEvent != null) ? metastoreEvent.getIHMSHandler() : null;
改为
this.metastoreHandler = null;

6. 编译

mvn clean  -DskipTests package -Pdist  -Drat.skip=true

二. 安装

1. 解压：

         安装包位于 /opt/apache-atlas-2.1.0/distro/target 下，将apache-atlas-2.1.0-bin.tar.gz解压至安装目录。
         最好Atlas 安装服务器节点和Hive同节点，省去很多麻烦。
   

tar -zxvf apache-atlas-2.1.0-bin.tar.gz -C /opt/module

2. 修改配置文件conf/atlas-env.sh

export HBASE_CONF_DIR=/etc/hbase/conf
 
export ATLAS_SERVER_HEAP="-Xms15360m -Xmx15360m -XX:MaxNewSize=5120m -XX:MetaspaceSize=100M -XX:MaxMetaspaceSize=512m"
 
export ATLAS_SERVER_OPTS="-server -XX:SoftRefLRUPolicyMSPerMB=0 -XX:+CMSClassUnloadingEnabled -XX:+UseConcMarkSweepGC -XX:+CMSParallelRemarkEnabled -XX:+PrintTenuringDistribution -XX:+HeapDumpOnOutOfMemoryError -XX:HeapDumpPath=dumps/atlas_server.hprof -Xloggc:logs/gc-worker.log -verbose:gc -XX:+UseGCLogFileRotation -XX:NumberOfGCLogFiles=10 -XX:GCLogFileSize=1m -XX:+PrintGCDetails -XX:+PrintHeapAtGC -XX:+PrintGCTimeStamps"
 
export MANAGE_LOCAL_HBASE=false
 
export MANAGE_LOCAL_SOLR=false
 
export MANAGE_EMBEDDED_CASSANDRA=false
 
export MANAGE_LOCAL_ELASTICSEARCH=false

1. 修改配置文件atlas-application.properties

#修改hbase
atlas.graph.storage.hostname=hadoop01:2181,hadoop02:2181,hadoop03:2181
#修改solr
atlas.graph.index.search.solr.zookeeper-url=hadoop01:2181/solr,hadoop02:2181/solr,hadoop03:2181/solr
#修改kafka
atlas.notification.embedded=false		    #等于false为外置的kafka
atlas.kafka.zookeeper.connect=hadoop01:2181,hadoop02:2181,hadoop03:2181
atlas.kafka.bootstrap.servers=hadoop01:9092,hadoop02:9092,hadoop03:9092
atlas.kafka.zookeeper.session.timeout.ms=60000
atlas.kafka.zookeeper.connection.timeout.ms=30000
atlas.kafka.enable.auto.commit=true
#修改其他配置
atlas.rest.address=http://hadoop01:21000	#默认访问端口21000，修改不生效，此端口和impala冲突，可以在cm中修改impala端口。
atlas.server.run.setup.on.start=false		   #如果设置为true，则在服务器启动时会运行安装步骤
atlas.audit.hbase.zookeeper.quorum=hadoop01:2181,hadoop02:2181,hadoop03:2181
#添加hive
######### Hive Hook Configs #######
atlas.hook.hive.synchronous=false
atlas.hook.hive.numRetries=3
atlas.hook.hive.queueSize=10000
atlas.cluster.name=primary

1. 修改atlas-log4j.xml

#去掉如下代码的注释
    <appender name="perf_appender" class="org.apache.log4j.DailyRollingFileAppender">
        <param name="file" value="${atlas.log.dir}/atlas_perf.log" />
        <param name="datePattern" value="'.'yyyy-MM-dd" />
        <param name="append" value="true" />
        <layout class="org.apache.log4j.PatternLayout">
            <param name="ConversionPattern" value="%d|%t|%m%n" />
        </layout>
    </appender>

    <logger name="org.apache.atlas.perf" additivity="false">
        <level value="debug" />
        <appender-ref ref="perf_appender" />
    </logger>

三.集成

1. 集成HBase

• 添加hbase配置文件到apache-atlas-2.1.0/conf/hbase下

ln -s /etc/hbase/conf/ /opt/module/apache-atlas-2.1.0/conf/hbase/

1. 集成solr (前提在cm中安装完solr，单节点即可，和atlas安装在同一节点)

• 将apache-atlas-2.1.0/conf/solr文件拷贝到solr所有节点的安装目录下，更名为atlas-solr

cp -r  /opt/module/apache-atlas-2.1.0/conf/solr   /opt/cloudera/parcels/CDH/lib/solr
#在solr节点
cd /opt/cloudera/parcels/CDH/lib/solr
mv solr  atlas-solr
#在solr节点修改solr对应的bash
vi /etc/passwd
/sbin/nologin 修改为 /bin/bash
#切换solr用户执行
su solr

bin/solr create -c  vertex_index -d atlas-solr/ -shards 1 -replicationFactor 1
bin/solr create -c  edge_index  -d atlas-solr/ -shards 1 -replicationFactor 1
bin/solr create -c  fulltext_index  -d atlas-solr/ -shards 1 -replicationFactor 1

• solr web控制台 http://hadoop01:8983，验证是否创建成功

1. 集成kafka

• 创建topic

kafka-topics --zookeeper hadoop01:2181,hadoop02:2181,hadoop03:2181 --create --replication-factor 1 --partitions 1 --topic _HOATLASOK
kafka-topics --zookeeper hadoop01:2181,hadoop02:2181,hadoop03:2181 --create --replication-factor 1 --partitions 1 --topic ATLAS_ENTITIES
kafka-topics --zookeeper hadoop01:2181,hadoop02:2181,hadoop03:2181 --create --replication-factor 1--partitions 1 --topic ATLAS_HOOK

到这里可以启动Atlas 试试看了

bin/atlas_start.py

http://hadoop01:21000
看看是否启动成功，第一次启动时间较长要等一会。

4.集成Hive

• 将 atlas-application.properties 配置文件，压缩加入到 hook/hive/atlas-plugin-classloader-2.1.0.jar 中

cp /opt/module/apache-atlas-2.1.0/conf/atlas-application.properties   /opt/module/apache-atlas-2.1.0/hook/hive/
#必须在/opt/module/apache-atlas-2.1.0/hook/hive/路径下打包
zip -u atlas-plugin-classloader-2.1.0.jar  atlas-application.properties

在CM中修改Hive配置

• 搜索 hive-site.xml

	
		修改【hive-site.xml 的 Hive 服务高级配置代码段（安全阀）】

			名称：hive.exec.post.hooks

			值：org.apache.atlas.hive.hook.HiveHook

		修改【hive-site.xml 的 Hive 客户端高级配置代码段】

			名称：hive.exec.post.hooks

			值：org.apache.atlas.hive.hook.HiveHook

		修改 【hive-site.xml 的 HiveServer2 高级配置代码段（安全阀）】

			ps:此配置一共增加两块代码段

			名称：hive.exec.post.hooks

			值：org.apache.atlas.hive.hook.HiveHook

			名称：hive.reloadable.aux.jars.path

			值：/opt/module/apache-atlas-2.1.0/hook/hive

		修改 【HiveServer2 环境高级配置代码段（安全阀）】

			HIVE_AUX_JARS_PATH=/opt/module/apache-atlas-2.1.0/hook/hive

• 搜索 hive-env

	修改 【hive-env.sh 的 Gateway 客户端环境高级配置代码段（安全阀）】

			HIVE_AUX_JARS_PATH=/opt/module/apache-atlas-2.1.0/hook/hive

• 搜索JAR

				修改【Hive辅助JAR目录】
			/opt/module/apache-atlas-2.1.0/hook/hive

• 将atlas配置文件copy到/etc/hive/conf下

cp  /opt/module/apache-atlas-2.1.0/conf/atlas-application.properties   /etc/hive/conf

• 重启Hive
• 重启Atlas
• 添加Hive环境变量

vim /etc/profile
#>>>
#hive
export HIVE_HOME=/opt/cloudera/parcels/CDH/lib/hive
export HIVE_CONF_DIR=/etc/hive/conf
export PATH=$HIVE_HOME/bin:$PATH
#<<<
    
source /etc/profile

• 执行导入bin/import-hive.sh 输入用户名密码：admin/admin

进入http://hadoop01:21000 就可以看啦~