Hadoop datanode正常启动,但是Live nodes中却突然缺少节点

限时加码!20+主流AI编程工具免费用 购周边加赠Coding Plan Lite,Claude Code、Cursor等即刻畅享,学习进阶更高效! 阅读详情
问题解决关键:多个节点存放data数据的目录路径相同了,造成了报告中误认为只有一个datanode,于是通过命令查看live datanodes的个数时候,会发现节点全部启动,但是datanodes数目并不能正常显示。
解决办法:修改hdfs-site.xml文件

master中的hdfs-site.xml文件

 <property>
        <name>dfs.datanode.data.dir</name>
        <value>file:/usr/hadoop/hdfs/data</value>
 </property>

slave1中的hdfs-site.xml文件

 <property>
        <name>dfs.datanode.data.dir</name>
        <value>file:/usr/hadoop/hdfs/data/node1</value>
 </property>

slave1中的hdfs-site.xml文件

 <property>
        <name>dfs.datanode.data.dir</name>
        <value>file:/usr/hadoop/hdfs/data/node2</value>
 </property>

slave1中的hdfs-site.xml文件

 <property>
        <name>dfs.datanode.data.dir</name>
        <value>file:/usr/hadoop/hdfs/data/node3</value>
 </property>
参考文献:

http://blog.csdn.net/wk51920/article/details/51729460

hadoop搭建--所有datanode信息为0,live nodes 为0; —————hadoop搭建–所有datanode信息为0,live nodes 为0怎么办??? 当hadoop配置完成后,然后使用启动命令启动集群,打开50070和8088网页后,发现没有任何信息,50070页面显示为这个样子。 输入下面命令, [root@dev9106 bin]# ./hadoop dfsadmin -report 显示 Config... 阅读详情

相关推荐

hadoopLive Nodes为1引起的思考

2013年5月13日,星期一 之前配置了Hadoop集群,有5个节点,一个master和四个slave,然后使用命令bin/start-all.sh开启集群,然后用命令jps查看开启了哪些些服务,看到JobTracker、NameNode、SecondaryNameNode、TaskTracker、DataNode以及Jps,这时以为一切都是顺利的,开始运行MapReduce应用程序。 刚开始

super2012cz的专栏 2833

hadoop搭建--datanode信息为0,Live datanodes 为0

背景 hadoop集群启动后,无有效的datanode节点,表现形式为: 使用hdfs dfsadmin -report查看节点的情况时,都是0 xf@master01:~/hadoop-2.6.5$ hdfs dfsadmin -report Configured Capacity: 0 (0 B) Present Capacity: 0 (0 B) DFS Remaining: 0 (0 B) DFS Used: 0 (0 B) DFS Used%: NaN% Under replicated bloc

weixin_36343850的博客 2841

从Protocol到硬件控制:揭秘高通UEFI中ABL与XBL的协作机制

本文深入解析了高通UEFI架构中ABL与XBL的协作机制,重点探讨了Protocol通信在硬件控制中的关键作用。通过对比传统GPIO控制方式,揭示了Protocol架构在安全性、可维护性和灵活性方面的优势,提供了关机充电场景的实战案例分析及调试技巧。

weixin_29185199的博客 399

Hadoop3.x live node 为0或1 所有出现的情况 以及 解决办法

时不时,livenode 就没了。。。。。这里记录了所有出现的情况以及解决方法 解决方法五花八门,我把我所有碰到的情况记录一下。 网上查到的方法,都解决不了 环境: master,data1,data2,两个data node livenode 为 0/1:一个data node 都没有, JPS下没有datanode进程, 或者master有datanode ssh正...

a8131357leo的博客 1843

Hadoop启动之后datanode进程在 但50070页面Live Nodes为0

正常启动hadoop之后,一般进程都在,而且50070端口可以访问,但是8088端口却不能访问,这里可能有多种原因造成这样: 1、/etc/hosts 中的ip映射不对 2、master与slave之间不能互通 3、hadoop配置文件有错 在子节点中查看日志, 2018-01-03 09:26:48,488 INFO org.apache.hadoop.ipc.Client: Ret

基咯咯 6145

Hadoop datanode正常启动,但是Live nodes中却缺少节点的问题

打开配置文件hdfs-site.xml找到dfs.datanode.name.dir这个属性,或者dfs.data.dir具体看你用哪个设置的数据存储路径。  分别在master, node1, node2中更改此属性 #master中的值 &lt;property&gt; &lt;name&gt;dfs.datanode.data.dir&lt;/name&gt; &lt;value...

lsp的博客 1518

Hadoop问题解决集合

文章目录在web端查看Hdfs界面只有一个Live Node节点解决方法一解决方法二解决方法三hadoop jar xxxx/hadoop-mapreduce-examples-2.9.2.jar xxx 命令报错的解决方法问题描述及解决方法windows运行Hadoop报错:Did not find winutils.exe、Could not locate Hadoop executable:错误提示错误原因 在web端查看Hdfs界面只有一个Live Node节点 解决方法一 首先查看日志,发现

qq_43408367的博客 559

Hadoop datanode正常启动,但是jps差不多datanode进程,而且Live nodes中却缺少节点

启动时可以看到启动成功,但是在chun2,jps的时候却没有了datanode进程,而且web端Live nodes缺少了 百度搜索之后查到是因为hdfs.site.xml配置文件里dfs.data.dir配置的路径重复,就是多个节点存放data数据的目录路径相同了,造成了报告中误认为只有一个datanode! 修改路径即可 #chun1中的值 <property> <n...

chun的博客 1050

Hadoop中50070无法访问、从节点DataNode以及live nodes中只能显示一个从节点的问题

问题一、 如果配置了: <property> <!-- <name>dfs.namenode.http.address</name>--> <name>dfs.namenode.http.address</name> <value>Master.Hadoop:5007...

goodgoodstudyddp的博客 4115

HDFS集群正常启动,但Web页面仅有一个DataNode节点的问题

问题描述 三台虚拟机(分别是hadoop02,hadoop03,hadoop04)集群所有数据节点都已经正常启动了,而通过命令hadoop dfsadmin -report 显示Live datanodes却只有1个。 ![问题描述图1](https://img-blog.csdnimg.cn/20191127101727362.jpg?x-oss-process=image/waterma...

weixin_42227283的博客 1万+

Hadoop启动Live nodes中却缺少节点

1、问题 hadoop启动所有节点后,发现存在缺失的节点 2、解决方法 修改文件hdfs-site.xml中的value值,使得每个节点的值不同。 输入指令: sudo gedit /usr/local/hadoop/etc/hadoop/hdfs-site.xml 显示: #node1中的值 <property> <name>dfs.data...

hanxia159357的博客 2408

解决 hadoop集群namenode和datanode 启动成功后 live nodes 显示1或0

  1. 如果是namenode 和datanode 启动失败的  可以查看 [root@node3 ~]#  hadoop-daemon.sh start datanode starting datanode, logging to /root/apps/hadoop-2.8.5/logs/hadoop-root-datanode-node3.out  这里有日记记录 也就是 你启动 da...

qq_39214610的博客 2540

hadooplive nodes有三个,但datanode显示一个

hadoop集群问题

weixin_55784925的博客 3598

如何解决搭hadoop集群时datanode数据节点启动或死节点的问题(爬坑中...)

出现的问题: 可以发现,当执行stop-all.sh命令关闭hadoop服务的时候,系统会报找不到datanode去关闭的错误。。因而当我们去浏览器访问“http://主机IP地址: 50070”的时候,Dead Nodes这一栏会显示所有的节点都是死节点… 问题分析: 1:之前多次将namenode格式化,导致namenode和datanode的clusterID不一致无法启动datanode;因而jps命令发现没有datanode启动,所以去Hadoop的日志文件下查看日志(/opt/hadoop-2.

blessness的博客 4729

hadoop启动 datanodelive node为0

hadoop启动 datanodelive node为0 浏览器访问主节点50070端口,发现 Data Node 的 Live Node 为 0 查看子节点的日志 看到 可能是无法访问到主节点的9000端口 使用telnet访问一下主节的9000端口 #...

aozhe0629的博客 715

解决hadoop hdfs启动live nodes为0或者1的问题

**查阅了很多相关资料,然后翻看了日志,终于总结出了问题所在: ** 1.首先,在每一个节点所有datenode确定启动。 但是在WebUI上显示live nodes数量为1。 这是因为在namenode机器上也同时启动了datenode,但是namenode只能识别到本机上的datenode节点,所以才显示数量为1. 2.翻看日志,找到问题原因 切换到 从服务器上 进入当前目录,打开其中的hadoop…datenode.log文件,发现报错 而这是由于由于配置hadoop没有使用host+hostNa

p17873702424的博客 4186

hadoop显示只有一个datanode节点启动

问题描述:Hadoop集群启动正常,所有节点正常启动,WebUI 界面正常展示,但是Web界面上只显示一个datanode节点LIve Nodes 查看配置文件全部没问题,集群三台主机节点正常,数据节点显示一台,说明集群将三个数据节点识别为一个,那么datanode节点VERSION是一致的 集群设置的临时数据位置在 /opt/module/hadoop-3.1.4/data/tmp/dfs/data/current/ 发现storageID和datanodeUuid是一致的,所以修改stora

weixin_45430750的博客 3137
上一篇: 十、python中的文件操作
下一篇: July《十五个经典算法研究与总结》目录+索引
额不食烟火
博客等级 码龄10年 57粉丝 78原创
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值