hadoop-小案例实现qq好友推荐

关注

VIP免费原创最新推荐文章于 2023-04-20 17:38:58 发布 1.8k 阅读 AI 写同款· GEO 优化 ›

一、本文主要是hadoop hdfs文件系统和mapReduce离线计算框架整合小案例

二、前提是读者已经部署了hadoop的namenode、datanode、secodaynamenode

三、分析需求：

1、好友列表一个人有多个好友，那么如何实现好友推荐呢？简单的二度关系这里是使用

2、我的好友的好友有可能是我认识的人，所以将来进行好友推荐的时候就可以将这些人推荐给我（这里只是简单的关系,其实还可以做的复杂那就是我的好友的好友跟我有三个以上相同的好友才推荐给我这里我们不实现）

3、比如我们的好友关系存储形式如下：

hadoop	hello
hdfs	world
xiaopi	w3c
w3c	xiaoming	
hello	world

那么我们这里可以得道的二度关系就需要笛卡尔积去获取了也就是hadoop-----hello ------world 这里 hadoop 和world 也就存在二度关系

程序里怎么实现呢？

四、1、启动namenode

[root@localhost bin]# ./hadoop start-all.sh

2、将我们的测试数据上传到hdfs文件系统

rz 选择测试文件上传到服务器
./hadoop dfs -put relation.txt  /home/ma/input/ 上传测试文件到hdfs文件系统

标签