02storm聚类尝试kmeans

最新推荐文章于 2023-08-15 15:32:29 发布
原创 最新推荐文章于 2023-08-15 15:32:29 发布 · 1.3k 阅读 · 0
本文介绍了如何利用Storm进行分布式KMeans聚类算法的实现，包括算法原理、迭代过程、距离公式的选择，以及 Mahout 开源项目中分布式KMeans的思路，探讨了距离度量、收敛条件和最大迭代次数等关键参数。

先挑个最简单的算法尝试

01聚类kmeans算法和kmeans例子演示

K-means 算法是最为经典的基于划分的 聚类方法，是十大经典 数据挖掘算法之一。 K-means 算法的基本思想是：以空间中k个点为中心进行 聚类，对最靠近他们的对象归类。通过迭代的方法，逐次更新各 聚类中心的值，直至得到最好的聚类结果。
假设要把样本集分为c个类别，算法描述如下：
（1）适当选择c个类的初始中心；
（2）在第k次迭代中，对任意一个样本，求其到c各中心的距离，将该样本归到距离最短的中心所在的类；
（3）利用均值等方法更新该类的中心值；
（4）对于所有的c个 聚类中心，如果利用（2）（3）的 迭代法更新后，值保持不变，则迭代结束，否则继续迭代。
该
标签
#storm
最低0.47元/天 解锁文章
【人工智能】【GPU芯片】第一篇 GPU算子——璧韧篇-02
weixin_49199313的博客
01-03 604
璧韧GPU采用BR-Vision 3.0视觉处理架构，集成专用图像处理单元、计算机视觉加速器、神经网络视觉处理流水线。本列表包含2,048个图像与视觉算子，涵盖8种图像格式、12种颜色空间、16种滤波算法、24种特征检测方法。指令编码指令名称功能描述图像格式颜色空间内存分配应用场景BR_IMG_0001创建RGBA 8位图像RGBA8RGBA设备内存通用图像处理BR_IMG_0002创建RGB 8位图像RGB8RGB设备内存无Alpha通道BR_IMG_0003创建灰度8位图像L8灰度设备内存单通道处理BR
02 storm 源码阅读 storm的进程间消息通信实现netty client实现
codemosi的专栏，点击我可以跳到目录一栏
07-12 5580
/** * Licensed to the Apache Software Foundation (ASF) under one * or more contributor license agreements. See the NOTICE file * distributed with this work for additional information * regarding
storm读kafka数据源保证消息不丢失的方法
codemosi的专栏，点击我可以跳到目录一栏
07-10 2633
ack设置成-1 unclean设置为false就不丢数了，除非所有集群都同时挂，磁盘缓存没刷新 再设置个mini isr=2更大保证一下 如果你们ack设置的默认为1，那么切换leader的时候丢数很正常 看你们的需求了，吞吐量跟性能做个平衡 还有topic级别两个配置 ack是生产者的 unclean、mini isr是top
01 storm 源码阅读 storm的进程间消息通信实现netty server实现
codemosi的专栏，点击我可以跳到目录一栏
07-12 1367
/** * Licensed to the Apache Software Foundation (ASF) under one * or more contributor license agreements. See the NOTICE file * distributed with this work for additional information * regarding
2016年大战双11 总结
codemosi的专栏，点击我可以跳到目录一栏
11-11 1227
今年双11，0点干通宵，PD直接倒地，老大也战斗到凌晨，全部帐篷解决温饱问题。各位都非常棒。CTO还来慰问了，无耻的合了个照，来年再战。 实在太累，回去睡觉，总结明日再写。 最后招聘 java+storm 开发人员。简历发到QQ：1606588828，欢迎新队友，共战亿万级实时计算。
01storm实现机器学习的可能探索-启动
codemosi的专栏，点击我可以跳到目录一栏
03-03 1073
这么长时间使用storm后，和对机器学习的分类聚类回归推荐等算法的熟悉后，试着尝试把storm的实时性能够实现机器学习算法。mahout和mllib的都是离线批量。希望能实现实时的数据挖掘。
06 Trident DRPC
codemosi的专栏，点击我可以跳到目录一栏
04-11 1058
•RPC，远程方法调用。通过发布一个服务 •1：Trident上的drpc，2：spout和bolt上drpc。   •eclipse本地调试模式   TridentTopology.newDRPCStream(function,ILocalDRPC)   ILocalDRPC.execute(function,args); •部署到storm环境后   TridentTopolog
05 Trident 状态（state）
codemosi的专栏，点击我可以跳到目录一栏
04-11 929
•持久化，也是流计算模型中的核心问题。Trident提供了state的机制，完成tuple的增删改查。当然没有删。 • •1  增。 •stream    TridentState state = stream.persistentAggregate(stateFactory, agg,Fields)    //  aggState:Snapshottable •groupStr
04storm 源码阅读 storm的进程间消息通信实现clojure端 生成带netty能力的线程
codemosi的专栏，点击我可以跳到目录一栏
07-12 863
;; Licensed to the Apache Software Foundation (ASF) under one ;; or more contributor license agreements. See the NOTICE file ;; distributed with this work for additional information ;; regarding copy
03 storm 源码阅读 storm的进程间消息通信实现clojure端 加载java端netty能力
codemosi的专栏，点击我可以跳到目录一栏
07-12 857
;; Licensed to the Apache Software Foundation (ASF) under one ;; or more contributor license agreements. See the NOTICE file ;; distributed with this work for additional information ;; regarding copy
storm shell 命令
codemosi的专栏，点击我可以跳到目录一栏
05-14 811
提交Topologies 命令格式：storm jar 【jar路径】 【拓扑包名.拓扑类名】 【拓扑名称】 样例：storm jar /storm-starter.jar storm.starter.WordCountTopology wordcountTop #提交storm-starter.jar到远程集群，并启动wordcountTop拓扑。 停止Topologies 命
04 Trident聚合
codemosi的专栏，点击我可以跳到目录一栏
04-11 751
•聚合是流计算的常见场景。Trident提供了两种聚合方式   1：Aggregate   2：partitionAggregate •三种聚合器来实现聚合任务。如sum   1：CombinerAggregator   2：ReducerAggregator   3： Aggregator 这3个聚合器一般是，配合groupBy()来做分区聚合 比如：做如下聚合，每个手机号的
01 stream
codemosi的专栏，点击我可以跳到目录一栏
04-11 592
•TridentTopology，trident编程模型的拓扑，接入spout，创建stream。 •可接入3种不同类型的4个spout。2个spout是同一个类型。    1非事务类型：IBatchSpout    2事务:ITridentSpout和IPartitionedTridentSpout    3非透明事务:IOpaquePartitionedTridentSpout
02 Filter
codemosi的专栏，点击我可以跳到目录一栏
04-11 499
•stream使用each遍历处理批次中的每个tuple时，each支持两种处理方式。1：filter，2：function •Filter通过返回true，和false。来判断是否对信息过滤。 •如在电信用户的聚合统计中。可以使用filter只保留189开头的号码，即返回true。其他都返回false。 ----------------------------------------配套视
03 Function
codemosi的专栏，点击我可以跳到目录一栏
04-11 468
•Filter只用作简单的true ，false来过滤数据，其他在trident上的工作全部通过function来完成，比如给所有号码后面加上你好。 •Function是一种更为通用的处理模型。可以把function看出storm的bolt。 --------------------------------------配套视频--------------------------------
2023牛客暑期多校训练营9 B.Semi-Puzzle: Brain Storm
PTCCTP的博客
08-15 1338
Tag：扩欧、数学
在java中支持图片预览的文件选择对话框
最新发布
07-25
在java中支持图片预览的文件选择对话框
易语言源码模块-与应用程序建立关联
07-25
易语言源码模块_与应用程序建立关联
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值