Apache Fluss 孵化毕业成顶级项目,推动实时数据基础设施发展新跨越!

Apache Fluss 成功孵化毕业,开启实时数据新篇

今年 7 月,Apache Fluss 的毕业提案在 Apache 孵化器项目管理委员会(IPMC)投票中全票通过,随后获 Apache 软件基金会董事会批准。如今,Apache 软件基金会正式宣布 Apache Fluss 孵化毕业,成为 Apache 顶级项目(TLP)。这一里程碑标志着 Fluss 迈入新发展阶段,也将推动流式存储、实时湖仓与 AI 数据基础加速融合,为实时数据基础设施发展开启新的篇章。

Apache Fluss 成长历程回顾

Fluss 最早由阿里云 Flink 团队开发,旨在解决流存储在分析场景中长期存在的流批一体存储、Flink 计算成本以及链路复杂等问题,为实时分析构建面向湖仓时代的统一流式存储。其名字取自 Flink Unified Streaming Storage,在德语中意为 "河流",寓意数据像河流一样持续流动,并最终汇入开放的 Lakehouse。

经过一年多的阿里巴巴内部打磨和大规模生产实践,Fluss 于 2024 年 11 月在 Flink Forward Asia 2024 上海站正式宣布开源。2025 年 6 月,Fluss 进入 Apache 软件基金会孵化器,从阿里巴巴的技术探索成长为全球开发者共同建设的开源项目。

孵化期间,Fluss 社区的贡献者规模和项目关注度持续增长。目前,社区已汇聚 157 位贡献者,GitHub 收获 2,000 + Stars,合并的 Pull Request 数达 1700 多个,形成了活跃的开源社区。与此同时,Fluss 已在阿里巴巴、小红书、京东、蚂蚁集团、Fresha、爱奇艺等公司的生产环境中部署落地,广泛应用于日志采集与分析、实时数仓、搜索推荐、索引链路和实时特征服务等场景,帮助企业减少跨系统的数据复制,降低实时数据处理与存储成本,提升湖仓数据新鲜度和分析效率。

从 Lakehouse 到 Lakestream:湖流一体支撑 Agentic 时代

在 Agentic 时代,AI 从 Chatbot 走向 Agent,数据成为 Agent 判断与行动依赖的实时上下文。传统 Lakehouse 擅长沉淀和治理海量历史数据,但难以满足秒级乃至毫秒级的数据新鲜度要求。

作为 Lakestream 湖流一体架构的开源先驱,Apache Fluss 在数据湖之上构建湖仓原生的实时流存储层,将最新数据与长周期历史统一起来,为 AI Agent 提供新鲜而完整的上下文,支撑生产级的实时决策与行动。

Apache Fluss 通过以下核心能力,为传统 Lakehouse 增加实时流存储层,构建 Lakestream 湖流一体底座:

  • Lakestream 湖流一体:长期历史数据保存在 Paimon、Iceberg、Hudi、Lance 等开放数据湖中,最新数据由 Fluss 实时承载;通过 Union Read,Agent 可以从统一表视图中访问从历史到最新的数据,避免上下文割裂。
  • 高效列式流存储:流存储底层基于 Apache Arrow 列存实现,支持服务端列裁剪、条件下推、分区下推能力,以更少的数据读取和传输支撑高效流式分析与实时分析。
  • 实时更新与低延迟查询:主键表原生支持流式更新、部分更新、Changelog、KV 查询和 Delta Join,让同一份实时数据同时服务流式计算与点查。
  • 面向 Agent 的实时上下文:统一承载持续更新的实时状态与长周期历史数据,为 AI Agent 提供新鲜、完整、低延迟且可信的上下文,支撑实时决策与行动。
  • 开放生态与多语言访问:可与 Apache Flink、Apache Spark、StarRocks 等计算引擎协同,并提供 Java、Rust、Python 和 C++ 客户端,方便实时分析与 AI 应用接入。

毕业寄语:多方期待与展望

在进入 Apache 软件基金会一年时间里,Fluss 建立了活跃的全球贡献者社区,获得众多领先企业和开源生态伙伴的广泛关注与支持。众多业内人士纷纷送上祝贺:

阿里云开源大数据负责人王峰表示,祝贺 Apache Fluss 正式毕业。其湖流一体架构打通数据流与数据湖,为 Lakehouse 注入实时数据能力,已在阿里巴巴核心电商场景大规模生产落地。期待 Fluss 携手全球社区,成为实时 Lakehouse 的开放数据底座。

ASF Member、Apache Fluss 孵化 Champion 及导师李钰称,衷心祝贺 Apache Fluss 社区毕业。孵化期间,Fluss 发布多个高质量版本,完善流式存储能力,营造开放社区氛围。祝愿其成长为世界级开源项目,推动相关技术发展。

Apache Fluss PMC Chair、项目发起人伍翀提到,Fluss 项目发展速度和影响力超出预期。毕业是新开始,相信它会成为 Lakehouse 架构的实时数据底座。

Ververica CTO Igor Kersic 表示,很高兴看到 Fluss 毕业成为顶级项目,它将开启流式领域的新进化,解锁更多商业价值,有望成为实时 AI 时代的标准。

LinkedIn Principal Staff Software Engineer Jiangjie Qin 祝贺 Fluss 毕业,认为其在数据基础设施生态中价值独特,成为顶级项目是水到渠成,祝愿其成为标杆项目。

Apache Paimon PMC Chair 李劲松称,Apache Fluss 为湖上带来秒级流动能力,做到了实时又统一,恭喜毕业。

小红书 Fluss & Kafka 负责人刘焓表示,小红书作为早期使用者和贡献者,见证了社区成长。Fluss 的能力在小红书核心场景发挥重要价值,期待社区持续繁荣。

Fresha VP of Architecture and Data Engineering Emiliano Mancuso 提到,Apache Fluss 在 Fresha 生产环境部署,其能力帮助简化数据移动,期待参与其后续发展。

淘宝闪购资深大数据专家王沛斌称,Fluss 重新定义实时数据基础设施范式,淘宝闪购通过它解决痛点,期待其在 AI ✖️ Data 时代释放更大价值。

京东零售实时数据平台负责人韩飞表示,京东积极参与 Fluss 技术实践与社区共建,期待其坚持开放创新,帮助企业释放数据价值。

Apache Member、蚂蚁集团实时智能负责人王鑫(多佛)提到,Fluss 成长为重要开源力量,蚂蚁积极推进其落地,期待它成为更坚实可信的基础设施。

毕业开启新旅程,持续深耕湖仓原生流式存储

成为 Apache 顶级项目后,Fluss 将继续深耕湖仓原生流式存储,为流处理提供高效、可复用的存储基础,让 Lakehouse 具备实时能力,为 AI 应用提供开放的数据底座。

感谢每一位贡献者、用户与伙伴,也感谢 Apache Fluss 孵化器导师的指导与支持。无论想将 Fluss 应用于实时分析与 AI 场景,还是了解更多信息、参与项目贡献,现在都是加入社区的好时机。项目官网为 https://fluss.apache.org/ ,GitHub 代码仓库为 https://github.com/apache/fluss ,贡献指南为 https://fluss.apache.org/community/how-to-contribute/overview/ 。

阿里云湖流一体解决方案助力

基于 OpenLake 理念,阿里云提供全托管的流存储 Fluss + DLF(Paimon)+ EMR StarRocks 的全模态、多引擎的湖流一体解决方案,打通实时数据流动、湖仓存储与高性能分析。DLF(Paimon)提供开放的全模态湖仓数据底座,流存储 Fluss 负责数据的实时流动,将湖仓数据新鲜度提升至秒级,EMR StarRocks 则提供低延迟的实时分析能力。三者协同,帮助企业构建开放、低延迟、高性能的 Agentic Lake。

实训与试用活动推荐

面对海量电商评论,Flink 实训教你实时对评论进行话题分类,自动打标评论中的关注点,实现高性能实时数据分析与处理。使用 Flink AI 参照教程完成实操,根据任务完成进度有机会获得 Flink 定制洗漱包、阿里云保温杯等奖品。

复制链接或扫描二维码,即可免费试用阿里云 Serverless Flink,体验新一代实时计算平台的强大能力。

内容概要:本文研究了基于DPWMA调制与正负序分离的ANPC三电平并网逆变器前馈控制策略,旨在解决传统三电平逆变器存在的谐波含量高、电网不平衡工况适应性差及动态响应速度不足等问题。通过采用有源中点箝位(ANPC)三电平逆变器拓扑,结合双极性倍频脉宽调制(DPWMA)、正负序分离锁相技术和电网电压前馈控制,构建了一套一体化的高性能并网控制体系。该体系不仅优化了逆变器的开关动作机制,改善了输出电压电流的谐波特性,而且通过精确的相位同步和扰动补偿,显著提高了系统的动态响应能力和抗扰性能。仿真结果显示,所提出的控制策略能有效降低并网谐波含量,提升锁相精度与系统动态稳定性,确保在复杂电网工况下的高质量稳定并网。 适合人群:具备一定电力电子基础知识和仿真技能的研发人员,尤其是从事能源发电、储能系统、柔性输电等领域研究的专业人士。 使用场景及目标:①研究和开发高性能并网逆变器,特别是针对大功率、高电能质量要求的应用场景;②探索如何通过先进的调制和控制策略来提高并网逆变器对电网扰动的适应性和响应速度;③为相关领域的学术研究和技术开发提供理论依据和实践指导。 阅读建议:建议读者结合实际的仿真软件(如MATLAB/Simulink)进行实践操作,以便更好地理解和掌握文中提到的各种控制策略的具体实现方法。同时,鼓励读者关注最的研究果和发展趋势,不断深化对该领域的认识。
摘要 在全球生态环境问题日益严峻、公众环保参与意愿持续提升的背景下,传统环保志愿者招募与管理模式存在信息传播零散、供需对接不畅、管理效率低下等痛点,制约了环保公益事业的规模化发展。为解决上述问题,响应生态保护数字化发展需求,本课题设计实现“守望自然”环保志愿者招募与管理网站,通过数字化手段打通环保组织与志愿者的服务链路,对推动环保公益规范化、高效化发展具有重要的现实意义与实践价值。 该网站采用B/S架构与前后端分离模式开发,前端基于Vue架构建组件化响应式界面;后端以Java为开发语言,采用Spring Boot框架搭建应用,搭配MyBatis作为持久层框架,数据库选用MySQL并遵循第三范式设计7个以上核心数据表。系统涵盖用户与管理员两大核心角色,实现了闭环式环保志愿服务功能:用户端支持注册登录、个人信息管理、活动查询报名、环保知识学习、社区互动、问题反馈及客服咨询等功能,满足用户全流程参与需求;管理员端具备用户管理、用户审核、招募与活动信息发布管理、环保知识内容管理、问题反馈处理、证书模板管理、多维度数据可视化分析及社区内容监管等功能,全面支撑环保组织运营管理。开发过程中集了Token身份认证、MD5密码加密、ECharts数据可视化等关键技术,融入活动智能推荐、数据驱动决策等创设计,确保系统功能完备性与实用性。 经功能测试、性能测试及安全测试验证,系统运行稳定可靠,具有良好的易用性、安全性和可扩展性,能够高效满足环保组织的用户招募管理需求与用户的多元化参与需求,有效降低环保组织运营本,提升用户参与体验,为环保理念传播与公益事业发展提供有力的数字化支撑。 关键词:环保志愿者;招募管理系统;Spring Boot;Vue;数据可视化
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值