流处理优化:从故障处理到吞吐量提升
在流处理系统中,确保良好事件的持续流动以及优化处理吞吐量是至关重要的。本文将详细介绍流处理中的故障处理、吞吐量优化的多种方法,包括批处理大小调整、异步非阻塞 I/O、管道和复用、分片、批处理和分组等技术。
1. 故障处理与事件重提交
在流处理过程中,我们需要处理故障事件,以确保良好事件能够持续流动。具体步骤如下:
- 故障事件收集 :故障监控服务从事件总线消费所有故障事件,并将它们存储在对象存储中。可以使用以下模板: https://github.com/jgilbert01/templates/tree/master/template-event-fault-monitor ,该模板使用 AWS Firehose 作为通道将故障事件存储在 S3 中。
- 事件重提交 :当解决故障的根本原因后,我们可以将原始事件重新提交给引发故障的流处理器。可以使用 aws-lambda-stream-cli 库来实现,该库的链接为: https://github.com/jgilbert01/aws-lambda-stream-cli 。需要注意的是,由于事件需要被搁置,处理顺序可能会混乱,因此流处理逻辑需要具备顺序容忍性。 </
超级会员免费看
订阅专栏 解锁全文

495

被折叠的 条评论
为什么被折叠?



