21讲吃透实时流计算笔记

流计算强调其处理的数据是无界的数据流，无界的数据流也称为流数据，工业设备上的传感器记录、股市的逐笔成交记录都是源源不断生成的流数据。针对数据流这个特征，流计算是一个持续的计算任务，处理的数据大小为单条记录或者微批的记录；
批计算处理的是有界的数据集，且数据集通常包含大批量数据，一次批计算不管是运行几分钟还是几个小时，总是会结束的。
以统计日总成交金额为例，即使是在每笔交易发生时做出实时响应，依然有两种截然不同的计算方法：若以当日截止当前所有的成交数据作为计算输入得到结果，这种基于全量数据集的计算称为批计算；而若是将成交数据看作一个序列，总是增量地处理最新到达的数据以更新统计结果，则称为流计算，总成交额可以通过最近一次统计的总成交额与最新一条成交记录的金额相加得到。很明显，在实时统计总成交金额的这个例子中，流计算是更优的数据处理方式。

声明：本站大部分资源来源于网络，除本站组织的资源外，版权归原作者所有，如有侵犯版权，请立刻和本站联系并提供证据，本站将在三个工作日内改正。 本站仅提供学习的平台，将不对任何资源负法律责任，只作为购买原版的参考，并无法代替原版，所有资源请在下载后24小时内删除；资源版权归作者所有，如果您觉得满意，请购买正版。您若发现本站侵犯了你的版权利益，请来信本站将立即予以删除！