Lambda 架构 介绍 - MilkeZhang 的网络笔记

批处理层、加速层、服务层
Lambda架构?是由Nathan Marz提出的，旨在结合批处理和流处理的优点，以实现大规模数据处理的架构。
Lambda架构由三层组成：?处理层（Batch Layer）、加速层（Speed Layer）和服务层（Serving Layer）

批处理层（Batch Layer）
批处理层负责处理离线数据，通过Hadoop、Spark等分布式计算框架来处理大量历史数据，生成数据的完整视图。
批处理层通过处理所有历史数据来确保数据的准确性，通常用于生成报告和分析

加速层（Speed Layer）
加速层负责处理实时数据流，使用Storm、Flink等流处理框架来提供快速响应和实时分析。
加速层的数据视图可能不如批处理层那样准确或完整，但能够提供低延迟的数据，弥补批处理层的高延迟问题

服务层（Serving Layer）
服务层负责合并批处理层和加速层的结果，提供统一的数据视图。
服务层可以使用HBase、Cassandra等数据存储和查询系统来存储和查询数据，通常用于提供数据服务和API

Lambda架构的优点和应用场景
Lambda架构的优点包括：

职责边界清晰：批处理层和加速层分别处理离线数据和实时数据，职责明确。
高容错性：通过融合不可变性和读写分离等原则，确保系统的健壮性和错误恢复能力。
低延迟：加速层提供低延迟的数据视图，适用于需要快速响应的场景。
可扩展性：系统设计支持横向扩容，适应大规模数据处理需求。
Lambda架构适用于各种需要实时数据处理和分析的场景，如机器学习、物联网、流处理等