数仓

数据仓库

https://blog.csdn.net/weixin_43596734/article/details/119784553

实现实时数仓可以从以下几个方面入手：

技术选型

• 计算框架：目前常用的实时计算框架有Storm、Spark Streaming和Flink。Storm在早期被广泛使用，具有高性能和低延迟的特点。Spark Streaming则适合与Spark生态系统集成，提供了丰富的API和工具。Flink是近年来崛起的实时计算框架，具有高吞吐、低延迟和容错性强的特点，逐渐成为实时数仓的首选。
• 存储系统：实时数仓需要选择适合的存储系统来存储实时数据。常见的选择包括HBase、Cassandra等分布式数据库，以及ClickHouse、Doris等高性能的OLAP数据库。这些系统提供了快速的读写能力和可扩展性，能够满足实时数仓对数据存储和查询的需求。
• 消息队列：消息队列用于在不同系统之间传递实时数据，确保数据的可靠传输和顺序性。Kafka是目前最流行的消息队列之一，具有高吞吐、可持久化和分布式的特点，被广泛应用于实时数据的采集和传输。

架构设计

• 数据采集层：负责从各种数据源（如数据库、日志文件、传感器等）采集实时数据，并将其发送到消息队列中。
• 数据处理层：使用实时计算框架对消息队列中的数据进行处理和转换，例如进行数据清洗、聚合、关联等操作，生成符合业务需求的数据模型。
• 数据存储层：将处理后的数据存储到合适的存储系统中，以便后续的查询和分析。
• 数据应用层：提供数据查询、报表生成、可视化展示等功能，支持业务用户对实时数据的访问和分析。

实现步骤

• 搭建环境：安装和配置所选的计算框架、存储系统和消息队列，确保它们能够正常运行并相互协作。
• 数据接入：开发数据采集程序，从数据源中读取数据并发送到消息队列。这可能涉及到使用相应的客户端API或工具，如Kafka的生产者客户端。
• 数据处理：使用计算框架编写实时数据处理程序，对消息队列中的数据进行处理。这包括定义数据处理逻辑、窗口计算、状态管理等。
• 数据存储：将处理后的数据存储到存储系统中，根据存储系统的要求进行数据建模和表设计。
• 应用开发：开发数据应用程序，提供数据查询和分析的功能。这可以通过使用存储系统的查询接口或开发自定义的查询服务来实现。

现成的轮子

• Hologres：是阿里巴巴推出的一款企业级实时数仓服务，它集成了大规模并行处理（MPP）分析能力和云原生技术。其设计初衷是为了解决传统数仓的性能瓶颈，通过实时计算和存储能力，支持大规模数据分析需求。Hologres利用列式存储技术以及近实时的数据更新机制，大大提高了查询的效率和处理速度。
• StarRocks：是一个开源的分布式数据库，具有高性能的查询和分析能力，支持实时数据的摄入和查询。它采用了分布式架构和列式存储，能够处理大规模数据集，并提供了SQL接口和丰富的数据分析功能。
• Apache Doris：是一个开源的分布式OLAP数据库，具有高性能、可扩展性和易用性的特点。它支持实时数据的摄入和查询，能够快速处理复杂的分析查询，适用于构建实时数仓。
• ClickHouse：是一个高性能的列式数据库，专为OLAP场景设计。它具有快速的查询响应速度和高并发处理能力，支持实时数据的写入和查询，适用于实时数仓的构建。