6 数据仓库架构之数据仓库存储层

在数据仓库的架构中，存储层是至关重要的组成部分。它负责有效地存储和管理来自数据源层提取的数据，以保证数据能够方便地被分析和展示。在前一篇教程中，我们讨论了数据源层，它是数据仓库的入口，承载了原始数据的采集和加载。接下来，我们将深入探讨数据仓库存储层的设计及实现。

数据仓库存储层的概述

数据仓库存储层主要由以下组件构成：

1. 数据表：用于存储结构化数据。
2. 数据模型：包括星型模型、雪花模型等，用于组织数据的关系。
3. 数据分区和索引：提高数据访问性能。
4. 历史数据管理：实现数据的版本控制和历史查询。

数据存储结构

1. 事实表和维度表

在数据仓库中，最基本的构建块是事实表和维度表。

• 事实表：存储的是业务活动的度量数据，例如销售金额、订单数量等。这些数据通常是数值型的，表示业务过程中的关键指标。

• 维度表：用于存储描述性信息，比如客户信息、产品信息和时间维度等。维度表通常是非数值型的，并且与事实表通过外键进行关联。

示例

假设我们有一个在线零售业务，常见的事实表和维度表如下：

• 销售事实表（fact_sales）

销售ID	产品ID	客户ID	销售金额	销售时间
1	101	201	150.00	2023-01-01
2	102	202	200.00	2023-01-01

• 产品维度表（dim_product）

产品ID	产品名称	类别
101	电子产品	电子
102	家庭用品	家居

• 客户维度表（dim_customer）

客户ID	客户姓名	客户类型
201	张三	普通客户
202	李四	VIP客户

2. 数据模型设计

在数据仓库设计中，选择合适的数据模型至关重要。一般有星型模型和雪花模型两种常用方式。

• 星型模型：特征是中心为事实表，周围是维度表，整个结构像一颗星星。这种模型简单易懂，并且查询性能较好。

• 雪花模型：在雪花模型中，维度表可以进一步分解成多个表，形成层级结构。这种模型在某些情况下可以减少数据冗余，但查询复杂度提高。

3. 数据分区和索引

为了进一步优化存储层的性能，数据分区和索引是必不可少的手段。

• 数据分区：将大型表分割成更小的、易于管理的部分。比如，可以根据销售时间对fact_sales表进行按月分区。

• 索引：可以大幅提高数据检索速度。对常用查询列（如产品ID和客户ID）创建索引能显著加速查询性能。

示例代码

这里是使用 SQL 创建一个简单的销售事实表和产品维度表的示例：

CREATE TABLE dim_product (
    product_id INT PRIMARY KEY,
    product_name VARCHAR(255),
    category VARCHAR(100)
);

CREATE TABLE fact_sales (
    sales_id INT PRIMARY KEY,
    product_id INT,
    customer_id INT,
    sales_amount DECIMAL(10, 2),
    sales_time DATE,
    FOREIGN KEY (product_id) REFERENCES dim_product(product_id)
);

历史数据管理

在数据仓库中，很多时候我们需要保留数据的历史版本以支持时间序列分析。这可以通过慢变维（SCD）的方法来实现。常见的慢变维类型有：

• 类型1：直接覆盖旧数据。
• 类型2：保留历史记录，记录每次变更。
• 类型3：只保留当前值和一个历史值。

实现案例

假设我们使用类型2来处理产品的价格变更，我们可以在dim_product表中添加开始日期和结束日期字段来记录变更信息。

ALTER TABLE dim_product ADD COLUMN start_date DATE;
ALTER TABLE dim_product ADD COLUMN end_date DATE;

这样，我们在更新产品信息时，可以为每个变更记录新的行，同时更新时间戳：

-- 更新产品价格的同时插入新记录
INSERT INTO dim_product (product_id, product_name, category, start_date, end_date) VALUES
(101, '电子产品', '电子', '2023-01-01', NULL);

-- 更新老记录的结束日期
UPDATE dim_product SET end_date = '2023-01-01' WHERE product_id = 101 AND end_date IS NULL;

小结

数据仓库存储层的设计是整个数据仓库架构中至关重要的一环。通过合理的结构设计、数据模型选择以及性能优化，存储层能够高效地服务于数据分析及展示层。在下一篇教程中，我们将深入探讨数据仓库架构中的展示层，了解如何将存储层的数据转化为易于理解和分析的信息。