数据湖

数据存储那点事：数据湖和数据仓库

数据湖是个筐，什么都能往里装……物联网设备传感数据、网站、APP、社交媒体和业务系统的非结构化数据和结构化数据统统往里装。

数据仓库就不同了，既然是仓库，就需要事先规划，按品类分区，原料、半成品以及成品分开存储，以提高出入库、调拨的效率。

事实上确实如此，数据仓库（DW, Data Warehousing），通常分为：

  • 操作数据层（ODS, Operational Data Store）
  • 明细数据层（ DWD, Data Warehouse Detail）
  • 汇总数据层（DWS , Data Warehouse Summary）
  • 应用数据层（ADS, Application Data Store）

另外还有一个公共维表层（DIM） 。

先不要被这些概念吓住，以后讲数据仓库建模的时候会详细说，先初步有个印象。

类比来看，这就是一个数据原材料——原材料半加工——半成品全加工——按需食用的过程。

  • 结构化的数据先原样存入 ODS 层。要用到数据采集、同步的技术，上篇文章有写到。这一步相当于把原材料拉进仓库里。操作数据层和数据湖有点像，但不包含半结构化、非结构化数据。
  • 明细层和汇总层，存的都是事实表，事实表又是个啥？就是反应了一项事实，比如谁什么时间花了多少钱购买了哪个商家的某个产品。这正好是一张数据表的各项字段。明细层存的是详细的事实数据，而汇总层，是按业务需求，做了一定的汇总后存放的数据，比如最近 7 天北京地区活跃的男性和女性用户数量，这是一行汇总数据，是根据明细数据汇总而成的数据。
  • 明细层的数据，是从 ODS 加工而来的，如何加工？最简单常见的就是 JOIN、UNION，写一些复杂的 SQL。这一步是半加工。
  • 我们建数据仓库，最终还是为数据分析（OLAP）、可视化等业务应用提供支撑。为了更好地调用、分析数据，数据是按主题分类的，就是后文要说的「面向主题」。
  • 公共维表层，存放用于分析时的那些维度，维度是衡量和观察业务的角度。比如省市区、年月日、用户等级等。

说清楚了数据仓库，再来回顾下数据湖和数据仓库最大的不同。

数据湖是一个庞大的混合存储库，一般是集中式的，可以存储所有结构化和非结构化数据。

而数据仓库，是一个「面向主题的（Subject Oriented）、集成的（Integrated）、相对稳定的（Non-Volatile）、反映历史变化（Time Variant）的数据集合，用于支持管理决策（Decision Making Support）。」这是数据仓库之父Bill Inmon在 1991 年出版的《Building the Data Warehouse》一书对数据仓库所做的定义。

  • 面向主题，简单来说，就是按目的（比如分析的指标大类）把数据分类，比如电商的数据运营，会对商品、会员、销售、物流等各项指标分析，可以按以上分类把数据分表存放。
  • 集成的，意思是多个供应商（业务系统）的货（数据），我们都有序地存放在一个中央仓库（数据仓库）里，康师傅和统一的方便面，我们都放在方便面的货架里。
  • 相对稳定，这是区别于 OLTP 数据的特点，比如一条订单数据，状态会不断变化，有下单（待付款）、付款（待发货）、发货（待确认收货）……等一系列更新（UPDATE）过程，这就是不稳定，而存入数仓的数据，一般不会再更新。
  • 反应历史变化，是指要把反映过程的数据尽可能地存储下来，以便支撑更为精细的分析。这样一来存入的数据会很多，以上面的订单数据为例，在 OLTP 中只有一条记录，可能只有状态字段和时间字段更新，其它商品、用户字段不发生变化，而在数仓中，会把每次更新都存下来，这样会有多条数据。而「拉链表」就是优化这种存储场景的一种方法（以后详述），可以有效降低存储成本。

数据仓库这种「数据集合」，需要根据业务的需要，事先规划定义数据结构，因此它可以用传统的关系型数据库来搭建，因为要存储很多历史数据，所以要对单表的存储容量和性能有所要求，传统数据仓库很多都是用 Oracle 搭建的。

那么说数据仓库和大数据又有什么关系吗？数据仓库是种方法论，大数据能提供技术手段。比如 Hive，就是大数据里用来搭建数据仓库的好组件。

数据湖是不是就是一个简单的混合存储库？也不是。数据湖并不是存储方案，它的目的也是用于分析和指导决策。

  • 数据湖本身要支持运行不同类型的分析（如 SQL 查询、大数据分析、全文搜索、实时分析和机器学习），不需要将数据移至另外的分析系统。
  • 数据湖要能够对数据进行爬网、编目和建立索引来让用户了解和使用湖中的数据。这项功能的难度很高，因为数据湖中的数据更为复杂。

数据仓库可以充当用户可信任的「单一信息源。」数据湖则是以更丰富的数据格式和类型，以及更全面的分析工具，提供更广泛价值挖掘的可能性。

对于当前大部分公司的数据应用水平来说，应先建立规范的数据仓库，这是对理念和方法的考验，而不是技术和手段（用关系型数据库就能建立）。数据湖，在更先进的技术屏蔽了复杂的存储、编目和底层分析工具后，将会是趋势，可逐步关注。

关耳爷

微信号wei-talk