会当凌绝顶，一览众山小。
建设实时湖仓数据平台首先要准确理解实时湖仓这一概念并把握其本质，在接下来的连载中我们将从发展的视角厘清实时湖仓数据平台产生的背景，总结实时湖仓的基本概念与业务价值，凝聚实时湖仓概念共识。
面向分析应用的数据平台是企业信息化的重要基础设施，为了应对业务发展所需的各类应用需求，曾衍生出联机事务处理、联机分析处理等不同场景的数据平台。总的来说，数据平台的发展经历了如下三个时期：① 开立期，数据仓库初显数据价值；② 蓬勃期，大数据平台挖掘数据价值；③ 新兴期，湖仓一体融合数据价值。
这期文章我们来详细了解下，数据平台开立期的数据仓库。
发展背景
上世纪50-60年代，数据管理以“数据库”的形式首次问世，先后基于网状模型、层次模型、关系模型等不同类型的数据管理模式，出现了IDS、IMS、DB2、Sybase、Oracle和SQL Server等产品。其中最具代表性的即所谓的关系型数据库管理系统（RDBMS），本质上是通过结构化查询语句（SQL），对数据进行增、删、改、查等操作，以实现在联机事务处理（OLTP）场景下对于关系型表结构数据的存储、管理和利用，同时也承载基本的数据分析功能（如联机报表等）。
随着企业业务规模的不断扩大与业务类别的不断丰富，OLTP系统所累积的历史数据越来越多，同时承载事务型处理与分析型处理势必对业务数据库产生较大负载。另一方面，面对日益激烈的市场竞争，企业也需要对积累的业务数据进行更加全面、深入且普遍的分析，以期获取更为准确的决策信息来支持财务分析、客户分析、运营分析等工作。由此，联机分析处理系统（OLAP）应运而生，其将历史业务数据通过所谓的抽取-转换-加载（ETL）等手段存储到独立且专门的数据库管理环境，以更加专注地聚焦数据分析及应用来有效支持企业所需各类管理决策，同时也缓解分析型数据需求对OLTP系统的压力而让其专注于面向业务流程自动化的事务型处理。
技术特性
OLAP系统最初仍使用在OLTP领域业已成熟的共享存储（Share-disk）技术架构，但随着数据量的不断增大很快就在数据的存储管理、分析查询以及前端响应等方面出现了明显的性能瓶颈。随着分布式计算技术的进一步发展，MPP（大规模并行处理）数据库逐渐成为企业级数据仓库建设的主流选择，其中包括了以Teradata为代表的基于专有硬件的软硬一体MPP数据库，以及 Greenplum 和 Vertica 等为代表的基于普通x86服务器的软硬分离的MPP数据库，它们都采用无共享架构 (Share-nothing) 以充分发挥并行计算的性能优势。另外，这个阶段的主要任务是决策支持类数据分析及应用系统的建设，典型的如ODS系统、数据仓库系统、数据集市系统以及统计报表、仪表盘、多维分析、即席查询、数据挖掘等。
阶段特点
在这个阶段，企业客户或是采用了基于共享存储（Share-disk）架构的Oracle、Db2等关系型数据库产品，或是采用Teradata、Greenplum等无共享（Share-nothing）架构数据库产品。总的来说，这一时期的主要特点可概括为：以面向决策支持的结构化数据分析处理为主，基于并行计算架构实现但集群扩展能力有限。
随着业务数据量的指数级增加以及更加丰富的数据源接入，数据仓库系统所面对的数据已经开始呈现出海量、异构、多源、实时等特点，此阶段产品所具有的系统扩容困难、数据类型单一、数据存储昂贵等缺点开始逐渐暴露出来，也越来越无法有效支撑日益丰富的业务分析需求。
往期推荐
