数据中台 ######## * Data Middle Office * Uni-Data Platform .. note:: 如果把前台比作赚钱的。后台比作支持的。那么中台实质就是前台和后台的一个桥梁,并且它能在这当中起到很好的加速效果。这里的加速,可以是效率上的提高,可以是协作上的共赢。数据中台是企业级能力复用平台 定义:: 数据中台是指在业务前台和数据后台之间构建统一的数据平台,实现企业数据全维度的统一存储、统一管理、统一安全、统一模型和统一数据服务 从技术角度,数据中台是一套成熟的数据存储、数据管理和数据服务的软件包和管理机制,可以帮助企业持续不断地将数据变成资产并服务于前方业务 从管理角度,数据中台是企业的成本和创新中心,一方面构建数据中台会带来更多的成本投入, 另一方面数据中台部门也会成为企业的创新源泉 数据中台通过数据的统一存储和管理,形成了企业的数据资产层(数据将作为重要的生产资料参与企业运营),进而为客户提供高效服务。 这些服务与企业的业务之间存在比较强的关联性,很多服务都具有独特价值并可复用,是企业业务和数据的沉淀, 不仅仅可以降低重复建设、减少烟囱式协作的成本,也是差异化竞争的优势所在。 数据中台建设的基础还是数据仓库和数据中心,数据仓库模型设计与原有的IOE时代变化不大,主流的依然是Kimball维度建模和Inmon关系模型两种, 在大型互联网公司数据中台构建过程中主要采用的是Kimball维度建模方法,在传统大型企业、政府事业单位多采用Inmon关系模型方法。 1) 对于大多数互联网公司来说,如何快速的响应需求变化和快速迭代是重点,很难从全局角度来精心设计Inmon关系模型(实体-关系模型,ER模型), 很多场景中趋向于使用Kimball维度建模(维度-事实模型,DFM)方法快速完成任务。 2) 对于很多传统大型企业以及很多大型政府机关,从全局角度使用Inmon关系模型进行数据中台建模, 根据业务需要构建一系列数据集市进行数据分析和数据挖掘,并对前方业务提供数据服务支持。 3) 数据仓库建设通常以日为粒度,通过ETL工具和数据复制工具将传统各种OLTP系统数据变化情况增量同步到数据仓库中。 4) 完善、统一的元数据管理是实现数据中台的前提之一, 通过元数据管理企业可以清晰地知道自己都有哪些业务术语、规则、流程、定义、运算法则和模型等, 可以可视化的、清晰的进行数据的世系分析和影响分析等。 为了更好地管理整个信息供应链中各个组件的元数据和掌握各组件间数据的流动, 企业需要有步骤地提升其元数据管理的成熟度,逐渐将元数据管理从局部走向全局,从分散走向集中,从孤立走向共享。 5) 数据治理是实现数据中台的关键步骤,是指将企业信息作为重要资产进行管理和控制的规程, 主要用来解决信息冗余、冲突、缺失和错误等问题。 完善的数据治理可以帮助企业避免各种操作违规、合规性风险和各种数据管理不善引起的决策效果不佳。 6) 为了在整个企业范围内跨业务竖井协调和重用主数据,需要进行统一的主数据管理,实现整个信息供应链内主题域和跨主题域相关主数据的一致性。 主数据管理是构建企业信息单一视图的重要一环。 .. image:: https://img.zhaoweiguo.com/knowledge/images/concepts/data_center1.png 分类 ==== 对于任何一家公司而言,中台可以分为技术中台,业务中台,算法中台和数据中台。 中台的落地,可以采用单体架构,微服务架构等等。大家可以看到,微服务架构仅仅是业务中台落地的一种典型技术架构实现方式。 历史 ==== 首先讲讲中台模式是怎么来的。在很早之前,芬兰的一家非常著名的游戏公司叫Supercell。 这家公司在开发游戏的时候,能以非常快的速度开发出一个游戏。这个游戏其实就是一个业务。 这个业务之所以能够开发出来,一定会有一些公共的东西来进行赋能和支持。 Supercell以小前台的方式组织了若干个开发团队。每个团队包含开发一款游戏所需的各种角色,可以快速决策、快速开发。基础设施、游戏引擎、内部开发工具和平台则由类似 “部落” 部门提供。部落可以根据需要扩展为多个小分队,但各个小分队都保持共同的目标。部落本身并不提供游戏给消费者,它只提供一些能力,赋能给你的前台业务。这里说的部落,在我看来其实就是一个中台。游戏本身就是小前台。