[分享知识 原创连载]大数据之数据中心

wangx

今天大概看了一下大家连载的东西，真是内容丰富，高手云集啊，小弟资历尚浅，认知有限，内容有不准确的地方请大家不啻指教。下面说说我对大数据的一些看法，废话不多说。
与其他技术的普及历程相似，大数据的概念也是从军方延伸而出，逐渐商化、规划化。如今越来越多的企业开始重视数据（即数据资产），大数据的架构体系层出不穷，围绕数据处理和分析的技术也应运而生，大家熟悉的hadoop、流处理、规则引擎、列式数据库、NAS存储等等，关于大数据的内容太多了，因为大数据的数据内容本身就很丰富，主要分类：结构化数据/非结构化数据、实时/非实时数据。企业根据不同的需求，包括数量级、增量、成本、实时性等因素进行规划，大企业有大企业的做法，他们有资金去购买知名厂家的产品，花大价钱去做数据的整合，当然他们面向的数量级也是非常可观的；小企业有小企业的做法，现在有很多开源的产品已经很成熟了，hadoop就是很好的例子。
之所以现在大数据这么火，是因为很多人看到了其中的价值，如今是一切皆可数据化的时代（用户行为数据化，经营业绩数据化，业务模式数据化，员工管理数据化，企业决策数据化），拥有的大数据正逐渐成为一种重要的生产要素，通过充分挖掘大数据价值，助力公司的战略转型，将公司打造成拥有数据分析核心竞争力的数据驱动型企业。现在很多企业都在做适合自己的大数据平台，我就自己的认识来说说自己的一些看法。
以后的内容层次结构以下面的架构体系为基础来进行讨论


先对这里的“数据聚合”，“数据资产”，“数据应用”进行一些解释，比较概念。
数据聚合：针对企业内（外）部系统在内的公司内（外）部数据<有些厂家会引入合作伙伴或竞争对手的数据或者国家、研究机构发布的统计数据等等等等，这些都是外部数据>，形成常态化的数据聚合机制。针对这些源数据的数据种类、接口种类，建设与其相匹配的接口与处理能力，实现结构化数据/非结构化数据、实时/非实时数据的聚合，为加工形成统一数据资产提供基础数据。
数据资产：数据资产的概念本身源自于金融业，数据资产的建设方面，要构建结构化、模型化数据资产的组织、管理、存储架构。根据业务使用要求（高热度数据/低热度数据），提供不同的数据资产分类管理、存储环境。根据需要可能会引入NoSQL数据库，与关系型数据库形成高效的融合架构，共同形成数据资产的综合管理支撑能力。
数据应用：数据应用从形态上包括数据应用、数据产品、数据服务三种类型。通过构建应用支撑体系，围绕公司运营的市场活动提供数据应用能力支撑。
今天先聊到这吧，大家对以上所述有什么看法，欢迎一起参与讨论，分享是为了进步。

wangx

上篇给出了总体的架构图示，直观的表述了数据级和系统级的层次关系，此外我们还需考虑的是与业务支撑网的相互关系（数据的单双向关系），各业务平台系统的关系（数据的但双向关系）等等，清晰的梳理数据的变化和演进，才能知道数据的应用方向和渠道。这次就上图从功能上进行进一步的细化。

数据聚合层：1.建立大数据的高效数据采集机制，实现结构化数据、非结构化数据、实时流式数据分类型、分级别的采集能力，并对外屏蔽不同形态、实时/非实时、海量数据的采集差异；2.建立大数据的智慧存储机制，实现结构化数据、非结构化数据、实时流式数据的动态存储；3.建立大数据的智能分析处理机制：实现结构化数据、非结构化数据、实时流式数据的区别处理，高效、快速形成基础数据资产。
数据资产层：1.基础数据资产管理（提供形成应用数据资产的数据资源、语义、分类、关系、加工方式、存储位置等，并能够提供接口与服务使用<基础的服务内容，用基础数据即能支撑>）和应用数据资产管理<应用标签、加工模型、基础溯源分析—类似EDW的血缘分析>；2.建立数据资产加工模型，实现基础数据资产与应用数据资产、不同资产主题域间资产加工的组件化、快速化和模版化。3.数据生命周期管理机制和流程，是端到端闭环的周期管理，包括资产审核、资产发布、资产下线、资产备份等流程环节的管理。
数据应用层：1.将公司各系统中的离散数据和公司业务运营/市场营销活动相结合形成体系，对业务运营/市场营销活动的全流程提供数据支撑；2.搭建统一的对外数据产品运营平台，实现企业数据产品的资产化运营；3.搭建数据产品管理平台，实现开放式的数据产品注册、发布及其数据产品生命周期的管理；4.搭建客户行为挖掘分析平台，使之成为感知客户、深刻把握客户需求并实施精准营销、服务、推荐的智慧平台。