当前位置: 首页 > 技术与资源 > 技术分享 > 正文

大数据漫谈4:大数据怎么发挥大价值?

2015-09-09 09:50:53

专家简介:李剑杰,新炬网络架构师,资深数据资产管理、大数据专家,10年数据资产管理经验,曾参与多个移动、联通、银行、烟草数据资产管理项目,对数据资产有丰富的项目规划管理、落地实施经验。


前面我们已经谈过了大数据是什么,怎么构建大数据系统,那么,是不是把大数据平台搭建起来,就可以发挥大数据的价值?就一劳永逸了吗?


显然,并不是!


相对于以前的数据分析系统,大数据系统,有其特殊性。一般而言,大数据系统工程都比较大,更多的数据,更多的需求,更高的灵活性,决定了大数据更应该以平台的方式来建设,松耦合共享的方式来支撑应用。


大数据平台是一个完整、复杂的体系工程,包括了基础技术平台的搭建、能力模型的组织、平台的运营管理、数据模型的管控、平台的应用建设以及其它配套资源的协调。一个平台要持续具备高效的能力输出,发挥平台价值,是一个长期的、需要多方面共同协作配合的过程。如下图所示:


大数据怎么发挥大价值

技术平台


技术平台是发挥大数据价值的核心基础,只有构建了合适的大数据技术平台,才能进行数据采集、数据存储、数据处理,才能发挥大数据的价值。目前在大数据技术上,比较流行、发展快速的,也就是大家比较熟悉的hadoop架构体系了,其开源、免费属性,使其在最近几年,得到了飞速的发展,开始在互联网企业、大型的传统企业落地生根,发挥价值。


由于hadoop的开源免费属性,大家都可以去下载项目,搭建系统。在这里需要说明一下的是,仅仅把各个组件部署串联起来,把流程走通,测试个HellWorld,那仅仅只是个Demo,和让hadoop真正在商业上24小时不间断稳定用起来,是完全不同,不是一个层次上的事。


大数据怎么发挥大价值

除了组件的实施构建,还需要考虑很多方面,如:


● 在最开始规划时,需要根据业务情况,进行技术选型。如是否存在大数据量查询?是否有实时数据需求?查询复杂度情况等等。不同的业务特点,会有不同的技术支撑。


● 在硬件、网络方面,需要考虑时优先内存处理,还是磁盘处理?网络需要多大?千兆?万兆?怎么设计、分配?


● 在安全控制方面,要设计如何进行安全认证;如何排除伪节点攻击;如何更好的进行用户管理、操作隔离等。


……


能力模型


大数据平台作为大数据中心,需要统一对外提供数据,支撑应用的百花齐放。共享模型,是大数据平台最好的能力承载介质,可以有效支撑数据需求。统一的共享模型,可以降低系统藕合度,提高需求的支撑效率,同时还能够减少数据冗余,优化数据支撑能力。


运营管理


大数据平台初步搭建起来后,进入了日常运营管理阶段,持续发挥价值。很多分析系统,往往在一开始都只是提供基本的业务需求,但是需求随着时间的推移,是不断增加,更加复杂的。要想真正发挥大数据平台的价值,平台在日常运营中,怎么更好更快的满足业务需求,是一个需要重视的关键点。在共享模式中,一般平台运营流程如下:


大数据怎么发挥大价值

模型管控


一个平台要发挥价值,模型设计是关键。模型的质量,直接影响应用的满足,平台本身的稳定高效。前期的模型设计再好,如果后期没有配套的模型管控流程,没有切实落地执行,模型就会慢慢变得臃肿,杂乱,效率低下,会导致整个平台的失败。一般模型管控可以包含模型的管理、评审、实施、优化等内容。


应用建设


应用是数据价值体现的窗口。数据要发挥价值,最直接的方式就是通过应用展现出来,直观,可视。根据数据的使用方式,一般可以将数据的呈现分为常规报表和专题分析。常规报表是根据企业日常运营需要,将数据做常态化展现,相对固定。专题分析一般是根据具体的专项需求,进行专题化的分析、建模、挖掘展现,具有很专业化解决问题的倾向,比如支撑某个营销策划,促进销售,增长用户;或者针对旅游季节,进行旅游专题分析支撑等。可以在短期内看到效果,具有一定的时效性。


大数据是一个系统化工程,要持续、有效的发挥大数据价值,必须把大数据平台当作一个有机整体来看待。将技术、管理、业务有机的结合起来,以业务需求为中心,技术平台为基础,管理流程为辅助,让大数据平台有效的发挥价值,健康的发挥价值,为企业的持续发展,奠定有力的数据支撑,为企业的快速发展护驾保航,在数字化时代立于不败之地。

上一篇:大数据漫谈3:大数据平台该如何建设?
下一篇:初探数据管理能力成熟度模型DMM