当前位置: 首页 > 技术与资源 > 技术分享 > 正文

大数据漫谈3:大数据平台该如何建设?

2015-09-08 14:06:29

专家简介:李剑杰,新炬网络架构师,资深数据资产管理、大数据专家,10年数据资产管理经验,曾参与多个移动、联通、银行、烟草数据资产管理项目,对数据资产有丰富的项目规划管理、落地实施经验。


大数据时代,数据的价值不言而喻,数据已经成为企业重要的信息资产。数据的存储也好,数据的整合加工也罢,归根到底是为了使用数据。那怎么才能有效的发挥数据的价值呢?


在这之前,我们先来看看大数据与BI。在大数据之前,BI就已经存在很久了,简单把大数据等同于BI,明显是不恰当的。但两者又是紧密关联的,相辅相成的。BI是达成业务管理的应用工具,没有BI,大数据就没有了价值转化的工具,就无法把数据的价值呈现给用户,也就无法有效地支撑企业经营管理决策;大数据则是基础,没有大数据,BI就失去了存在的基础,没有办法快速、实时、高效地处理数据,支撑应用。 所以,数据的价值发挥,大数据平台的建设,必然是囊括了大数据处理与BI应用分析建设的。


数据使用金字塔模型


从数据的使用角度来看,数据基本有以下使用方式:


大数据平台该如何建设

自上而下,可以看到,对数据的要求是不一样的:


● 数据量越来越大,唯独越来越多。


● 交互难度越来越大。


● 技术难度越来越大。


● 以人为主,逐步向机器为主。


● 用户专业程度逐步提升,门槛越来越高。


大数据平台建设


企业构建大数据平台,归根到底是构建企业的数据资产运营中心,发挥数据的价值,支撑企业的发展。


大数据平台该如何建设

建设企业的基础数据中心,构建企业统一的数据存储体系,统一进行数据建模,为数据的价值呈现奠定基础。同时数据处理能力下沉,建设集中的数据处理中心,提供强大的数据处理能力;通过统一的数据管理监控体系,保障系统的稳定运行。有了数据基础,构建统一的BI应用中心,满足业务需求,体现数据价值。


提到大数据,无可避免的就会提到hadoop。尽管大数据并不等同于hadoop,但hadoop确实是最热门的大数据技术。下面我们以最常用的混搭架构,来看一下大数据平台可以怎么来搭建,支撑企业应用:


大数据平台该如何建设

通过Kafka作为统一采集平台的消息管理层,灵活的对接、适配各种数据源采集(如集成flume),提供灵活、可配置的数据采集能力。


利用spark和hadoop技术,构建大数据平台最为核心的基础数据的存储、处理能力中心,提供强大的数据处理能力,满足数据的交互需求。同时通过sparkstreaming,可以有效满足企业实时数据的要求,构建企业发展的实时指标体系。


同时为了更好的满足的数据获取需求,通过RDBMS,提供企业高度汇总的统计数据,满足企业常规的统计报表需求,降低使用门槛。对大数据明细查询需求,则通过构建HBase集群,提供大数据快速查询能力,满足对大数据的查询获取需求。


技术只是承载业务的一种手段,无论采用哪种技术手段,归根到底是为了实现数据的价值。只有根据企业实际的发展需求,透彻分析企业的数据形态,才能更好的选择符合企业发展的技术架构,才能最大限度的满足企业发展要求,发挥数据价值,支撑企业决策,提高企业的综合竞争能力。

上一篇:大数据漫谈2:大数据价值点在哪里
下一篇:大数据漫谈4:大数据怎么发挥大价值?