欢迎进入微简园地
开放的舞台

大数据是继云计算、物联网之后IT产业又一次技术变革。“大数据”是公司在日常运营中生成、累积的用户网络行为的数据。这些数据的规模庞大,以至于不能用GB或TB来衡量。积极针对大数据布局,从战略层面应对大数据时代的挑战,推进并建立起数据驱动型发展方式的企业将获得比同业更高的效率,并由此培育出自己的信息核心竞争力。


数据推动企业管理变革

vj932211.jpg

如今,数据已经成为非常重要的资产。信息中蕴含着一些客户的需求,成千上万条这类信息累积下来,就能洞察客户需求,而设计新产品,为客户个性化营销产生新的价值。数据变成一种资产了,还需要被管理起来。拥有数据的规模、灵活性,以及收集、运用数据的能力,将决定企业的核心竞争力。掌控数据就可以深入洞察市场,从而做出快速而精准的应对策略,这意味着巨大的投资回报。因此企业的IT部门将从“成本中心”转变为“利润中心”.而数据将成为企业的核心资产。

企业战略将从“业务驱动”转向“数据驱动”。数据化决策是企业未来发展方向。过去很多企业对自身经营发展的分析只停留在数据和信息的简单汇总层面,缺乏对客户、业务、营销、竞争等方面的深入分析。如果决策者只凭主观与经验对市场进行评估而制定决策,将导致战略定位不准,存在很大风险。在大数据时代,企业通过收集、分析企业内部和外部的数据,获取有价值的信息。通过挖掘这些信息,企业可以预测市场需求,进行智能化决策分析,从而制定更加行之有效的战略。

大数据最至关重要的方面,就是它会直接影响企业怎样做决策、谁来做决策。在今天的整个商业世界中,人们仍然更多依赖个人经验和直觉做决策,而不是基于数据。在信息有限、获取成本高昂,而且没有被数字化的时代,让身居高位的人做决策是情有可原的,但是大数据时代就要让数据说话。


技术架构

vj82923.jpg

从数据源到最终展现分成如下几层:

·ETL层:采用PC server作为ETL前置机.将数据清洗、转换、装载。

·离线分析计算平台:采用Hadoop分布式存储。支持结构化和非结构化数据存储并且当数据量增大时方便横向扩展(Scale-out)。可将存储层的数据进行加工.根据分析需要,可进行数据模型计算,挖掘分析等时效性低的大规模批最计算任务。

·实时在线分析平台:采用高性能数据集市作为介质。分布式的数据集市支持高并发和高可用,每个数据集市是基于一个主题做好轻量建模的细节数据,数据被分布式存储在每个节点上,同时又做好了备份。数据按照列存储的方式,被高效压缩,打好标签,存储在磁盘中。当需要查询计算时,采用内存计算来进行数据计算,并且每台机器节点会同时计算,最终会将结果送应用层做展现。

·应用层:利用BI提供自服务分析工具,对离线和在线分析平台中的数据进行自服务可视化展现。无论是终端用户还是IT开发人员都可以通过主流浏览器来访问BI系统,用户还可通过移动终端来访问系统。BI系统提供系统监控,权限多级管理,多维数据分析等等功能,还支持自服务式报表设计和数据分析。