行业动态

数据库性能优化、云时代的数据库、NoSQL技术进步、大数据云服务、数据分析与挖掘、机器学习……不同于“昙花一现”的技术分享会，盛拓组织的2017年会议媒体与IT168 2018中国数据库技术大会（)大会第二天依旧干货满满。

12日上午的数据分析与挖掘专场迎来了技术嘉宾——联想大数据研发经理张成松。他从零开始体验了联想大数据平台的发展。一路上，他踩过很多坑，过很多河。明天，张成松将为我们带来题为《 Spark to MPP - Large-scale -Class Rooms》的演讲。

▲联想大数据研发经理张成松

随着业务急剧下滑，数据越来越多，很多企业经常会面临这样的困扰：数据查询和数据分析越来越慢，运行半小时往往出不来；没有了，维护成本和费用越来越高； T+1数据处理太慢，很难知道下一秒的业务是否有问题；不仅是传统的商业数据，智能、可穿戴设备数据、非结构化数据也越来越多。

在这种情况下，传统的企业级数据库机房势必会向大数据平台转变。张成松觉得，在这个转型过程中，需要解决三个问题。一是传统数据应用问题，涉及历史数据迁移、与传统数据库机房和应用工具的无缝集成、对原有业务处理逻辑的适配、数据支持等。 CRUD，支持存储过程；二是大数据预估，涉及PB级数据预估、结构化与非结构化数据存储、应用、大数据场景数据分析、大数据环境下的数据修复；第三个是实时数据处理问题，涉及实时数据采集、流技术、实时估计、交互、多维数据分析探索。

张成松表示，企业级大数据实施平台分为三类，一类是两套框架MPP+，数据独立存储，集群间数据同步，缺点是资源浪费；系统，数据独立存储，具体接入服务，可按需选择估算引擎；三是一套/框架it技术支持，既支持大数据估计，也支持传统的数据库机房。导出历史数据后it技术支持，同意保存数据。

张成松现场分享了他们在上的相关操作：

张成松表示，实现数据CRUD操作，支持存储过程、游标、函数、变量等逻辑，只是Spark架构中实现MPP功能的第一步。为了提高执行效率和性能，还需要从不同层面对引擎进行优化。

联想的大数据企业级分析平台最初是为了支持其手机业务而设计的。经过6年的持续投入和300余名研发人员，联想在上海、成都、香港拥有3个研发中心，拥有200余名大数据开发人员。工程师，60多位大数据平台运维工程师。目前联想总数据容量12PB，总数据10PB，日新增数据30TB，日处理数据4.3PB。

此外，联想大数据企业级分析平台由数据采集与转换套件、大数据估算平台、数据能力开放平台、业务分析套件、数据资产管理平台和系统运营平台六大部分组成维度监控中心。

,