打破大数据应用困局?上汽数据业务部技术总监有绝招

自媒体 自媒体

如今,大数据开发与应用已成为各大企业争相布局的重点领域,但由于数据实时性不强、数据加密程度较弱、计算资源隔离等因素,往往陷入大数据应用困局。

(自媒体www.77y77.com)


(自媒体www.77y77.com)

对此,上汽集团数据业务部研发了数据湖产品,具有数据存储大容量低成本、数据保真度高、方便引流到外围应用等优点,致力于打破这一困局,构建上汽集团的数据中台。

(本文来自www.77y77.com)


那么,上汽数据湖产品到底有多厉害?记者为此采访了上汽集团数据业务部技术总监谈晟。


打破大数据应用困局?上汽数据业务部技术总监有绝招


什么是“数据湖”?


谈晟:数据湖是未经处理和包装的原生状态数据水库,不同源头的水体(数据)源源不断流入数据湖,为企业带来各种分析、探索的可能性


上汽数据湖并不是一个纯技术概念,而是数据管理的一种方法论。原始数据无需加工整合,可直接入湖,由最终使用者按照自己的需要进行数据处理。上汽数据湖是一种利用低成本技术来捕捉、提炼、储存和探索大规模的长期的原始数据的方法与技术实现,其建设思路从本质上颠覆了数据仓库建设方法论。


我们的产品之所以称为“上汽数据湖”,一方面是继承了“数据湖”的概念,另一方面则是以制造行业为背景,建设成了具有上汽特色的大数据应用与管理平台。

·

上汽数据湖具体有哪些应用?


谈晟:主要应用有几个方面:一,人工智能平台应用,基于TensorFlow(谷歌基于DistBelief进行研发的第二代人工智能学习系统)集群,支持GPU加速,实现即开即用;

二,开发环境与生产环境平行部署,基于Docker实现便携插拔式应用,即插即用;

三,个人文件处理,可实现无门槛上传、自动解析、自动回传到PC;

四,海量数据、数据仓库,即插即用的独享KylinCube系统,标准JDBC接口,支持Tableau,PowerBI等数据可视化软件;

五,实时报表/ETL平台:采用分布式内存数据库,能够达到实时数据更新,超低延时查询等。

·

与其他车企相比,上汽数据湖的核心竞争力在哪?


谈晟:据了解,其他车企也非常重视数据湖类型产品的使用与投入,但资深人力不足,普遍过于依靠外部供应商,对于同类产品更多是被动地接受使用,因此存在无实时性大数据、安全性无保证、计算资源管理能力不足的缺陷。


上汽数据湖产品的核心竞争力在于:一,数据实时接入,异构数据库数据融合,可以实现每秒100万级数据接入;二,高性能的查询,数据湖可以将查询性能提升100倍,还包括数据快照及数据回溯、百亿级数据亚秒级查询等;三,金融级的数据加密,包括单位格级别权限管理、金融级自动化数据加密、敏感数据脱敏等;四,便携科学计算应用,包括科学家/分析师专属工作台、计算与存储分离、容器化资源管理等。


此外,降本增效也十分关键。据统计,友商每TB的数据量最廉价的也要花费10万元,如果用数据湖大概只要2500元,算上之前部署和后期维护成本,,如果用数据湖来取代传统的大数据分析系统,至少可以节省70%以上的建设成本,而且数据量越大,这一比例会越高。


在汽车行业,上汽数据湖处于怎样的水平和地位?


谈晟:纵观中国市场整个汽车行业,上汽数据湖产品具有相当程度的领导性,成为各大车企建设数据湖应用的风向标。


目前,已有多家车企与上汽寻求合作,利用上汽数据湖产品快速搭建起具有行业特色的大数据应用。在上汽集团内部,上汽数据湖产品团队已多方位做出技术能力输出,帮忙上汽大众、上汽通用、上汽乘用车、上汽商用车、安吉智行、上汽汇众等多家企业完成上汽数据湖的部署与应用。

·
打破大数据应用困局?上汽数据业务部技术总监有绝招

谈晟


上汽集团数据业务部技术总监

上汽数据湖项目负责人



往期精彩问答:


运美国大豆的船没赶上,4190 万元关税谁买单?涨价20多万的特斯拉呢?


倒车变道全靠它!听华域专家讲述毫米波雷达的工作原理


为何越来越多车型都用三缸发动机?交大教授一语道破天机


全框铝合金副车架羡慕不?汇众工程师表示以后大家都有


上汽大通工程师围观CES,我们的黑科技都量产了


自媒体微信号:77y77扫描二维码关注公众号
爱八卦,爱爆料。

Copyright2018.琴琴自媒体资讯站,让大家及时掌握各行各业第一手资讯新闻!