快捷搜索:  as

华为侯金龙:打造“‍融合、智能、合作 ”

【逐日科技网】

11月19日,华为在深圳举办2019举世数据根基举措措施论坛,面向鲲鹏谋略财产,发布周全启动数据根基举措措施计谋,并开源数据虚拟化引擎HetuEngine(河图引擎),盼望让伙伴像应用“数据库”一样应用“大年夜数据”,让数据管理、应用更简单。这是继今年9月基于“鲲鹏+昇腾”双引擎周全启航谋略计谋后,华为从数据角度对谋略计谋的再度阐述。华为数据根基举措措施计谋环抱数据“采-存-算-管-用”的全生命周期,诠释了华为经由过程供给交融、智能、开放的数据根基举措措施,使能各行各业客户开释数据代价,让智能无所不及。

华为Cloud & AI产品与办事总裁侯金龙在大年夜会上颁发主题演讲

以下是侯金龙演讲全文

女士们、老师们、同伙们,大年夜家上午好!迎接大年夜家来到深圳,参加首届举世数据根基举措措施论坛。

人类正迈入万物互联的智能期间,而数据将成为智能天下的关键临盆资料。本日,我分享的主题是《打造“交融、智能、开放”数据根基举措措施,联袂迈入智能期间》。

构建万物互联的智能天下

华为公司的愿景与任务是:“把数字天下带入每小我、每个家庭、每个组织,构建万物互联的智能天下”。在智能天下,算力成为新临盆力,数据成为新临盆资料,“5G、AI、云”成为新临盆对象,将使能千行百业迈入智能期间。

两个月前,华为在全联接大年夜会上宣布了“一云两翼双引擎”的鲲鹏谋略财产结构,基于“鲲鹏+昇腾”双引擎,周全启航谋略计谋,为天下供给最强算力。

“一云”是指华为云,是生态伙伴成长的黑地皮。“两翼”是指智能谋略和智能数据。数据作为鲲鹏财产中的关键一翼,华为将环抱数据构建端到真个能力,包括存、算、用的能力,经由过程5G+云+AI能力,打造“交融、智能、开放”的数据根基举措措施,开释数据代价,让智能无所不及!

智能天下,从数据治理走向数据运营

首先,数据将驱动客户体验。当你打开一个App,就会收到你感兴趣的内容推送。精准推送的背后,着实便是数据在驱动。比如快手,天天孕育发生1.2亿个内容标签与用户画像实时匹配,数据运营实现内容精准推送。

其次,在企业经营活动中,数据驱动企业临盆决策。以大年夜港油田为例,在经历了50年持续开采后,面临资本枯竭、产量下降的寻衅。2019年以来,大年夜港油田采纳华为大年夜数据和AI技巧,使用测井曲线,结合履历模型天生了每口井的孔隙度、渗透率,找到了更多的新的油气层。经由过程数据运营,为经久稳产500万吨供给了决策支撑。

着末,我先容下数据驱动企业流程简化。华为每年有近300万人次出差,曩昔出差涉及考勤、机票、酒店,包括报销等十几个申请流程,现在只必要一个流程就可以真正实现“说走就走”。这是天天45万次后台数据关联碰撞的结果。数据运营,实现“让数据多跑路,员工少跑腿”。

智能天下,需求与资本存在伟大年夜落差

跟着5G、AI和云的遍及,数据量正以惊人的速率增长:从1080P到4K、8K,视频数据量将提升40倍,从4K到4K VR要增添6倍以上;未来每辆自动驾驶汽车天天就会孕育发生高达64 TB数据;深圳一个城市有跨越200万摄像头,天天将孕育发生80 PB数据,匀称保存30天,大年夜家盼望保存更长光阴;大年夜量的数据以前只需存几天,现在必要保存几个月以致保存。

根据猜测,举世数据量将从2018年的33 ZB快速增长到2025年的180 ZB。然则,孕育发生的数据中仅有不到2%被保存,而被保存的数据中仅有不到10%被利用。

这些海量数据的增长背后是必要海量存储和谋略的资本,数据增长是无限的,而存储资本却是有限的。

数据全生命周期每比特代价,每比特资源

我们盼望对数据的采、存、算、管、用实施端到真个整合和优化,让数据在全生命周期内更好用,数据的每比特发挥代价,数据的每比特资源!

打造“交融、智能、开放”数据根基举措措施

为实现这个追求,华为打造交融、智能、开放的数据根基举措措施,让数据系统从伶仃走向交融,从繁杂走向智能,从封闭走向开放:

经由过程“突破数据处置惩罚与数据存储的界限”,实现数据高效共享和阐发,降本增效。

经由过程“AI+存储+云”,实现数据全生命周期内智能治理和智能运营,让存储越用越快,代价越来越大年夜。

经由过程“数据虚拟化引擎”,统一SQL语法,像应用数据库一样应用大年夜数据。

交融:应用极简

数据利用的核心包括存储和阐发。烟囱式IT营业系统带来两个问题:存的时刻会孕育发生多个冗余副本,且数据无法流动,存储资源高;阐发的时刻会导致大年夜量数据搬家,阐发效率低。

经由过程10余年技巧积累和立异,华为在存储、数据库和大年夜数据技巧上实现了一系列冲破,经由过程突破4堵墙,让数据的每比特发挥代价,数据的每比特资源。

突破存储内部系统墙:经由过程一套架构实现临盆、阐发、备份、归档的统一治理,一份数据在各个系统中平滑流动,削减拷贝,TCO低落30%以上。

突破数据库与存储链路墙:经由过程算子下推实现近数据谋略,削减存储层与谋略层之间的数据互换,数据造访和处置惩罚机能提升2倍。

突破大年夜数据与存储设置设置设备摆设摆设墙:经由过程存算分离实现资本机动设置设置设备摆设摆设,谋略不够扩谋略,存储不够扩存储。并经由过程弹性EC、数据缩减技巧削减冗余,整体TCO低落30%以上。

突破数据库与大年夜数据协同墙:经由过程协同阐发实现数据零搬家,数据库和大年夜数据共享一份数据,阐发效率提升。

智能:体验

以前,主要寄托人来完成设备设置设置设备摆设摆设和运维,运维职员履历和能力的上下抉择了治理效率的好坏。华为基于AI芯片、存储和华为云的三层架构,经由过程云上练习和云下推理,让系统越用越快、越用越省。

依托昇腾处置惩罚器的AI能力,自动进修和识别IO流,提升Cache预取射中率,系统整体机能提升20%。

依托鲲鹏处置惩罚器的多核算力,根据不合的数据类型,实时优化数据缩减算法,TCO低落25%。

结合华为云自身大年夜规模运维运营履历,当前可以实现提前14天猜测硬盘故障,提前60天猜测机能瓶颈,提前365天猜测容量不够,此中30%的故障可以自我修复。

开放:开拓极简

跟着营业类型日益增多,大年夜量营业必要跨平台、跨数据源协同阐发。这种场景下,最凸起的3个问题是:找数难、取数难、用数难。

找数难:传统企业数据类型越来越多,布局化、半布局化、非布局化数据并存,缺少统一数据目录和全局数据视图,要在浩繁异构数据源中找到特定命据,好连大年夜海捞针。

取数难:一个范例的阐发营业平日依附跨地域跨平台数据协同,必要从多个营业系统获取数据,这要颠末多部门间和谐、核实才能获取。

用数难:多营业阐发必要多引擎协同,这将依附多种数据造访技巧,就必要开拓职员掌握多种开拓对象和说话,从而导致开拓门槛变高,开拓周期变长。

为了樊篱数据类型差异、地域差异、语法差异,让数据管理简单,应用简单,华为推出了“河图引擎”。

HetuEngine,从“大年夜数据”走向“大年夜数据库”

我们将数据虚拟化引擎命名为河图,便是樊篱数据根基举措措施的繁杂度,闪开拓者像应用数据库一样应用大年夜数据,复用现有的生态、对象和技能,提升开拓效率2到10倍。“大年夜禹得河图后始见清明”,传说中,大年夜禹经由过程河图掌握河流山川繁杂的地形地貌,顺利完成治水大年夜业。

河图引擎,便是要让数据管理简单,应用简单,更方便的掘客数据代价。它具备4个核心能力:

一个目录:经由过程元数据在线感知,构建1000+异地异构数据源全局虚拟数据视图,突破数据孤岛,数据全局可视,办理企业找数难问题。

一个进口:经由过程开放的连接框架、5000节点SQL引擎,实现30种异地异构数据源统一SQL造访,秒级获取,数据全局可得,办理企业取数难问题。

一份数据:经由过程CarbonData技巧,实现一份数据多场景阐发,多利用共享,数据零搬家,数据全局可用,办理企业用数难问题。

统一安然:通过细粒度动态授权、敏感数据自动感知技巧,实现异地异构数据源集中式安然设置设置设备摆设摆设与管控,数据全局可控,数据授权光阴从天到秒,办理企业数据安然与合规问题。

开源河图引擎HetuEngine

为了更好地成长数据财产,本日我发布开源河图引擎,开源版本的河图引擎叫openHetu,将于2020年6月上线。我们将开源内核,开拓者可以基于开源代码进行定制,包括数据源扩展、SQL履行策略等,实现利用快速对接,提升开拓效率。

华为Cloud & AI产品与办事总裁侯金龙发布开源数据虚拟化引擎HetuEngine

平台+生态,联袂迈入智能期间

华为始终践行“平台+生态”策略,经由过程硬件开放,软件开源,使能伙伴,共建开放、繁荣的鲲鹏谋略财孕育发生态,合营迈入智能期间。

感谢大年夜家!

您可能还会对下面的文章感兴趣: