华为谢黎明:告别机械时代,走向更经济的智能存储
2019-08-30 分类:技术
8月22日,由浙江省经济和信息化厅、杭州市人民政府指导,杭州市萧山区人民政府主办,萧山经济技术开发区管理委员会、中国计算机学会信息存储专委会、武汉光电国家研究中心协办,北京世纪百易网络有限公司(DOIT)、杭州华澜微电子股份有限公司承办的“2019全球闪存峰会”在杭州国际博览中心(G20主会场)盛大举行。
华为智能数据与存储产品线全闪存领域产品总监谢黎明
华为智能数据与存储产品线全闪存领域产品总监谢黎明,发表《告别机械时代,走向更经济的智能存储》的主题演讲,重点介绍了华为新一代智能存储 OceanStor Dorado V6。
如何定义智能的存储?
众所周知,整个中国经济增长是非常迅猛的,GDP在全球排名第二。其中,数字经济占据三分之一的市场份额。
在整个数字化过程中,出现了非常多的新联接以及新应用。而新联接、新应用带来最大的变化就是数据产生的加速和数据流动的加速。同时,还可以看到5G带来的变化,从人与人之间的联接变成了万物互联,这其中变化的本质是联接数量的增加,包括数据流动加速。很多新的应用,如VR、AR、8K、智能工厂、自动化驾驶等带来的数据量是极其庞大的。
以自动驾驶为例,一辆车每天产生的数据量高达64TB。车子从开发到量产需要经历近100亿公里的驾驶里程,才能达到量产要求。而这个过程中大概会产生50EB的数据,海量数据带给基础设施的挑战同样是巨大的。
面对这样的挑战,在今年6月,华为智能数据和存储产品线发布了面向数据治理的智能数据治理平台——FusionData。透过该平台,大家可以看到,必须将整个数据基础设施进行重新定义才能真正完成在数据治理上的挑战。
首先从底层来看,计算会发生很多变化,使得数据类型发生了比较大的变化。例如在处理统计信息需要CPU能力;处理图片、视频则需要GPU能力;处理机器计算、机器学习可能需要的就是NPU能力,表明未来计算一定是从单一走向异构。
面对多样数据,不论结构化还是非结构化数据,必须满足各类数据的接入。因此在数据接入层需要进行重新定义,包括在存储层,其数据一定是从单一存储走向融合存储。
以前的大数据平台和数据仓从属于不同的烟囱,如今需要进行融合处理,这就出现了很大变化,包括数据使能层可能需要非常强大的调度器,实现所有大数据数仓调度任务分析,生成一些数据主题去消费,都会使数据使能层发生变化,所以从上到下每一层都必须进行重新定义,才可能真正解决数据治理的问题。
今天是闪存峰会,接下来将会重点介绍华为在闪存方面如何重新定义。
华为闪存从2008年开始至今已有10多年的历史。在华为整个闪存的发展历程中,2008年发布了业界第一批闪存,在2014年发布了SAN&NAS融合存储,到2017年发布了业界最高的SPC-1的测试结果,再到2018年率先于业界发布了全系列NVMe架构存储系统。整个发展历程中,华为的创新步伐从未停止。
在今年7月23日,华为在北京发布了OceanStor Dorado V6新一代智能闪存,其在快、稳、智能三个方面有突出表现。
首先是快。对于闪存而言,一定是非常快的,所以上一代华为发布了700万的IOPS和0.3毫秒时延的存储系统。7月23日发布的OceanStor Dorado V6达到2000万的IOPS和0.1毫秒的时延。但这是不是足够快呢?其实华为做存储将近20年的时间,华为深有感触,在生命周期中会经历非常多的过程,因此需要对数据进行保护,需要“大扫除”,做一些垃圾回收,可能还要打一些快照,,做一些备份,还包括内部的后台处理。在所有场景之下是否可以保证存储体验的一致以及对性能的影响最小?
OceanStor Dorado V6不仅可以提供高性能指标,还能提供全生命周期性能体验的稳定。好似开车一般,不仅希望加速快,而且在过沟沟坎坎的时候振荡非常小。华为现在能做到的是控制在10%以内,而业界大概在30%,这就是华为理解的快。
其次再谈一谈为什么能这样的快,为什么能做极致性能?其核心在于软件、硬件,而最重要的事情是华为拥有五颗芯片去解决这些问题。
华为自研SSD控制器,华为的控制器能够把读写访问时延降到最低,包括整个控制器单板上面用的板机管理芯片都是华为自己研发的。因此华为能够做到整个板机各种故障识别,包括准确率能够实现业界最佳。同时,华为在整个OceanStor Dorado V6上面还搭载了AI芯片,具备自学习能力,使之能够越用越好。
鲲鹏920处理器就是CPU芯片,这个是存储控制器上面的关键芯片。一颗芯片上面有48个核,大家可以想一想一套高端存储系统如何才能把如此重核的系统性能发挥到极致?这是一个难题。华为需要利用资源分区的专利技术,去协调重核,将沟通冲突的问题解决,否则核数再多也无处可用,这便是快。
在稳方面,OceanStor Dorado V6在业界又实现了哪些超越?我们知道存储控制器是常见的故障,控制器故障在生命周期是很可能出现的,而业界针对控制器的故障能做到什么样的水平呢?坏了一个控制器没问题,两个也能冗余,但是后面再坏更多控制器可能就不行了。华为在新的OceanStor Dorado V6架构里面,就把架构做了解耦,能够实现8个控制器坏了7个情况下还能提供业务。
Copyright © 2002-2013 奇迹网页版私服 版权所有