希捷科技陈昱嘉:存储巨头面对“时”与“势”,如何赋能AIoT存储?
【CPS中安网 cps.com.cn】今年IDC发布了Data2025的报告,其中提到,2018年全球产生了33ZB的数据量,但是在2025年会达到175ZB,主要增长的数据来自于AIOT物联网,其中最大的一部分是来自于安防产业。
这意味着,未来安防行业对海量数据存储的市场需求是非常大的。
物联网AIOT为何会产生如此大的数据量呢?纵观整个AIoT,它的架构其实是分为三层的,包括终端、边缘、云。其中,边缘和云从2006年开始就已经被大家熟悉了很多,包括阿里云、AWS、腾讯云等等都已经深入到我们的生活中。但是在十几年后的今天,大部分数据存储、处理会集中在边缘层次,因为数据量增长迅猛增加,云受限于带宽和处理能力,没有办法全部存储,只有把数据离散到边缘的层次进行存储和处理,才能将海量的数据存储起来。这就是完整的AIoT架构。
AIoT的架构是由很多的技术组成的,目前没有办法用任何一种简单的方案来描述它。那么,从数据存储的角度,如何能够为AIoT架构提供适合的存储解决方案呢?
在第十五届安防论坛上,希捷科技资深解决方案顾问陈昱嘉表示,希捷科技在40年的发展中,一直深耕海量数据存储的硬盘研发,随着人工智能的发展,针对目前AI智能场景的应用也有了极具针对性的解决方案,尽全力保障客户数据的安全。
希捷科技资深解决方案顾问陈昱嘉
在接下来的阐述中,陈昱嘉介绍了希捷科技在赋能AIOT存储上做的三大块业务。
赋能AIOT存储一:研发多元硬盘满足海量数据存储需求
首先,看看安防行业对摄像头的需求。上面左图是IDC统计的2017年、2021年全球摄像头的发货量,同时希捷的发货量逐年增长,但有一点引起注意的是,低像素的200万以下的摄像头发货量在下降,绝对数量上也在下降。
400万、800万、1200万的摄像头增长越来越快,特别是高像素的摄像头增长越来越快,像素越高意味着客户要求的存储空间越多。为此,希捷的业务重心也调整到像素高的摄像头上。
第二,现在客户对存储的时间有了不一样的要求,以前客户是要求1—3天或者是7天,但是现在,大部分的客户要求7—15天,如果是银行和交通可能要求存3个月或者是3年都有可能,越长的存储时间对存储空间要求也越高。
上面右边这个图橙色的方块是希捷NVR的销量,绿色的是硬盘容量需求的增长。NVR每年大约增长10%,很稳定,硬盘容量的需求2倍于NVR的需求,硬盘增长需求是20%。
这就带来一个问题,同样的一台AIoT要求的容量是原来的2倍、3倍或者是4倍,NVR可能就是4个或者是8个槽位,解决问题就是把硬盘单盘的容量翻倍,原来是1T和2T的为主流,现在是4—6T,能够看到的未来是,8—10T甚至是更高的容量将成为整个市场的容量。
硬盘的单盘容量不断地增长,有一系列的核心技术做支撑,在这方面希捷作为专业的硬盘生产厂家,有两项核心技术,能确保未来提供足够容量的硬盘满足存储需求的增长。
首先第一个技术是HAMR,但其实这已经不是一个新的技术了,已经有十几年了,原理上也简单,因为密度非常高的磁介质很难改写,所以必须要把它加热,用一个激光发射器把它加进行改写,这个原理虽然很简单,但是工程实现却非常难。
希捷在明年会有第一代的HAMR的产品发布,产品容量是20TB,未来确保单台硬盘的年增长率达到30%。
“硬盘的容量不断地增长带来另外一个问题,性能的问题,如果性能不变化,但硬盘不断地变化,就会带来一个IOPS/TB在下降,很多的用户希望硬盘容量增加的同时性能也提升。
我们推出了一个MACH2的技术,这在硬盘里面放两套电机,硬盘的上下磁头可以按照不同的方向转,这样带来的好处是我们的性能直接翻倍,能够确保我们的硬盘性能能够根据我们的容量不断地增长。”陈昱嘉介绍道。
希捷在2006年推出了世界上首款监控硬盘,2019年推出了一系列新的监控硬盘,从2TB到8TB,不断推出新的产品满足不同的需求。
那新的产品和旧的产品有什么区别呢?
陈昱嘉说:“首先从质量上来看,新的产品和之前的产品一模一样,能够支持64路高清视频的录制和16路的回放,180TB/年写入量和100万小时的MTBF和三年质保和OSP防腐蚀。
更重要的是体现我们的优化成本,体现在我们的TCO上,我们单盘的重量和功耗下降了。功耗下降了很容易理解,但是重量下降实际上对我们可能有更大的好处,一台机架可以放更多的硬盘,不再受限于承重的考虑,减少大家的机架空间,很多时候这个价格比我们的电费还要高,今年整个SKYHAWK的产品从1T到8T都推出了新产品。”
除了能够提供海量的硬盘存储空间满足整个AIoT的存储需求外,希捷还针对今年安防行业最热门的人工智能,专门设计了符合AI应用分析的硬盘。
赋能AIOT存储二:专为AI应用设计的硬盘
安防行业人工智能的发展,从2016年AlphaGo击败李世石开始,就发生了一些变化。
上面这三位是深度学习的巨头,获得了IT业界的诺贝尔奖图灵奖。这从一个侧面说明,AI运用到实践中的技术其实已经比较成熟了。
从最核心的AI芯片来说,2016年已经有领先的厂家出了第一代的AI芯片,当时只有一款芯片可以选,就是英美达的TX1,但这块板卖13亿美元,如此天价,大部分客户都没有办法接受。
到了2019年,在安博会展馆里,具备芯片技术的企业也不少,包括海思、地平线等等都能够提供AI芯片,这样就带来了一个好处,芯片的成本从3位数的美元降为1位数的美元,大部分客户都可以接受这个成本,那么在AI应用上,成本就没有什么限制了。
现在大部分做芯片的企业,都不会再说自己的准确率从97%到97.1%,也不会说自己的产品有多少性能了,而是开始专注在找一个细分场景的应用把AI真正落地。
发现有场景适合落地后,就要推出解决方案了。陈昱嘉认为,首先,硬盘要真正的产品化,除了要在容量、性能上符合客户的要求外,还要在成本上也要符合客户的要求。
所以有没有一款适合AI应用的机械硬盘呢?希捷在今年推出了一个新的产品,是专门为AI应用设计的SkyHawk AI硬盘,16TB的硬盘。
这个为AI应用专门设计的硬盘满足的存储需求,除了传统的视频录制之外,还有整理出来的图片,以及分析出来的结构化数据,统一存在一个数据库,图片是200—500K的小文件,视频是循环录制的。
这三种数据对硬盘性能有不同的要求,视频录制要求顺序读写,这个相对容易处理,而小图片会复杂一点,结构化的数据对硬盘要求就更高了。
希捷酷鹰AI硬盘有一个独有的AI固件,这个固件把硬盘进行优化,来分别符合以上三个需求,硬盘是一圈圈的,这款硬盘的性能是有区别的,内圈的性能比外圈低,性能最好的部分是在硬盘的外圈,中圈是性能中间的,内圈是性能比较低的。
这三种数据可以做优化,可以把视频录像全部放在内圈,即使在内圈也完全可以满足录制和视频的读取。图片放在内圈,然后结构化的数据放在外圈,满足不同的应用,满足客户不同的要求,基本上满足市面上所有AI线上的需求。
陈昱嘉透露,一些厂家在卖AI产品的时候,一般会把希捷的酷鹰 AI硬盘集成在里面一起打包给客户。
这些厂家发现,如果是只卖一个AI产品的话,客户可能会自己买硬盘,可能会买一个比较简单的监控机的硬盘,这样一用,发现一旦业务上去以后性能掉得很快,客户会认为NVR不行,实际上是因为客户没有选择合适的硬盘。
现在很多的厂家把酷鹰AI集成在他的产品里面,一起打包给客户,避免客户的选择错误。
陈昱嘉补充道:“酷鹰 AI硬盘今年推出16TB,我们还有8TB、10TB和14TB。那么有人会问为什么要把硬盘容量做得这么大?
因为我们知道这个硬盘不仅仅要存视频,还要存图片和结构化的数据,还有一些其他的数据,对使用的要求可能更高。除此之外,我们的硬盘规格要比普通的硬盘规格高很多,除了支持64路的视频录制和16路的回放,还能够支持32路的AI智能分析,他是550TB/年写入,支持AI分析的NVR。”
赋能AIOT存储三:数据丢失了也能恢复
陈昱嘉在演讲的最后,提到了一个大家特别关心的问题,那就是,假如数据丢失了怎么办?有没有什么办法可以恢复?陈昱嘉很肯定地说:有的!
希捷的酷鹰硬盘健康管理SHM,这个方案包含三步:预警、干预、恢复。
“预警是一个预告,我们会时刻监控我们硬盘运行的工作环境,如果发现有高温、发现有振动、或者是链路不太对,会直接产生一个报警,提醒我们的用户说你这个硬盘是工作在一个不健康的环境里,你要尽量把它改善掉。
硬盘在比较好的环境可以工作很多年,故障率很低,但是一直工作在高温、振动比较强的情况下,硬盘的失效率会比较高。
我们通过预警的功能提醒用户,尽量让我们的硬盘处在一个比较正常的工作环境之下。有时候条件限制没有办法,用户可能对这个报警没有做处理。
没有做处理的情况下我们硬盘的时效性会提高,我们监测内部发现硬盘可能在2周到1个月会坏了,这个时候会产生一个严重告警,提示我们的用户,你这款硬盘马上要废了,你现在要做的事情赶快把数据备份出来,这块硬盘基本上可以下线了,这是非常有用的。
这给我们客户大概1到2周的时间提前备份数据,避免数据的流失,这对我们客户是一个非常好的解决方案。”陈昱嘉说,当然也有的时候,虽然有这个预警功能,但有些客户其实并不重视,等到硬盘真的坏了,数据丢失了才知道数据的珍贵,然后就要再花时间和精力去想办法把它恢复。
据了解,希捷是目前业界唯一一家提供原厂数据恢复服务的公司SRS,希捷在杭州有一个专门处理恢复的无尘实验室,如果数据真的丢了以后,还可以找他们做最后一次恢复,把数据从故障的硬盘里面恢复出来,成功率能达到90%。
陈昱嘉最后总结说:“我们能够提供海量的存储满足客户存储的需求,提供酷鹰硬盘做大流量的视频存储,针对AI的智能分析,我们提供了酷鹰 AI智能硬盘,来支持AI智能分析的需求,同时对于数据安全,我们提供SHM包括SRS,预防数据丢失,如果真的丢失了,我们提供SRS帮助大家恢复数据。”