在安防领域,随着平安城市建设的不断推进,监控点位越来越多,从最初的几千路,到几万路,甚至于到现在几十万路的规模,视频和卡口产生海量的数据。
在智能安防时代中,随着高清的普及,对于视频存储的时长与数据分析的要求越来越高。目前的视频监控系统中,90%以上的数据是海量非结构化数据,解决海量数据的存取对存储系统的可靠性、性能、扩展能力提出了新挑战。
视频监控的存储变革
人脸识别、行为识别、车牌识别、目标分类等人工智能算法的快速发展,使得安防智能化成为了近两年最为明显的一个发展趋势,AI摄像头将持续高速增长,并大量替换传统摄像头。
在智能安防时代中,随着高清的普及,对于视频存储的时长与数据分析的要求越来越高。这种组合需求正在提升视频监控存储方案的成本,并对整体智能安防解决方案的可伸缩性及可管理性带来巨大的压力。
当前需要满足海量高清的视频数据存储,高清视频数据如720P、1080P、5MP、8MP等高分辨率IPC的接入,大路数并发大码流的实时数据读写,传统存储的性能面临极大的挑战。
这也意味着数据存储能力和计算处理性能的提升,存储产品要求具备高性能、高容量、高可靠性以及可扩展性。同时需要实现与安防行业应用的深度结合,满足安防系统海量视频数据管理的特殊业务应用。
AI安防存储的需求与挑战
随着AI智慧安防的风起云涌,一方面,存储对象由最早单纯的原始视频变到了视频、图片、AI分析后的结构化半结构化数据。对象的改变,使得存储系统要更多的考虑,如何更好地去适配多样化的存储对象?如何最高效地去存储各类型数据,并提供可靠的保护?海量小文件混合存储的时候,如何避免传统存储中性能的大打折扣?
另一方面,存储的写读模型也发生了大变化。原先的原始视频存入存储后基本不会被调阅,写读模型基本为10:1,但AI技术的出现彻底激活了这些数据,存入的视频可以被高性能分析服务器提取进行人脸分析、车型分析、结构化分析,写读模型也变成了1:1甚至1:N。在这样的写读模型下,对存储设备也提出了更高要求,存储不再是单单考虑如何存的更快存的更多,而是要考虑如何与AI业务融合,最优结合。
而当AI技术对数据价值进行提炼后,提炼出来的数据价值就发生了变化。例如:可能原始视频只需要保留30天,但是经过结构化分析后的涉案嫌疑人图片的重要性就不言而喻了。需要永久保存。所以当一套存储系统中存在这样那样不同重要程度的数据时,完善的生命周期管理体系、如何来区分数据的重要性,并提供有层次的保护技术就变得尤为重要。
当上面的种种挑战出现后我们还将直面一个现实问题:在爆炸量的数据、超高的性能要求和翻倍的成本面前,我们如何去追求性能容量的最优配比,找到最低TCO(总拥有成本)的方案,实现最优解。
传统存储架构不再适用
安防行业的边界在不断消融,场景的扩展、技术的跨界、资源的调配等等都在使其发展成为一个全生态的现代化概念。
数据对存储系统的需求发生变化,传统存储架构已经不适应于当前的存储和应用。着眼于容量、性能,数据价值提升、运维管理等诉求,需要做到多设备资源池化、资源统一管理分配,容量和性能线性增长等。
随着云计算、大数据、物联网、人工智能等业务的发展,数据呈几何级增长。同时,数据的形态也出现了很多的变化,从原来的结构化数据变为现在的半结构化数据。
其中,云存储方案可以将原来单一设备的资源进行池化,达到资源共享的目的。不同于传统扩展模式,它采用全对称的分布式架构,支持在线扩容。
分布式存储现商机
因为云计算、5G、物联网、数据中心、智能计算中心等都在新基建建设下走向千行百业,这时分布式存储也迎来春天。
业内最新的分布式统一存储集群架构,将SAN和NAS统一在一起,同时支持通过光纤通道FC、IP等存储区域网络(SAN)和网络附加存储(NAS)。提供用户所需的存储资源,从而使其存储环境具有无与伦比的灵活性,同时最大限度地降低复杂度和成本。
提供的实时远程数据异步镜像功能,可根据应用容灾需求,灵活设定不同同步间隔的容灾方式,确保了应用的高可用性。利用集中控制管理平台实现数据集中存储、集中管理、统一监控维护。随着存储节点增加,存储的容量、计算、性能都会呈线性增加。
云存储与对象存储被视为是新的最优选择,但对于大型的视频监控系统,从前端到上云的巨额成本让人望而止步,使得用户与集成商对于可扩展的边缘存储需求持续增长。
目前监控市场的用户、集成商或技术合作伙伴仍然与数据中心或其他IT市场存在较大的差异,这意味着在存储上最优方案仍有待商榷与时间验证。
云存储不会完全取代传统存储
而云存储诞生后,目前硬盘厂商的争霸也已经尘埃落定,西数和希捷拥有无可争议的行业霸主地位。
而面对安防存储的逐渐云化的现状,希捷和西数近年来针对安防行业推出了多种新技术,比如双磁臂技术、大数据分析技术、云应用技术等。硬盘的容量也进一步得到提升,目前18、20TB的硬盘已经广泛应用于安防行业,并持续带来价值。
目前其实存储行业的竞争已经接近尾声,云存储不可能完全取代传统存储,而传统硬盘存储行业也已经洗牌完毕,双方这种互相竞争、互相进步的格局,恐怕还要持续很长一段时间。
下一代AI安防存储
人工智能技术与安防行业的融合日趋深入,算力、算法、数据等新技术革命的地基已经牢固,各种新的应用已经开始落地。但围绕着传统视频监控数据的两大难题——海量数据及非结构化特征,已经给目前的数据存储、传输、运用带来严峻的挑战。
从AI安防存储的特点而言,下一代存储硬盘需满足三点基本要求,一是要适配海量数存储及调用的读写性能,二是要有更大的容量支撑数据存储需求,三是要控制成本,推动AI普惠落地。
下一代安防视频存储解决方案,需进一步优化安防视频工作负载,通过软硬结合的方式让硬盘有强大的能力,支撑大量智能视频应用的部署。可以预测,一头数据存储,一头应用创新,将是未来巨头们重新定义安防存储的抓手,推动智能安防更快速的发展及落地。