需求旺盛的持久存储
你知道吗?韦布望远镜单张照片分辨率是上一代哈勃望远镜的7.6倍,一年的存储需求量超过了哈勃30年的总和。根据IDC的《DataSphere 2024》统计,我们作为智慧的碳基生物体,每秒生成的数据量是12.7万TB,相当于上传了50万小时的YouTube视频。想想我们现在每天看的社交媒体、刷的短视频、翻阅的研究报告乃至制作的ppt或者word文档,都在为增加存储量添砖加瓦呢。人们在2024年日均发送150条信息,这里面有图文,有视频,我们人均使用云存储达到了85G,相比2010年增加了170倍。看看我2T的硬盘,看看已经存满的云存储,觉得这个统计数据还是保守了。
除了活蹦乱跳的个体,每年离去的人们遗留了人均4.3T的数据,包括大量的照片和聊天记录。美国加州法院判决Facebook须永久保留自杀用户数据供家属查阅,平均一个用户留下了800GB数据。。。
未来数据量更是惊人,2024年全球的物联网设备有420亿台,到2030年预计达到2500亿台,采集的频率也更高。光是上海智慧城市这一个项目,就采用了50万台传感器实时监测交通和环境,每日新增数据量5PB。IDC估计到2027年,全球数据将达到291ZB。
传统存储的限制
《三体》中太阳系被二维化时,冥王星上的罗辑提到过人类采用的存储方式,现代的存储介质如光盘、U盘等反而脆弱,原始的石刻反倒能保存更久。让我想到以前的3寸5寸的软盘,现在想找个驱动器读数据,不仅驱动器难找,能支持驱动器的主板也要去博物馆碰碰运气。
机械硬盘如果一直使用,5-10年就够呛;蓝光光盘也就几十年的寿命;纸张的预期寿命是几十上百年,但是会怕虫蛀、火灾和酸化:大火将亚历山大图书馆70万卷书焚毁,导致古希腊哲学断代。
传统存储的持久性、性能、环保等方面都面临巨大挑战:首先是费用高昂,企业在亚马逊AWS上的存储花费,在2023年高达380亿美元,个人在苹果谷歌等存储空间每年付费更是高达1200亿美元。其次是浪费惊人,苹果调研显示,90%的手机照片在拍摄后一年内不再查看;每年企业和个人垃圾数据需要的耗电量,相当于6400万吨的二氧化碳排放。
持久存储新方向
《三体》中的智子可以近永久存储,在等待了1890万年后等来了647号宇宙的主人。我们有没有什么技术,可以达到如此持久的存储?目前在探索中的几个方向包括:
1. 微软的Silica
通过激光在玻璃上雕刻“5D”数据,可以存储超过1万年,并防磁、防水、防火、防辐射,写入之后不用消耗能量,每片的存储容量达到100T。
这里的玻璃可不是普通玻璃,而是超纯合成的石英玻璃,扑克牌大小,重约50克,预计量产后每TB的成本约1000美元并到2030年可降到10美元,目标成本比现在的硬盘和光盘低。
性能方面还有待提升,目前的读取速度是1MB/s,预计到2030年达到1GB/s。虽然现在速度慢,还未能通过量产降低成本,已经有些地方迫不及待投入或计划使用:华纳兄弟将《超人》、《黑客帝国》电影母版存了进去;梵蒂冈图书馆计划备份4.2万册古籍,以替代容易腐烂的羊皮纸;欧洲核子研究中心用Silica存储大型强子对撞机实验数据。
2. 各显神通的量子存储
量子存储还远未走出实验室,但一旦有突破,带来的成果将举世瞩目。中科大实验的高维量子存储,可以达到1PB/立方厘米的数据密度,相当于传统硬盘的1万倍!哈佛大学的量子存储器,读取速度高达100Gb/s,远超现在其他存储介质。IBM苏黎世更是在室温下实现了维持量子态10分钟,此前仅能达到毫秒级。
目前量子存储的成本还无法达到常规使用,包含低温系统在内的单量子比特存储成本高达100万美元。预计到2040年,通用量子硬盘可以达到1EB/立方厘米的容量,足以存储目前全球互联网数据的1/10,能耗则仅为传统硬盘的千分之一。ESA计划将量子存储器送入深空低温的拉格朗日点,实现百万年规模的数据存储。其突破性意义正如量子物理学家潘建伟所言:“当量子比特不再退相干,文明便不再遗忘。”
总结
类似Silica的技术尽管仍处于工业化的早期阶段,其在能耗、寿命、成本上的颠覆性优势,预示冷存储的未来属于玻璃。中国华录在玻璃存储的密度、速度、功耗和成本方面已经超越微软,且全球玻璃存储专利一半以上来自中国,预计未来的玻璃存储市场中,中国将扮演举足轻重的角色。
发展未来存储技术的同时,我们可以思考如何减少垃圾数据的制造(报废设备上报的内容、大量零阅读的消息、视频剪辑的临时文件、服务器中失效的日志),如何合并重复数据(一部电影可能存放在成千上万不同设备中,如果能实现一处存放各地访问,不是能节省大量空间),如何腾出更多的空间让生活返璞归真。我们的业务保险箱也同样需要考虑如何帮用户以尽可能简单的方式,实现持久存储介质下的高速备份还原,应对病毒、勒索、误删等操作的影响,尽可能减少对业务的伤害。
正如图灵奖得主Yoshua Bengio所言:
“我们像在信息洪流中舀水的原始人——当务之急不是造更大的瓢,而是学会修渠引水。”
技术进步应让生活更美好,希望大家的生活如《三体》中1890万年后,艾AA在岩石上留下的文字那样:我们度过了幸福的一生。