华为数据存储集群 构建东数西算数据底座

7月29日到31日，首届中国算力大会在山东济南拉开帷幕。同时，中国算力大会面向全社会征集了在新基建领域具有突出创新性、颠覆性和引领性的“创新先锋”优秀案例，其中由国家超级计算济南中心和华为共同打造的“数据存储集群系统”脱颖而出，因其创新性好、示范性强、完整度高而入选其中。

这一方案一大特点是围绕济南作为山东省内超算核心、未来全国超算中心互联点，对数据存储的方式做了创新。该方案通过构建数据存储集群系统，实现了山东省内多个数据中心存储资源的一体化，使多个数据中心之间的互联和全局数据的共享流动更加高效、节能、安全。

计算、存储、网络是数据中心的三大要素，此次算力大会发布了《中国算力白皮书》《中国存力白皮书》和《中国运力白皮书》，中国信通院云大所副总工程师郭亮对《中国存力白皮书》进行了解读。郭亮认为：数据存力是算力价值的前提和基础，只有数据“存得好、算得快、传得稳”，算力基础设施才能充分发挥数据要素的价值。这体现出在当前高度重视算力的同时，已经认识到数据存力的重要性，数据存储是算力价值发挥的前提和基础，在挖掘算力价值之前，要首先构建相适应的“数据存力”。

济南超算难题，存储首当其冲

国家超级计算正是数据存力在基础设施建设的最佳落地实践。国家超级计算济南中心（以下简称济南超算）由科技部批准成立，创建于2011年10月，是从事高性能计算和智能信息处理技术研究并提供计算服务的综合性研究中心。

济南中心是我国首台完全采用自主处理器研制千万亿次超级计算机“神威·蓝光”的诞生地，算力平台分别位于齐鲁软件园和国家超级计算济南中心科技园。目前济南中心有超算科技园、神威蓝光超级计算机、神威E级原型机、山河超级计算平台、以及还在构建中的下一代超级计算机。

大科学与大数据相伴，超算的数据量也越来越大。1颗遥感卫星每天的数据量是50TB，每年数据量达到18PB；1个高能同步辐射光源中心或者一个FAST天眼，一天的数据量则是500TB，一年达到180PB。自动驾驶汽车、类脑研究也都是这样巨量的数据，SKA平方公里阵列射电望远镜的数据量再次爆发，每秒的数据量就是1 Pb。

“济南超算在应对异构算力和多样化应用中主要的工作是在存储方面。目前济南超算平台总存储量是245PB，覆盖了文件、对象和大数据存储。我们要把数据搬迁到超算里做计算，数据迁移中的安全要保证。” 国家超级计算济南中心总工程师王继彬说，“我们的超算中有科学计算集群、数据计算，还有国产的、神威的计算集群，不同计算集群构建了不同的存储集群。在用户把数据搬到计算机群的过程中，搬迁过程是非常头疼的。今年上半年，我们接收到了某项目快递过来的几百块硬盘，数据接收和导入花费了很多时间和资源。这种方式导致超算在目前的存储架构上没有办法应对大数据量的搬迁。”

因此，济南超算和华为携手要解决的是三大挑战：一是数据孤岛的挑战，海量数据进不来、出不去，数据流入/流出难：硬盘快递+专线传输耗时长，且存在安全风险，不同应用资源池，数据互通难。二是混合负载，高带宽与高性能业务并存，海量小IO要求高性能，超大文件要求大带宽。三是智能管理难，在数据全生命周期安全管理中，系统运行性能低于预期，故障定位难，数据交换要防泄漏。

统一数据底座，逐一化解挑战

华为提出的解决之道是构建分布式存储的统一数据底座。这个存储的底座围绕数据打造，分类为文件存储、对象存储、HDFS（Hadoop分布式文件系统）存储，多种算力可以按需加持——超算中心需要HPC（高性能计算）算力，人工智能计算中心需要AI算力，大数据中心需要大数据算力，云计算中心需要云通用算力。

作为业内领先企业，华为围绕济南超算这一传统的超算中心特点构建了一体化的数据储存，提出三条创新性措施：一是实现多协议互通，并在此基础上实现数据零拷贝，使效率更佳，POSIX（可移植操作系统接口）/NFS（网络文件系统）/CIFS（通用互联网文档系统）/HDFS( Hadoop分布式文件系统)/S3（SAN存储区域网络）无损互通，面向HPDA(高性能数据分析)演进。二是针对混合负载，大IO直通、小IO聚合，性能更高。一套存储同时支持高带宽和高IOPS(每秒处理能力)。三是全生命周期智能管理，智能定位故障与亚健康情况，并且快速恢复；多种策略灵活配置，从数据产生到删除实现全周期智能安全管理。“这一方案实现了济南超算中主存储的热数据还有计算之后的冷数据的迁移，实际上是节省了人的工作量。”王继彬说。

在超算Top应用测试分析中，华为这一分布式存储方案后来居上。王继彬透露，面向大科学领域，在做蛋白质结构的同源搜索的测试中，华为OceanStor Pacific 9950用时85分钟，整体处理时间缩短成原来的1/3。

在IO500 10节点打榜中，济南超算取得全球第一的名次。“我们最底层用的是华为OceanStor Pacific系列的文件系统，上边挂了30台200G的交换机，又挂了一层文件系统，这个系统整体达到了世界第一。”王继彬说，“DPC是华为输出的文件系统，我们在文件系统之上又做了一个文件系统，最后还能做到第一，说明整个底层存储的性能非常稳定。”

在济南超算的中国科学院空天信息创新研究所陆地观测卫星地面系统中，华为提供的分布式存储满足了高扩展、高性能、高带宽、高可靠的需求，数据可以永久保存，效率提升50%，容量、性能随节点数增加而线性增长。

数据一体化，体现四大关键技术

除了应对传统单个超算中心的问题，针对跨超算中心的数据一体化建设，大会期间济南超算携手华为还共同上线了“东数西算”数据存储集群系统暨山东省超算数据一体化示范工程。数据一体化是一种以超级计算机、高速互联网和海量数据存储为基础的国家级先进超算基础设施。数据一体化的上线启用，意味着其已正式在国家重大科研技术创新和千行百业高质量发展中发挥作用，这将有力支撑超算自身科研创新发展、满足重点行业对算力和数据存储应用的诉求，加速建成国家级数据一体化网络。

华为超算解决方案首席架构师赵顺存表示，数据存储集群系统有四个关键创新技术：一是数据全局可见，将多超算中心构成一个逻辑统一的存储文件系统，数据跨超算中心全局可见，上层应用无感知，解决看不见的问题。二是数据智能流动，热温冷数据自动安全分级流动。解决流动难，取数难的问题。三是数据分析加速，原生多协议互通，多种协议共享一份数据，0迁移高效访问。四是数据安全，以安全管理管控风险，管理任意越权操作，可以停止服务，甚至销毁数据；保障数据安全，数据流转过程中，防止非法流出安全区域，避免发生数据的泄露。

实现数据全局可见，可以打破跨超算中心存在数据孤岛的问题，也是这一方案最突出的价值点。为了让数据看得见，方案采用了全域数据流动总线，可以基于HTTPS的灵活互联能力快速搭建支持跨域数据共享与流动能力。采用统一流式元数据，使表化、流化的统一元数据屏蔽了设备差异，实现跨设备、跨异构互联互通。使用全局文件视图，多个超算中心的文件系统构建为一个统一的全局文件视图，跨超算中心之间数据全局可见。还实现了全局数据管理与调度，所有互联超算中心，所有厂商存储设备，所有用户数据，可进行可视化管理及调度。

济南中心与华为通过此次深度合作，将数据一体化建设经验以及超算互联数据一体化方案的技术探索广泛推广。山东省16地市数据一体化网络，以济南为主中心，连接了青岛海洋实验室、淄博分中心、临沂分中心、潍坊分中心等，实现了跨数据中心的全局文件系统。这为数据密集型超算生态共建、安全可控、高可用、高可靠性和高扩展性的数据存储技术攻坚和人才培养提供“超算经验”，为数据一体化领域产、学、研的合作树立了榜样。