依托浪潮建造的重庆市最快超级计算机,中国科学院重庆绿色智能技术研究院(以下简称“重庆研究院”)完成了区域覆盖面积超500万平方公里、水平分辨率达1Km*1Km的高分辨率数值天气预报,为气象业务提供了更加精准的天气预报产品,达到了国内领先国际先进的水平。并且这套超算冷却效率超过95%,将能耗降低20%,PUE值低至1.4,实现了高性能与低能耗的融合,加快绿色三峡、精细化数值预报、新材料、云计算和大数据等各类环保与高新技术项目研究。

重庆研究院是中国科学院、国务院三峡办(前)、重庆市人民政府三方共建的中国科学院直属科研机构,下设电子信息技术研究所、智能制造技术研究所、三峡生态环境研究所、生物医药与健康研究所(筹)。电子信息技术研究所下属的高性能计算应用研究中心拥有和运维重庆市最快超级计算机,同时,该中心围绕数值计算、模拟仿真、大数据、人工智能等领域开展应用技术研究。

在“高质量发展”的新时代要求下,保护环境就是保持发展活力,改善环境就是筑牢发展根基。重庆研究院作为支撑性的科研机构,需要为政府的绿色发展提供有力的科学决策依据。为此,重庆研究院在建院初期决定建设一套超算系统以更好的支持环保、智能与高新技术科研项目。

气象模拟和防灾减灾是这套计算集群的核心应用,其需要融合多源观测数据、调整不同参数化化方案才能为暴雨等灾害的形成原因进行分析、对天气进行精准预报,便于人们出行。这套超算还承担着大规模DNA计算、新材料物理化学性质模拟、工业设计、云计算、大数据分析等重要科研创新,以及“大规模自适应智能视觉分析系统”、“自动推理中的计算理论及应用技术”、“神经肌-械耦合系统理论及应用”等AI前沿科研与应用项目。

这些应用对计算性能的要求非常高,为了支持这些应用,重庆研究院的超算系统超过10000个CPU计算核心,存储系统空间达到2PB,目前为重庆市规模最大、速度最快的超算服务平台。如此大规模超算平台的运维将是一笔高昂的费用,如何降低运维成本成为重庆研究院的重要关注点。

冷却效率超过95%!浪潮HPC凸显绿色

为了满足用户需求,浪潮构建的高性能计算集群采取刀片+胖节点+高速IB网络的解决方案,峰值计算性能超百万亿次,同时采用水冷方案,相比传统风冷系统节能20%以上,使PUE值(power usage effectiveness,能源利用效率)相比传统风冷机房的2-3降低到1.4左右,实现了绿色超算,做到了高性能与低能耗的融合。

全密闭水冷,冷却效率超95%:采用IT数据中心专用风冷冷水机组,内置自然冷却模块,利用水侧自然冷却实现节能降耗,可以适应冬季时的极低气温环境,水冷相对于风冷方式,具有绿色环保,能效比高的优势,制冷效率可达风冷的8倍以上,不仅大大的节省了用户的空间,也可以优化用户的成本。整体制冷方案采用密闭机柜级制冷,冷却效率超过95%。

高密度、高扩展:在高性能计算中,为了节省空间、降低能耗、简化管理,采用刀片服务器已是大势所趋。浪潮为重庆研究院设计构建的计算集群采用浪潮NX5440M4服务器,在8U的空间内可扩展20个计算节点,超高的计算密度为用户后期扩展带来方便。

更高效率、更低延迟:若把强大的计算资源比作“资源仓库”,有了高速便捷无拥堵的“路”,才能把资源利用到极致。浪潮提供的648口全线速无阻塞核心Infiniband交换机,把一个个计算节点连接起来,组成计算网络。更高的速率,更低的延迟,让澎湃的计算力得到充分的发挥。

更高分辨率、更大规模天气预报

除了提供高性能、低能耗的超算系统,浪潮还帮助重庆市气象科学研究所和重庆研究院院的气象专家改进和优化算法,实现了更高精度、更大规模的气象数值预报。

重庆市气象科学研究所和美国风暴分析与预测中心(CAPS)联合建设的最高分辨率为3km高分辨数值天气预报系统在该超算系统中日常运行,其产品提供给重庆市气象台预报员参考,这套系统的建设有助于提高重庆及周边复杂地形条件下的天气预报能力,特别是灾害性天气预报能力。系统应用了主流的非静力平衡中尺度模式WRF模式作为预报核心,运行包括11个成员的集合预报以体现大气混沌特性带来天气过程特别是灾害性天气的预报不确定性,3km分辨率区域以重庆为中心,基本覆盖重庆周边省市。该系统包括两个子系统,一个为中尺度集合预报子系统,提供未来三天的预报,另一个部分为快速更新同化预报子系统,通过业务上先进的雷达同化系统ARPS变分同化系统实时同化重庆及周边的雷达以提高2~12小时预报能力。预报系统包含前处理、同化、预报、后处理模块,每个预报成员分配一定数量计算节点进行运算,中尺度集合预报子系统计算总耗时在2.5小时左右,快速同化更新预报子系统计算总耗时在0.5小时左右。

浪潮气象领域高性能计算专家在该预报系统的之前预报范围基础上增加了一层嵌套区域,将水平分辨率提高到1km,并可预报4天的天气过程。这一改动将增加运算的复杂度,而且计算规模也随之大增。经过浪潮专家的深入并行优化,使用浪潮超级计算机可将运算耗时控制在2.5小时,不仅能够给出更高分辨率的预报结果,而且还能满足预报的时效性。

与此同时这套超算系统完成了水平位网格数为2400*2100的1km高分辨率数值模拟,覆盖范围达到504万平方公里,超过中国一半以上的国土面积。在这一超大规模预报模式下,浪潮专家成功将并行规模扩展到8192处理器核心上,并达到近乎线性的加速效率,预报12小时运行时间耗时大约2.4小时。

在低消耗的基础上实现高产出、低排放是高质量发展的基本要求。重庆研究院借助浪潮提供的绿色解决方案,在提供计算性能的同时降低了能耗,实现了绿色超算,将成为新时期超算中心建设的“样板”,引领重庆市高质量发展。