华为的一份报告说,未来的算力必然是,就是唯一的道路,必然道路就是超节点。我的理解就是那个华为 384 Super Node 什么,就是超节点这个,就是说它用他的,我的理解啊,就是说他利用他的这个总线,虚拟总线技术,把多个卡以及那个就是虚拟化到一台超级计算系统里面。然后他的内存技术就是进行了所谓池化吧。我我的理解这个池化就是说所有的内存通通都是可以给 GPU 用,也可以给 CPU 用。那个,而且是说虚拟化吧,是不是这个意思?那么,就是理解这个基础,还需要了解这个整个,这个集群计算的这个目前的现状,以及未来的发展方向。那你先讲一讲这方面吧。
集群计算的现状及未来发展方向如下:
现状
算力需求增长与结构问题并存:随着 AI 大模型的发展,对算力的需求呈爆发式增长。但当前超算与智算中心存在算力结构单一、基础工具链不完善、通用性不强、利用率不高等问题。部分智算中心只考虑低精度训练算力,未结合行业场景考虑混合精度融合算力需求,同时我国还存在区域间算力分布不均衡的情况,导致低端算力过剩与高端算力不足同时出现。
应对算力需求增长的通用方案:随着 AI 大模型的发展,全球对算力的需求都在呈爆发式增长,无论是中国还是其他国家,都需要寻找能够高效提升算力的方法。超节点通过整合算力芯片资源,在一个超节点内构建低延迟、高带宽的算力实体,能让单个超节点尽可能大地释放算力,提高算力利用效率,这是应对全球算力需求增长的有效途径。