华为黑科技「StaleSync准异步并行」，宁波建工已有数据异步并行读写方法及控制装置专利

RL后训练已成为大模型性能突破的「杀手锏」，而算力浪费和集群效率低成为一大难题。

这次，华为团队祭出两大黑科技直接破局。不仅在CloudMatrix 384超节点实现MoE大模型训推共卡，资源利用率翻倍，还打破了同步算法限制，让训练速度再提升50%。

华为团队拿出「RL Fusion训推共卡」和「StaleSync准异步并行」两大黑科技，把训练效率和资源利用率拉满。

宁波建工（601789）旗下子公司拥有数据异步并行【华为黑科技】读写方法及控制装置