AI趋势 | 美团开源万亿参数大模型LongCat-2.0

美团正式发布新一代万亿参数大模型LongCat-2.0，并将对外开源。据金十数据报道，LongCat-2.0预训练数据规模超过30T tokens，覆盖中文、英文、多语言和代码等多类数据。

面对万卡级训练中的硬件故障、通信异常、显存压力与数值波动，LongCat团队从稳定性、正确性和效率三方面攻克国产算力训练难题。

在稳定性上，通过HCCL异常处理、弹性扩缩卡和自动故障恢复，将月均日故障率降低70%以上；在正确性上，通过自研设计确定性算子、Bitwise一致性验证和参数检测，保障训练结果的可靠，并提升关键模块计算精度、优化Reduce逻辑。