Meta releases Llama 4 herd

2025年4月5日，Meta CEO 扎克伯格在 Instagram 宣布推出 Llama 4 系列，首批包含 Scout 与 Maverick 两款开放权重模型。Llama 4 是 Meta 首个采用混合专家（MoE）架构、原生多模态训练的模型。Scout 拥有 1090 亿总参数、170 亿激活参数，支持 1000 万 token 上下文，可单卡 H100 运行；Maverick 总参数 4000 亿、激活 170 亿，配备 128 个专家。Meta 同时预览了 2 万亿参数的 Behemoth 教师模型，仍在训练中。