130亿参数阿拉伯语大模型Noor碳足迹全曝光，推理成本竟成碳排放大头！
A Holistic Assessment of the Carbon Footprint of Noor, a Very Large Arabic Language Model
📖 AI 总结
该研究对超大规模阿拉伯语语言模型Noor的碳足迹进行了全生命周期评估。Noor项目旨在构建参数量最高达130亿的多任务阿拉伯语模型，通过自然语言指令实现零样本泛化。与以往仅统计训练阶段算力消耗的做法不同，作者将评估范围扩展至数据采集与存储、研发投入、预训练、未来推理服务及国际合作所需的外部成本等全部环节。研究发现，推理成本和外部因素对项目总碳预算具有显著影响，仅关注训练阶段会严重低估实际环境代价。文章最后探讨了降低超大规模模型碳足迹的可能路径。该工作为全面衡量大型语言模型的环境成本提供了方法论参考，也提示模型部署阶段的长期排放不容忽视。
🔑 关键词速览
| Noor | 一个正在开发中的超大规模多任务阿拉伯语语言模型项目，参数量最高达130亿。 |
| 碳足迹 (Carbon Footprint) | 指模型从数据收集、训练到推理服务等全生命周期产生的温室气体排放总量。 |
| 零样本泛化 (Zero-shot Generalisation) | 模型无需针对特定任务进行微调，即可通过自然语言指令直接处理新任务的能力。 |
| 推理成本 (Inference Costs) | 模型部署后响应用户请求进行计算所产生的算力消耗及相应碳排放。 |
| 外生成本 (Exogenous Costs) | 项目直接计算之外但必要的间接成本，如国际合作中的差旅、通信等产生的碳排放。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅