AI成本漏算一笔账:每天数十亿次提示词背后,存储账单正在悄悄堆积!
AI’s hidden storage bill: What inference leaves behind
MIT Tech Review AI 重要 算力商业化 🕐 今天 16:41

📖 AI 总结

文章指出,AI基础设施成本讨论长期聚焦于GPU算力,却忽视了推理阶段产生的存储开销。与有明确起止的训练不同,推理持续运行,每次请求都会在后台留下日志、缓存上下文、渲染文件、备份和安全记录等大量数据。西部数据(WD)的内部测量显示,一段8秒的720p视频(用户端文件仅3.97MB)在后台关联数据超过500MB,放大约130倍;企业若生成更长、更高分辨率的视频,单条片段的存储占用可达数百GB。麦肯锡预测,到2030年AI推理需求年复合增长率达35%,高于训练的22%,将占数据中心总需求四成以上。WD委托IDC对763名IT和商业决策者的调查显示,近95%的受访者过去一年因生成式AI数据量增加,约61%增幅达25%以上。文章强调,存储不足会导致GPU空转等待数据,代价高昂;而计算需求回落时,留存数据量并不会同步下降,存储成本因此容易超出预算预期。

🔍 深度解读 换个视角,同一件事有不同答案

正在读取芙娘的解读…
infoAI 公众号二维码

📱 每天一份 AI 前沿日报

关注公众号,每天 09:00 推送 · 不错过任何重磅