Claude的最新旗舰 AI 的训练成本可能并不高

Anthropic 最新的旗舰 AI 模型 Claude 3.7 Sonnet 的训练成本为“数千万美元”,使用的计算能力不到 10^26 FLOP。
这是沃顿商学院教授伊桑·莫里克 (Ethan Mollick) 的说法,他在周一的 X 帖子中转达了 Anthropic 公关部门的澄清。他写道:“Anthropic 联系了我,告诉我 Sonnet 3.7 不会被视为 10^26 FLOP 模型,而且成本高达数千万美元,但未来的模型会大得多。”
假设 Claude 3.7 Sonnet 的训练成本确实仅为“数千万美元”,不考虑相关费用,这表明发布最先进模型的成本相对低廉。Anthropic首席执行官 Dario Amodei 在最近的一篇文章中透露, Claude 3.5 是 Sonnet 的前身,将于 2024 年秋季发布,同样需要花费数千万美元进行训练。
这些总额与 2023 年顶级模型的训练价格相比相当有利。据 OpenAI 首席执行官 Sam Altman称,为了开发其 GPT-4 模型,OpenAI 花费了超过 1 亿美元。与此同时,斯坦福大学的一项研究估计,谷歌花费了近 2 亿美元来训练其 Gemini Ultra 模型。
话虽如此,Amodei 预计未来的人工智能模型将耗资数十亿美元。当然,培训成本不包括安全测试和基础研究等工作。此外,随着人工智能行业采用能够长时间解决问题的“推理”模型,运行模型的计算成本可能会继续上升。