SemiAnalysis,一家以深入分析半导体行业著称的机构,披露其内部大模型Token使用成本。该公司表示,每百万Token的费用仅为0.99美元。

然而,更令人瞩目的是,其内部大模型的Token支出已占到员工总薪资的三成。尽管这一比例听起来不低,但其产生的效益却远超过去所需的人力成本。数据显示,该机构员工人均每月消耗近50亿Token,是Meta员工平均水平的五倍以上,其中核心贡献者的月消耗量更是超过1000亿Token。

此前需要初级分析师花费数小时完成的Excel模型转换和财报图表制作等任务,如今仅需几分钟和几美元的Token费用即可搞定。SemiAnalysis认为,这并非简单的10%效率提升,而是正在重塑专业服务行业的经济模式。

研究机构、对冲基金、律师事务所等依赖专业知识的行业,Token支出占薪资的两三成可能只是时间问题。英伟达CEO黄仁勋对此表现出紧迫感,他曾表示,如果一名年薪50万美元的工程师,其年度Token消费未达到25万美元,他将“彻底抓狂”。

黄仁勋计划为英伟达每位工程师提供相当于半年工资的Token预算,并推动7.5万名员工与750万个AI智能体协同工作。他将拒绝使用AI比作芯片设计者坚持使用纸笔,强调Token已不再是工具,而是新时代的“生产资料”。

与此同时,硅谷的其他科技巨头却正为AI账单而烦恼。Uber的经历颇具代表性。去年底,Uber向5000名工程师推广Claude Code,并设立内部排行榜。结果显示,2月工程师使用率达到32%,3月飙升至84%,4月则有95%的工程师使用AI,70%的代码由AI生成,但全年预算已提前耗尽。Uber的CTO不得不重新制定预算,随后公司还设置了每位员工每月1500美元的Token使用上限,超出部分需特批。

Uber的COO Andrew Macdonald坦承,尽管AI使用量在增长,但其与消费者功能创新的具体联系目前尚不明确。

微软也面临类似挑战。据报道,微软正逐步取消大部分Claude Code许可证,转而推广自家的GitHub Copilot CLI,因为其Token支出增长速度超过了产出速度。英伟达应用深度学习副总裁Bryan Catanzaro表示,对其团队而言,计算成本已远超员工成本。

MIT在2024年的一项研究指出,在以视觉工作为主的岗位中,仅有23%的情况下AI自动化在经济上是划算的,其余77%的情况下雇佣人类员工更为经济。甚至有工程师抱怨AI智能体在使用过程中“毁掉了他的数据库和网络”,将其归咎于“过度使用”的代价。

高昂的预算、失控的使用量以及频发的意外情况,使得硅谷正经历AI经济学的激烈碰撞:一方面是技术带来的前所未有的生产力提升,另一方面是账单以前所未有的速度膨胀。

SemiAnalysis的核心观点是,不应仅关注当前的AI使用价格,因为成本的急剧下降才刚刚开始。

从软件层面看,通过DeepSeek R1等模型在B300上的优化,利用wideEP、disagg与MTP等技术,单GPU吞吐量可从基线的1000 tokens/秒提升至14000 tokens/秒,增幅达14倍,这完全通过代码实现。

在硬件方面,经过优化的GB300 NVL72的吞吐量是H100的17倍,若切换至FP4精度,这一数字可达32倍。

尽管Opus 4.7的标价为输入5美元/百万Token,输出25美元/百万Token,但由于智能体工作负载输入输出比高达300:1,加上超过90%的缓存命中率,实际混合成本被控制在0.99美元,远低于标价的五分之一。

结合软件和硬件的进步,可以得出结论:大模型的毛利率扩张并非偶然的定价策略,而是结构性趋势。Anthropic的年经常性收入(ARR)从90亿美元激增至440亿美元以上,毛利率也从38%跃升至70%以上,这表明Token价格下降的同时,提供Token服务的公司却获得了更高的利润。

Gartner在今年3月的报告中预测,到2030年,万亿参数大模型的推理成本将比2025年下降超过90%。SemiAnalysis明确指出,到2027年,Token价格将持续走低。

当前AI领域呈现出一种分裂的局面:全球科技公司今年的AI资本开支已宣布7400亿美元,同比激增69%,而科技行业的裁员速度已超过去年全年。尽管资金投入巨大,Goldman Sachs首席经济学家认为,AI对经济的实际影响迄今为止基本为零。

这并非AI能力不足,而是每一轮基础设施革命都伴随着阵痛:首先投入资金建设基础架构,然后等待效益显现。电网、互联网的革新都经历了这一过程,AI也不例外。不同之处在于,此次基础设施建设的速度以及效益显现的速度,都达到了前所未有的量级。

SemiAnalysis已看到了效益的曙光:30%的薪资投入换来了数倍的产出杠杆,且成本曲线仍在快速下降。对于其他公司而言,是选择立即投入,还是等待先行者建立起稳固的生态后再加入,将是关键的决策。