0%

模型市场的兴起

算力账单失控?大模型聚合市场正在重塑 AI 商业格局

在荷马史诗《伊利亚特》中,铠甲的价值用“牛”来衡量;而在人工智能时代,通用的计量单位变成了 Token(通常约为4个字符)。

但 Token 远不如牛羊那样直观好算:任务消耗量难以预估,各家厂商的定价更是天差地别——例如 DeepSeek 的模型单价仅为 Anthropic 顶尖模型的四十分之一。这种不确定性让不少企业陷入“小任务产生巨额账单”的焦虑,限制用量又会拖累生产力。这种混乱,直接催生了一个新赛道:大模型聚合市场(Model Marketplace)。


一、 聚合市场的代表:OpenRouter 的崛起

由 Alex Atallah 于 2023 年联合创立的 OpenRouter 是该领域的领头羊。Atallah 当初的预判很明确:AI 领域不会是由 OpenAI 一统天下的赢家通吃局面,中立的市场平台将发挥关键作用。

OpenRouter 允许用户在不同模型间灵活切换:

  • 高可用容灾:当 Anthropic 的 Claude 服务宕机时,可瞬间无缝切到 OpenAI。
  • 价格套利:哪家厂商降价促销,就能即时切换以获取最低成本。
  • 平台收益:平台仅对调用的流量收取极低的路由服务费。

即便亚马逊(Bedrock)和谷歌(Vertex AI)等云巨头也提供类似服务,但开发者对中立平台更为信任——因为云厂商自研模型并重金投资头部实验室,天然缺乏中立性。


二、 为什么开发者转向聚合平台?

  1. 撕下“刷榜”遮羞布,用钱包投票
    在 ChatGPT 爆发后,大量 AI 实验室陷入“针对测试基准刷高分”(Benchmaxxing)的怪圈,模型跑分极高但实际干活拉胯。聚合平台用真实用量和付费做背书,形成了更真实、更客观的模型评测体系。
  2. 极速压缩成本
    低价高质的开源与国产模型(如 DeepSeek 等)在平台上占据了极高的 Token 消耗份额,成为企业削减 AI 开支的首选。

三、 告别浪费:按任务“熵值”拆解模型调用

许多企业在 Token 消耗上仍然过于粗放。Alex Atallah 建议企业根据任务的**“熵值”(即任务的开放程度与不确定性)**对需求进行分级调用:

  • 低熵任务(高确定性、简单指令)
    • 典型场景:决策由哪个模型去审查代码、基础数据提取、格式整理。
    • 选型建议:极低成本的轻量模型即可胜任。
  • 中熵任务(有一定复杂度,但有明确规范)
    • 典型场景:实际执行代码审查、文档摘要、一般性内容理解。
    • 选型建议:性价比极高的平价模型。
  • 高熵任务(高度开放、从零构建)
    • 典型场景:从零编写复杂系统架构代码、前沿推理与核心创意构思。
    • 选型建议:顶级的旗舰前沿模型(Frontier Models)。

企业在应用 AI 时最常见的错误,就是将所有任务“一刀切”地丢给最贵的大模型。学会解构任务、动态路由,才是避免账单失控的关键。