谷歌11月11日上线Gemini Decisions API,由全新模型Gemini Decision 1驱动,面向工具选择、策略检查、模型路由和上下文评估等明确决策场景。支持文本、图像、音频、视频、PDF多模态输入,上下文最高256K。有报道称,其API价格低至每百万Token 0.1美元。

决策模型是什么
不是用来聊天写作,而是用来做判断:这个请求该调用哪个工具、这段内容是否合规、这个任务该路由给哪个模型。输出的是一个决策,不是一段文字。
为什么便宜
决策任务的输出很短,通常只是几个标签或一个选择。Token消耗小,模型可以做得更专、更小。0.1美元每百万Token的价格,比通用大模型低两个数量级。
用在哪
第一,模型路由,把简单请求分给小模型,复杂请求给大模型;第二,工具调用,判断用户意图该用哪个API;第三,内容审核,判断是否违规;第四,上下文评估,判断检索到的内容是否相关。
为什么重要
AI应用的成本,很大一部分花在路由和判断上。如果这部分能用便宜模型做,整体成本会大幅下降。这是AI工程化的关键一环,不性感,但很值钱。
竞争
亚马逊的Strands Decider、Cloudflare的Clef、Perplexity的Decisions API、Liquid AI的d1-ultra,都在抢这个赛道。决策模型正在成为独立品类。
注意
便宜不等于好用。决策错了,后面全错。上线前要用真实数据评测,别只看价格。