为产品选模型，而不是为跑分选模型

跑分回答的是别人的问题

排行榜告诉你模型在一组固定学术题目上的表现。而你的产品只有一个任务、一个延迟预算、一个成本上限和一组语言。这些都不在表里。

真正决定选择的五个问题

它必须做的最难的事，具体是什么？ 在读任何对比文章之前，从你自己的领域里写下二十个真实例子。那份清单才是你的跑分表。

界面能容忍多少延迟？ 聊天回复可以等三秒，输入补全不行，夜间批处理等一分钟也无妨。仅这一条就能淘汰一半候选。

一个错误答案代价多大？ 总结一份内部记录和批准一笔退款，风险完全不同。风险越高，越值得用更大的模型，或者用小模型加一道校验。

到底是哪些语言？ 模型质量在不同语言上下降得并不均匀。如果你服务越南语、日语和英语，就用自己的例子把三种都测一遍。多语种综合分恰恰掩盖了会让你吃亏的那个缺口。

流量翻十倍会怎样？ 用单次调用价格乘以现实中的流量，而不是今天的流量。很多在试点阶段跑得通的设计，规模化后根本负担不起。

一个务实的做法

先用你负担得起的最强模型，把功能做对。之后再尝试把同一任务迁到更便宜的选择上，用那二十个例子当关卡。在做对之前先优化成本，通常意味着要付两次钱。