怎么判断你的 AI 功能是否真的变好了

靠眼睛看的问题

你改了提示词，试了三个输入，看着变好了，就上线。两周后有客户反馈，原本能用的东西坏了。没人说得出它是什么时候坏的，因为从来没有测量过。

建一套最小可用的评测集

从你自己的领域收集三十到五十条真实输入，包括那些难缠的。对每一条，写下一个好答案必须包含什么——不是逐字的措辞，而是必须出现的事实或行为。

每次改动后跑一遍全集。一张表格就足够开始，不需要任何框架。

到底测什么

• 对照你笔记的正确性。 该包含的它包含了吗？
• 拒答行为。 当答案不在数据里时，它是照实说，还是编？
• 格式合规。 如果下游系统要解析，它每次都能解析成功吗？
• 成本与延迟。 一旦真实用户在等待，这两项都是质量属性。

最要紧的习惯

每当客户反馈一个糟糕的回答，就把那条输入加进集合。几个月后，它会成为这个功能里最有价值的资产，也是让你敢于更换模型的底气。