AI機能が本当に良くなったかを見分ける方法

目視で判断する問題

プロンプトを変え、三つ試し、良く見えたのでリリースする。二週間後、以前は動いていたものが壊れていると顧客から報告が来る。いつ壊れたか誰も言えません。何も測っていなかったからです。

最小限で役に立つ評価セットを作る

自分の領域から実際の入力を30〜50件集めます。扱いにくいものも含めること。それぞれについて、良い回答に何が含まれているべきかを書き出します。一字一句ではなく、必ず存在すべき事実や振る舞いを。

変更のたびに全件を流します。まずは表計算で十分で、フレームワークは要りません。

何を測るか

• メモに対する正しさ。 含めるべきものを含めたか。
• 拒否の振る舞い。 答えがデータにないとき、そう言うか、それとも捏造するか。
• 形式の遵守。 後段のシステムが解析するなら、毎回解析できるか。
• コストとレイテンシ。 実ユーザーが待っている以上、どちらも品質属性です。

最も大切な習慣

顧客から悪い回答の報告が来るたび、その入力をセットに追加すること。数か月でこれは機能の中で最も価値ある資産になり、恐れずにモデルを乗り換えられる根拠になります。