AI機能のコストを規模に耐えるものにする

お金が実際どこへ消えているか

最適化に手をつける前に、機能ごとにリクエスト単位のトークン数を記録してください。多くのチームが驚きます。高くついている経路は、心配していた経路であることはまれです。

効果の大きい順に4つのレバー

静的な文脈を送り直すのをやめる。 長いシステムプロンプト、商品カタログ、規約文書を毎回の呼び出しに付けているなら、たいていそれが最大の項目です。呼び出し間で変わらない部分はキャッシュしましょう。

検索した文脈を短くする。 3件で足りるところに20件送るのは習慣であって要件ではありません。削りながら回答品質を測ってください。多くの機能は、リリース時よりずっと少ない文脈で成立します。

難易度でルーティングする。 すべてのリクエストに最高性能のモデルは要りません。2つのモデルの前に「簡単か難しいか」を判定する安価な分類器を置くだけで、品質を目に見えて落とさずコストを大きく削れます。

回答そのものをキャッシュする。 商取引では、少数の質問がトラフィックの大半を占めます。配送日数、返品規約、サイズの選び方。初回以降、これらにモデル呼び出しは不要です。

避けるべき罠

機能が正しく動く前にコストを最適化しないこと。上のすべては品質をいくらか対価に差し出します。動く基準線がなければ、何を差し出したのかが見えません。まず正しくし、測り、それから安くする。