Làm sao biết tính năng AI của bạn có tốt lên không

Vấn đề của việc nhìn bằng mắt

Bạn sửa một prompt, thử ba đầu vào, thấy khá hơn, rồi phát hành. Hai tuần sau một khách báo rằng thứ trước đây chạy được giờ hỏng. Không ai nói được nó hỏng từ lúc nào, vì chưa bao giờ có gì được đo.

Dựng bộ đánh giá nhỏ nhất mà vẫn hữu ích

Thu thập ba mươi đến năm mươi đầu vào thật từ chính lĩnh vực của bạn, gồm cả những ca khó chịu. Với mỗi cái, ghi lại câu trả lời tốt phải chứa những gì — không phải câu chữ chính xác, mà là dữ kiện hoặc hành vi bắt buộc phải có.

Chạy cả bộ sau mỗi lần thay đổi. Một bảng tính là đủ để bắt đầu; bạn không cần framework nào cả.

Đo cái gì

• Độ đúng so với ghi chú của bạn. Nó có nêu những thứ bắt buộc phải nêu không?
• Hành vi từ chối. Khi câu trả lời không có trong dữ liệu, nó nói thẳng hay bịa ra?
• Tuân thủ định dạng. Nếu có hệ thống phía sau phân tích kết quả, nó có phân tích được mọi lần không?
• Chi phí và độ trễ. Cả hai đều là thuộc tính chất lượng một khi người dùng thật đang ngồi chờ.

Thói quen quan trọng nhất

Mỗi lần khách báo một câu trả lời tệ, thêm đầu vào đó vào bộ. Sau vài tháng, đây trở thành tài sản giá trị nhất của tính năng, và là thứ cho phép bạn đổi mô hình mà không sợ.