Chọn mô hình ngôn ngữ cho sản phẩm, không phải cho bảng xếp hạng

Benchmark trả lời câu hỏi của người khác

Bảng xếp hạng cho biết mô hình làm tốt đến đâu trên một bộ bài tập học thuật cố định. Sản phẩm của bạn có đúng một nhiệm vụ, một ngân sách độ trễ, một trần chi phí và một tập ngôn ngữ. Không thứ nào trong đó xuất hiện trên bảng.

Năm câu hỏi quyết định

Việc khó nhất nó phải làm là gì, cụ thể? Viết ra hai mươi ví dụ thật từ chính lĩnh vực của bạn trước khi đọc bất kỳ bảng so sánh nào. Danh sách đó mới là benchmark của bạn.

Giao diện chịu được độ trễ bao nhiêu? Một câu trả lời chat có thể mất ba giây. Gợi ý gõ tự động thì không. Một tác vụ chạy đêm có thể mất một phút. Riêng câu này đã loại một nửa ứng viên.

Một câu trả lời sai tốn bao nhiêu? Tóm tắt ghi chú nội bộ và duyệt hoàn tiền không cùng mức rủi ro. Rủi ro cao thì đáng dùng mô hình lớn hơn, hoặc mô hình nhỏ cộng thêm bước kiểm chứng.

Ngôn ngữ nào, thật sự? Chất lượng mô hình tụt không đều giữa các ngôn ngữ. Nếu bạn phục vụ tiếng Việt, tiếng Nhật và tiếng Anh, hãy kiểm cả ba trên ví dụ của chính bạn. Điểm đa ngôn ngữ gộp chung che đi đúng cái khoảng trống sẽ làm bạn đau.

Gấp mười lưu lượng thì sao? Lấy giá mỗi lần gọi nhân với lưu lượng thực tế, không phải lưu lượng hôm nay. Nhiều thiết kế chạy ngon lúc thử nghiệm nhưng không kham nổi khi mở rộng.

Một cách làm thực dụng

Bắt đầu bằng mô hình mạnh nhất bạn kham được và làm cho tính năng chạy đúng đã. Sau đó mới thử chuyển chính tác vụ đó sang thứ rẻ hơn, lấy hai mươi ví dụ kia làm cửa ải. Tối ưu chi phí trước khi đạt độ chính xác thường đồng nghĩa với trả tiền hai lần.