Giữ chi phí tính năng AI trong tầm kiểm soát khi mở rộng
Phần lớn hoá đơn AI không đến từ lưu lượng, mà từ việc gửi đi gửi lại cùng một ngữ cảnh.
Tìm xem tiền thật sự đi đâu
Trước khi tối ưu bất cứ thứ gì, hãy log số token mỗi request, tách theo từng tính năng. Các đội thường xuyên bất ngờ: đường tốn tiền hiếm khi là đường họ lo lắng.
Bốn đòn bẩy, xếp theo mức hiệu quả
Ngừng gửi lại ngữ cảnh tĩnh. Một system prompt dài, một danh mục sản phẩm hay một văn bản chính sách gửi kèm trong mọi lần gọi thường là khoản lớn nhất. Cache lại phần không đổi giữa các lần gọi.
Cắt ngắn ngữ cảnh truy xuất. Gửi hai mươi tài liệu trong khi ba là đủ là thói quen, không phải yêu cầu. Vừa cắt vừa đo chất lượng câu trả lời. Phần lớn tính năng vẫn ổn với ít ngữ cảnh hơn nhiều so với lúc phát hành.
Định tuyến theo độ khó. Không phải request nào cũng cần mô hình tốt nhất. Một bộ phân loại rẻ tiền quyết định "dễ hay khó" đặt trước hai mô hình thường cắt được đáng kể chi phí mà chất lượng không thay đổi rõ rệt.
Cache nguyên câu trả lời. Trong bán hàng, một số ít câu hỏi chiếm phần lớn lưu lượng: thời gian giao, chính sách đổi trả, hướng dẫn chọn size. Sau lần đầu, những câu đó không cần gọi mô hình nữa.
Cái bẫy cần tránh
Đừng tối ưu chi phí trước khi tính năng chạy đúng. Mọi thay đổi ở trên đều đánh đổi một phần chất lượng lấy tiền, và bạn không thấy được mình đã đánh đổi cái gì nếu chưa từng có một mốc chuẩn hoạt động tốt. Làm đúng trước, đo, rồi mới làm rẻ.
ToolGo Team
Sản phẩm & Kỹ thuật
Chúng tôi xây dựng các công cụ SaaS thực tế và chia sẻ những gì chúng tôi học được — từ quyết định sản phẩm đến kỹ thuật chuyên sâu.
