RAG hay fine-tuning? Chọn thế nào cho một tính năng sản phẩm
Phần lớn đội ngũ chọn fine-tuning trong khi retrieval rẻ hơn, lên sản phẩm nhanh hơn và sửa sai dễ hơn.
Câu hỏi thật nằm sau câu hỏi
Khi một đội hỏi "có nên fine-tune không?", ý họ thường là "mô hình không biết dữ liệu của tụi tôi". Đó là hai vấn đề khác nhau, cách xử lý cũng khác nhau.
Fine-tuning thay đổi cách mô hình hành xử. Retrieval thay đổi những gì mô hình biết tại thời điểm trả lời. Nhầm lẫn hai thứ này là sai lầm phổ biến nhất và tốn kém nhất khi làm tính năng AI đầu tiên.
Dùng retrieval khi câu trả lời nằm trong dữ liệu của bạn
Nếu câu trả lời đúng đã tồn tại trong một tài liệu, danh mục sản phẩm, lịch sử hỗ trợ hay một dòng trong database, gần như luôn nên chọn retrieval:
- Nội dung của bạn thay đổi. Mô hình fine-tune đóng băng kiến thức tại thời điểm huấn luyện; chỉ mục retrieval cập nhật ngay khi bạn ghi thêm một dòng.
- Bạn cần dẫn nguồn. Retrieval chỉ được ra đúng đoạn văn gốc. Mô hình fine-tune không nói được câu trả lời đến từ đâu.
- Bạn cần sửa một câu trả lời sai ngay hôm nay. Với retrieval, bạn sửa tài liệu. Với fine-tuning, bạn huấn luyện lại.
Dùng fine-tuning khi vấn đề là hình thức, không phải dữ kiện
Fine-tuning xứng đáng với chi phí khi bạn cần hành vi nhất quán mà prompt mãi không đạt được:
- Một định dạng đầu ra cứng mà mô hình cứ trôi ra khỏi.
- Một giọng văn thống nhất trên hàng nghìn lần sinh nội dung.
- Một tác vụ phân loại hẹp, nơi mô hình nhỏ và rẻ hơn có thể thay thế mô hình lớn.
Ý cuối mới là ý ít người để tâm. Fine-tune một mô hình nhỏ để đuổi kịp mô hình lớn trên đúng một tác vụ hẹp thường là quyết định về chi phí, không phải về chất lượng.
Thứ tự chúng tôi khuyên
- Viết prompt cho kỹ trước. Một tỷ lệ đáng ngạc nhiên các ca "cần fine-tuning" hoá ra chỉ là chỉ dẫn chưa rõ.
- Thêm retrieval. Đo xem các lần sai có thật sự là sai về kiến thức không.
- Chỉ sau đó mới tính đến fine-tuning, và chỉ cho những hành vi mà retrieval không sửa được.
Chỗ các đội hay trả giá
Thất bại đắt nhất là fine-tune trên một bản chụp dữ liệu vốn thay đổi hằng tuần. Sáu tuần sau, mô hình tự tin đọc ra bảng giá của quý trước, và không ai chỉ được ví dụ huấn luyện nào gây ra chuyện đó. Với retrieval, đó chỉ là một lần sửa database.
Nếu bạn đang cân nhắc điều này cho sản phẩm của mình, một giờ trao đổi trước khi viết code là đáng. Dịch vụ phát triển theo yêu cầu của chúng tôi bắt đầu đúng từ đó.
ToolGo Team
Sản phẩm & Kỹ thuật
Chúng tôi xây dựng các công cụ SaaS thực tế và chia sẻ những gì chúng tôi học được — từ quyết định sản phẩm đến kỹ thuật chuyên sâu.
