"Mô hình khen thưởng" của DeepSeek giúp AI thực sự hiểu con người

Công ty trí tuệ nhân tạo DeepSeek (Trung Quốc) vừa giới thiệu một phương pháp mới cho hệ thống phản hồi AI, có thể thay đổi cách AI học hỏi từ sở thích con người, theo Tech Wire Asia.

Hợp tác với nhóm nghiên cứu từ Đại học Thanh Hoa, đổi mới của DeepSeek nhằm giải quyết một trong những thách thức lớn nhất trong phát triển AI: dạy máy móc hiểu được con người thật sự muốn gì. 

Bước đột phá này được trình bày trong nghiên cứu mang tên “Inference-Time Scaling for Generalist Reward Modeling”, giới thiệu một kỹ thuật giúp AI phản hồi chính xác và hiệu quả hơn - bước tiến kép trong lĩnh vực AI, nơi hiệu suất tốt hơn thường đòi hỏi thêm sức mạnh tính toán.

DẠY AI HIỂU ĐƯỢC SỞ THÍCH CỦA CON NGƯỜI

Cốt lõi của đổi mới là cách tiếp cận đối với “mô hình khen thưởng” - cơ chế phản hồi hướng dẫn quá trình học hỏi của hệ thống AI. Có thể ví mô hình khen thưởng như những “giáo viên số”: mỗi khi AI đưa ra phản hồi, mô hình sẽ đánh giá chất lượng phản hồi đó, giúp AI cải thiện dần theo thời gian. Thách thức lớn nằm ở việc tạo ra mô hình khen thưởng có thể phản ánh chính xác sở thích con người trên nhiều loại câu hỏi khác nhau.

DeepSeek đã kết hợp hai kỹ thuật, bao gồm Generative Reward Modeling (GRM) và Self-Principled Critique Tuning (SPCT). Trong khi GRM sử dụng ngôn ngữ để biểu thị phần thưởng, cung cấp phản hồi phong phú hơn so với phương pháp cũ vốn chỉ dựa vào điểm số đơn giản, thì SPCT cho phép AI tự động tạo ra nguyên tắc và phản biện thông qua học tăng cường trực tuyến.

Ông Zijun Liu, nhà nghiên cứu tại Đại học Thanh Hoa và DeepSeek-AI, đồng tác giả nghiên cứu, cho biết sự kết hợp này giúp “hệ thống nguyên tắc được tạo ra dựa trên truy vấn và phản hồi đầu vào, từ đó điều chỉnh linh hoạt quá trình tạo phần thưởng”.

Điểm nổi bật trong phương pháp của DeepSeek là khái niệm “mở rộng tại thời điểm suy luận”. Thay vì yêu cầu thêm sức mạnh tính toán trong quá trình huấn luyện, phương pháp này cho phép cải thiện hiệu suất ngay tại thời điểm AI được sử dụng, hay còn gọi là "điểm suy luận".

Các nhà nghiên cứu chứng minh rằng, phương pháp của họ đạt kết quả tốt hơn khi tăng cường việc lấy mẫu trong giai đoạn suy luận, giúp mô hình nhỏ đạt được hiệu suất tương đương với những mô hình lớn. 

Bước đột phá về hiệu suất này xuất hiện đúng lúc ngành AI đang đối mặt với lo ngại về tính bền vững, chuỗi cung ứng và khả năng tiếp cận trong bối cảnh cuộc đua xây dựng mô hình ngày càng nóng.

TƯƠNG LAI CỦA AI SẼ RA SAO?

Sáng kiến mới của DeepSeek trong hệ thống phản hồi AI có thể mang lại những tác động sâu rộng. Chẳng hạn, mô hình khen thưởng tốt giúp hệ thống AI nhận được phản hồi chính xác hơn, từ đó cải thiện chất lượng phản hồi theo thời gian.

Khả năng mở rộng tại thời điểm sử dụng cho phép AI thích nghi với nhiều điều kiện tính toán khác nhau, từ đó hiệu suất được tối ưu hóa. Hơn nữa, nhờ cải tiến mô hình khen thưởng trong lĩnh vực tổng quát, hệ thống AI có thể xử lý tốt hơn nhiều loại tác vụ.

Nếu mô hình nhỏ có thể đạt hiệu suất tương đương mô hình lớn nhờ phương pháp suy luận tối ưu, việc phát triển AI sẽ trở nên dễ tiếp cận hơn với những người có nguồn lực hạn chế.

Tiến bộ mới nhất tiếp tục củng cố vị thế của DeepSeek trong lĩnh vực AI. Dù mới thành lập vào năm 2023 bởi doanh nhân Liang Wenfeng, công ty có trụ sở tại Hàng Châu đã nhanh chóng tạo dấu ấn với mô hình nền tảng V3 và mô hình suy luận R1. 

Gần đây, DeepSeek nâng cấp phiên bản V3 (DeepSeek-V3-0324), được quảng bá là có “năng lực suy luận vượt trội, tối ưu hóa phát triển giao diện web và cải thiện khả năng viết tiếng Trung”.

DeepSeek cũng cam kết cho mã nguồn mở công nghệ AI. Tháng 2/2025, công ty công khai 5 kho mã nguồn, cho phép nhà phát triển đánh giá và đóng góp vào quá trình phát triển phần mềm.

Theo nghiên cứu mới công bố, DeepSeek dự định mở mã nguồn mô hình GRM, dù chưa ấn định thời gian cụ thể. Động thái này có thể đẩy nhanh tiến trình phát triển trong lĩnh vực, nhờ vào việc mở rộng phạm vi thử nghiệm với hệ thống phản hồi AI tiên tiến.

KHÔNG CHỈ LÀ CUỘC ĐUA MÔ HÌNH LỚN

Khi AI tiếp tục phát triển với tốc độ chóng mặt, bước tiến của DeepSeek cho thấy việc đổi mới cách học cho mô hình quan trọng không kém việc tăng quy mô. Bằng cách tập trung vào chất lượng và khả năng mở rộng của hệ thống phản hồi, DeepSeek đang giải quyết một trong những thách thức lớn: tạo ra AI có khả năng thấu hiểu và phù hợp hơn với mong muốn thực sự của con người.

Đột phá tiềm năng này cho thấy tương lai của AI không chỉ phụ thuộc vào sức mạnh tính toán thuần túy, mà còn nằm ở những phương pháp thông minh, hiệu quả - có thể nắm bắt tinh tế sở thích và hành vi của con người.