Nhóm nghiên cứu đã thử nghiệm kỹ thuật Engram trên một mô hình 27 tỷ tham số. Kết quả cho thấy mô hình hoạt dộng tốt hơn trong các nhiệm vụ suy luận phức tạp, đòi hỏi cường độ tính toán cao...

Liang Wenfeng, nhà sáng lập công ty khởi nghiệp trí tuệ nhân tạo DeepSeek của Trung Quốc, cùng nhóm nghiên cứu đến từ Đại học Bắc Kinh, mới đây đã đề xuất một phương pháp huấn luyện mô hình AI mới.

Nhóm tác giả cho rằng kỹ thuật này sẽ giúp “mở rộng tham số" để xây dựng các mô hình AI mạnh mẽ hơn, thông qua tối ưu bộ nhớ của bộ xử lý đồ họa (GPU), trong bối cảnh năng lực tính toán của Trung Quốc vẫn còn hạn chế so với các tập đoàn công nghệ hàng đầu của Mỹ.

Theo đó, bài báo nghiên cứu này vừa được công bố hôm qua, giới thiệu kỹ thuật “bộ nhớ có điều kiện” mang tên "Engram". Mục tiêu của Engram là giải quyết hạn chế đồng thời tối ưu dung lượng của bộ nhớ băng thông cao (HBM) trên GPU để tăng cường mở rộng quy mô các mô hình AI. 

Bằng cách đưa các chuỗi dữ liệu vào bộ nhớ tĩnh, mô hình có thể truy xuất thông tin nhanh hơn, giảm gánh nặng tính toán. Nhờ đó, GPU được giải phóng khỏi các tác vụ ghi nhớ đơn giản để tập trung vào những bài toán phức tạp hơn, đồng thời hạn chế sự phụ thuộc vào các loại bộ nhớ băng thông cao (HBM) vốn đắt đỏ và khan hiếm.

HBM lâu nay luôn là một trong những điểm yếu lớn nhất của Trung Quốc khi so sánh về phần cứng AI với Mỹ. Ray Wang, nhà phân tích tại SemiAnalysis, nhận định rằng ChangXin Memory Technologies (CXMT), doanh nghiệp bộ nhớ hàng đầu của Trung Quốc, vẫn chậm hơn vài năm so với các hãng dẫn đầu thế giới như Samsung Electronics, SK Hynix của Hàn Quốc hay Micron Technology của Mỹ, dù đã có những bước tiến đều đặn trong thời gian gần đây.

Trong bối cảnh đó, nhóm nghiên cứu DeepSeek và Đại học Bắc Kinh cho rằng giải pháp nằm ở việc tách riêng vai trò của tính toán và bộ nhớ. Với Engram, mô hình có thể trực tiếp tra cứu thông tin nền, thay vì phải liên tục tính toán lại từ đầu.

Không chỉ giải quyết bài toán bộ nhớ, kỹ thuật này còn được cho là giúp mô hình xử lý tốt hơn đầu vào có dung lượng lớn. Đây hiện là một trong những thách thức lớn nhất để biến chatbot AI thành các trợ lý thông minh có thể vận hành hiệu quả trong đời sống và sản xuất thực tế.

Nhóm nghiên cứu đã thử nghiệm Engram trên một mô hình có quy mô 27 tỷ tham số. Kết quả cho thấy hiệu suất của mô hình được cải thiện thêm vài phần trăm khi đánh giá trên các bộ tiêu chuẩn của ngành. Quan trọng hơn, mô hình cũng hoạt động tốt hơn trong các nhiệm vụ suy luận phức tạp, đòi hỏi cường độ tính toán cao.

Engram được kỳ vọng sẽ tiềm năng tương tự kỹ thuật "Mixture-of-Experts technique" mà DeepSeek phát triển trước đây – cho phép mở rộng quy mô mô hình mà không làm tăng chi phí tính toán. Sau đó, kỹ thuật này đã được nhiều doanh nghiệp AI Trung Quốc nhanh chóng học hỏi.

Hiện nay, những mô hình AI lớn nhất trong ngành đã đạt quy mô lên tới hàng nghìn tỷ tham số, khiến bài toán bộ nhớ và hiệu quả xử lý ngày càng trở nên cấp bách.

Bình luận về nghiên cứu này, kỹ sư nghiên cứu tại nền tảng mã nguồn mở Hugging Face Elie Bakouch đánh giá cao việc nhóm tác giả đã kiểm chứng kỹ thuật mới trên phần cứng thực tế, cả trong giai đoạn huấn luyện lẫn suy luận.

Bài báo có tổng cộng 14 đồng tác giả, trong đó đáng chú ý có Huishuai Zhang,  từng là nghiên cứu viên tại Microsoft Research Asia nay là trợ lý giáo sư khoa học máy tính tại Đại học Bắc Kinh. Tác giả chính là Cheng Xin, nghiên cứu sinh Đại học Bắc Kinh, người trước đây từng tham gia phát triển các mô hình V3 và R1 của DeepSeek.