Thế giới đang dần cạn kiệt dữ liệu để đào tạo AI
Hoàng Hà
24/07/2024
Các mô hình AI ngày càng phát triển và đang yêu cầu lượng dữ liệu lớn hơn, chất lượng cao hơn ...
Khi các mô hình AI do các công ty công nghệ phát triển ngày càng trở nên lớn hơn, nhanh hơn và tham vọng hơn, lượng dữ liệu cần thiết để đào tạo các mô hình cũng đòi hỏi phải chất lượng cao hơn và số lượng nhiều hơn.
CUỘC KHỦNG HOẢNG DỮ LIỆU
Tuy nhiên, nguồn dữ liệu đang bắt đầu cạn kiệt, một phần vì các trang web nội dung nói chung, các trang báo chí nói riêng, đang hạn chế các công ty AI sử dụng văn bản, hình ảnh và video của họ trong việc đào tạo AI. Điều này đã tạo ra “cuộc khủng hoảng dữ liệu”, hay đúng hơn là “cuộc khủng hoảng về các thỏa thuận đồng ý sử dụng dữ liệu”, theo một nghiên cứu gần đây của Sáng kiến Nguồn gốc Dữ liệu, một nhóm do các nhà nghiên cứu tại Viện Công nghệ Massachusetts (MIT) dẫn đầu.
Nghiên cứu phát hiện rằng chỉ trong năm vừa qua đã chứng kiến “sự gia tăng nhanh chóng các trang web đồng loạt hạn chế công ty AI sử dụng dữ liệu”. Nguyên nhân được cho là do những lo ngại liên quan đến thách thức đạo đức và pháp lý khi AI “ngang nhiên sử dụng dữ liệu công cộng”.
Động thái này đã hạn chế phần lớn các trang web cho phép sử dụng dữ liệu của họ, dù với mục đích thương mại hay học thuật. Giữa tháng 4 năm 2023 và tháng 4 năm 2024, xem xét khoảng 14.000 tên miền web được sử dụng để tập hợp bộ ba tập dữ liệu lớn là C4, RefinedWeb và Dolma cho thấy 5% tổng dữ liệu và 25% dữ liệu từ các nguồn chất lượng cao nhất đã bị hạn chế,.
Các công ty AI lớn thường thu thập dữ liệu thông qua các bot tự động được gọi là web crawlers, chúng khám phá internet và ghi lại nội dung. Trong trường hợp của tập dữ liệu C4, 45% dữ liệu đã bị hạn chế thông qua các giao thức trang web ngăn chặn các web crawlers truy cập nội dung. Các hạn chế này ảnh hưởng không đồng đều đến các crawlers từ các công ty công nghệ khác nhau và thường có lợi cho “các nhà phát triển AI ít được biết đến hơn”.
Ví dụ, các crawlers của OpenAI đã bị hạn chế truy cập vào gần 26% các nguồn dữ liệu chất lượng cao, trong khi crawler của Google chỉ bị ngăn chặn khoảng 10% và Meta là khoảng 4%.
Nếu những hạn chế này vẫn chưa đủ khiến tình hình đào tạo AI gặp khó khăn, thì còn một thực tế khắc nghiệt nữa, đó là nguồn cung cấp dữ liệu công cộng để đào tạo các mô hình AI dự kiến sẽ cạn kiệt sớm.
Với tốc độ hiện tại của các công ty đang làm việc để cải thiện các mô hình AI, các nhà phát triển có thể hết dữ liệu vào khoảng từ năm 2026 đến năm 2032, theo một nghiên cứu được công bố vào tháng 6 bởi nhóm nghiên cứu Epoch AI.
CÁC CÔNG TY AI ĐANG CHI HÀNG TRIỆU ĐỂ MUA DỮ LIỆU ĐÀO TẠO
Khi các công ty công nghệ lớn cố gắng tìm đủ dữ liệu để hỗ trợ các mục tiêu AI đầy tham vọng của họ, một số công ty đang ký kết các hợp đồng với các ấn phẩm nội dung để có quyền truy cập vào kho lưu trữ của họ.
Ví dụ, OpenAI được cho là đã đề nghị trả từ 1 triệu đến 5 triệu USD cho các đối tác như vậy. Gã khổng lồ AI này đã ký kết các hợp đồng với các ấn phẩm như The Atlantic, Vox Media, The Associated Press, Financial Times, Time và News Corp để sử dụng kho lưu trữ của họ vào đào tạo các mô hình AI.
Để mở khóa dữ liệu mới, OpenAI thậm chí đã cân nhắc sử dụng Whisper, công cụ nhận diện giọng nói, để phiên âm video và âm thanh từ các trang web như YouTube - một phương pháp mà Google cũng đã thảo luận. Trong khi đó, các nhà phát triển AI khác như Meta, đang tìm cách mua lại các công ty xuất bản như Simon & Schuster để có được kho sách lớn của họ.
SỬ DỤNG DỮ LIỆU DO CHÍNH AI TẠO RA ĐỂ ĐÀO TẠO AI
Một giải pháp tiềm năng khác cho cuộc khủng hoảng dữ liệu AI là dữ liệu tổng hợp, một thuật ngữ dùng để mô tả dữ liệu được tạo ra bởi các mô hình AI thay vì con người. Sam Altman của OpenAI đã đề cập đến phương pháp này trong một cuộc phỏng vấn đầu năm nay khi ông lưu ý rằng dữ liệu từ Internet cuối cùng “sẽ hết”.
“Miễn là có thể vượt qua thách thức dữ liệu tổng hợp, nguồn dữ liệu do chính AI tạo ra, để có những dữ liệu tổng hợp tốt, tôi nghĩ mọi thứ sẽ ổn thôi”, người đứng đầu OpenAI nói.
Tuy nhiên, một số nhà nghiên cứu AI nổi bật, tin rằng lo ngại về một cuộc khủng hoảng dữ liệu đang nổi lên là quá phóng đại. Khi phát biểu tại Hội nghị Công nghệ Bloomberg vào tháng 5, Fei-Fei Li, một nhà khoa học máy tính tại Stanford và thường được gọi là “Mẹ đỡ đầu của AI” cho rằng lo ngại về giới hạn dữ liệu là một “quan điểm rất hẹp”.
Trong khi các nguồn dữ liệu, nội dung trên internet đang bị thắt chặt bởi những hạn chế thỏa thuận, Fei-Fei Li lưu ý rằng một loạt các nguồn dữ liệu thay thế và liên quan vẫn chưa được khai thác cho AI. Ví dụ như dữ liệu trong ngành chăm sóc sức khỏe hay các ngành như giáo dục, “vì vậy không, tôi không nghĩ chúng ta đang hết dữ liệu”, bà nói.
Dòng sự kiện:
Kiến trúc dữ liệu quốc giaViệc Jensen Huang rời Nvidia có thể tạo ra khoảng trống đáng kể trong hệ sinh thái startup công nghệ...
Giá uranium đang tăng mạnh khi điện hạt nhân được nhiều quốc gia xem xét trở lại như một giải pháp bảo đảm nguồn cung điện ổn định…
Doanh thu tăng khoảng 50% trong quý 3, nhưng OpenAI vẫn ghi nhận khoản lỗ hoạt động lên tới 10,9 tỷ USD...
Sự bùng nổ của ngành bán dẫn nhờ nhu cầu chip phục vụ trí tuệ nhân tạo (AI) đang mang lại những khoản thưởng kỷ lục cho người lao động tại một số tập đoàn lớn ở châu Á...
Singapore đang xây dựng các trung tâm nghiên cứu và phát triển bán dẫn nhằm thu hẹp khoảng cách giữa nghiên cứu trong trường đại học và sản xuất công nghiệp...
Làn sóng trí tuệ nhân tạo (AI) đang tạo thêm động lực thúc đẩy hội nhập kinh tế giữa Đông Nam Á, Trung Quốc, Nhật Bản và Hàn Quốc, thông qua mở rộng thương mại, đầu tư và kết nối chuỗi cung ứng.
Các nhà phát triển game Mỹ đang mất lợi thế trước những đối thủ Trung Quốc có khả năng phát triển sản phẩm nhanh hơn, chi phí thấp hơn và khai thác doanh thu từ người chơi hiệu quả hơn...
Thái Lan sẽ áp dụng các tiêu chuẩn môi trường nghiêm ngặt hơn đối với những trung tâm dữ liệu quy mô lớn, trong bối cảnh nhu cầu hạ tầng số tăng nhanh, kéo theo áp lực ngày càng lớn lên nguồn cung điện, nước và tài nguyên của quốc gia...
Australia dự kiến thành lập cơ quan quản lý chuyên trách về an toàn trí tuệ nhân tạo (AI), có quyền áp dụng các khoản phạt đáng kể đối với doanh nghiệp vi phạm…
Các nhà sản xuất chip trí tuệ nhân tạo (AI) tại Trung Quốc bắt đầu ghi nhận lợi nhuận sau thời gian đầu tư lớn để phát triển sản phẩm thay thế Nvidia…