Mô hình AI nguồn mở Llama 3 đủ mạnh để đưa Meta dẫn đầu cuộc đua AI
Hạ Chi
20/04/2024, 09:08
Meta mới đây đã ra mắt phiên bản cập nhật của mô hình Llama AI miễn phí, Llama 3. Hay chính xác hơn, gã khổng lồ này mới phát hành hai mô hình thuộc dòng Llama 3 mới, mô hình còn lại vẫn đang trong quá trình đào tạo…
Meta ra mắt mô hình nguồn mở Llama AI 3.
Hai mô hình mới – Llama 3 8B chứa 8 tỷ tham số và Llama 3 70B chứa 70 tỷ tham số, là “bước nhảy vọt lớn” về mô hình ngôn ngữ lớn của Meta. Mô hình Llama 3 còn lại với kích thước hơn 400 tỷ tham số vẫn đang được gã khổng lồ đào tạo. Mô hình này được tiết lộ có khả năng “giao tiếp bằng nhiều ngôn ngữ”, thu thập nhiều dữ liệu hơn và hiểu nhiều phương thức khác bên cạnh văn bản...
Meta viết trong một bài đăng trên blog: “Mục tiêu của chúng tôi trong tương lai gần là làm cho Llama 3 trở nên đa ngôn ngữ và đa phương thức, có khả năng hiểu ngữ cảnh dài hơn và tiếp tục cải thiện hiệu suất tổng thể trên các mô hình ngôn ngữ lớn cốt lõi như lý luận và mã hóa”.
Theo công bố của Meta, Llama 3 8B vượt trội hơn các mô hình mở khác như Mistral 7B của Mistral và Gemma 7B của Google, trên ít nhất chín tiêu chuẩn AI: MMLU (lượng kiến thức), ARC (khả năng tiếp thu), DROP (khả năng lý luận), GPQA (kiến thức vật lý và hóa học), HumanEval (bài kiểm tra tạo mã), GSM-8K (bài toán đố), MATH (một chuẩn mực toán học khác), AGIEval (bộ bài kiểm tra giải quyết vấn đề) và BIG-Bench Hard (đánh giá lý luận thông thường). Trong khi đó, Llama 3 70B đánh bại Gemini 1.5 Pro trên các tiêu chuẩn MMLU, HumanEval và GSM-8K.
Mặc dù vậy, theo Techcrunch, tính hữu ích của các tiêu chuẩn này vẫn còn đang được tranh luận. Nhưng dù sao, chúng vẫn là một trong những tiêu chuẩn để các công ty AI như Meta đánh giá mô hình của họ.
THỊ TRƯỜNG MÔ HÌNH AI KHÔNG NGỪNG BIẾN ĐỘNG
Meta được các nhà quan sát đánh giá là một trong những Big Tech dẫn đầu trong việc sẵn sàng chi tiêu cho việc đào tạo và chạy các mô hình nguồn mở. Vào tháng 1, Mark Zuckerberg thông tin Meta đang chi hàng tỷ USD cho chip Nvidia AI, đến cuối năm 2024, cơ sở hạ tầng máy tính của công ty sẽ bao gồm 350.000 chiếc H100. Xong, Meta vẫn cam kết cung cấp trải nghiệm miễn phí các mô hình cho người dùng.
"Meta không tiết lộ chi tiết cụ thể về loại dữ liệu nào được sử dụng để đào tạo Llama 3, ngoài việc nhấn mạnh rằng mô hình được đào tạo dựa trên “nhiều loại dữ liệu công khai”, bao gồm các bài đăng công khai trên Facebook và Instagram".
Thế nhưng thị trường mô hình mở cũng đang dần sôi động với sự xuất hiện của Mistral. Mistral có trụ sở tại Paris, được sáng lập bởi các cựu nhà nghiên cứu của Meta. Công ty này đã tạo ra cú nổ đầu tiên vào tháng 6/2023, sau đó tiếp tục tích cực phát hành nhiều mô hình nguồn mở và được đón nhận nồng nhiệt.
Trong khi đó, các mô hình độc quyền do OpenAI, Google và Anthropic ngày càng nâng cấp thêm nhiều khả năng hơn. Hai tháng trước, Google đã phát hành Gemma, các mô hình mở được xây dựng từ nghiên cứu và công nghệ tương tự như Gemini độc quyền của hãng.
Bên cạnh đó, cuộc “đi săn” nhân tài AI tiếp tục nóng lên, với sự cạnh tranh khốc liệt giữa các nhà nghiên cứu hàng đầu và nhiều cựu kỹ sư của Big Tech nhảy việc thành lập công ty khởi nghiệp của riêng họ. Thời gian gần đây, Fortune đưa tin Meta đã chảy máu chất xám AI, khi một số lãnh đạo cấp cao, bao gồm cả giám đốc cấp cao về AI tạo sinh đã rời đi.
LLAMA 3 SẼ ĐƯỢC TÍCH HỢP VÀO LOẠT ỨNG DỤNG CỦA META
Meta cho biết các mô hình Llama 3 — hiện có sẵn để tải xuống và hỗ trợ trợ lý Meta AI trên Facebook, Instagram, WhatsApp, Messenger và web. “Chúng tôi tin rằng Meta AI hiện là trợ lý AI thông minh nhất mà bạn có thể tự do sử dụng”, Giám đốc điều hành Meta Mark Zuckerberg cho biết trong thông báo.
Mô hình này cũng sẽ sớm được tích hợp vào trình quản lý trên nhiều nền tảng đám mây bao gồm AWS, Databricks, Google Cloud, Hugging Face, Kaggle, WatsonX của IBM, Microsoft Azure, NIM và Snowflake của Nvidia.
Mô hình ngôn ngữ lớn mới được Meta chọn lọc đào tạo từ dữ liệu của nhiều ngôn ngữ.
Meta không tiết lộ chi tiết cụ thể về loại dữ liệu nào được sử dụng để đào tạo Llama 3, ngoài việc nhấn mạnh rằng mô hình được đào tạo dựa trên “nhiều loại dữ liệu công khai”, bao gồm các bài đăng công khai trên Facebook và Instagram.
Họ cho biết tập dữ liệu huấn luyện mới lớn gấp bảy lần so với tập dữ liệu được sử dụng để huấn luyện phiên bản trước đó, Llama 2 và bao gồm số lượng mã nhiều gấp bốn lần. Hơn 5% tập dữ liệu huấn luyện Llama 3 bao gồm “dữ liệu chất lượng cao từ 30 ngôn ngữ khác không phải tiếng anh”. Meta cũng cho biết họ đã tận dụng dữ liệu tổng hợp, tức là dữ liệu do AI tạo ra để tạo các tài liệu dài hơn.
“Chúng tôi nhận thấy rằng các thế hệ Llama trước đó rất giỏi trong việc xác định dữ liệu chất lượng cao, vì vậy chúng tôi đã sử dụng Llama 2 để xây dựng các bộ phân loại chất lượng văn bản”, Meta giải thích.
Meta cho biết họ đã phát triển các quy trình lọc dữ liệu mới để nâng cao chất lượng dữ liệu đào tạo mô hình, đồng thời phát triển cặp công cụ Llama Guard và CybersecEval để ngăn chặn việc lạm dụng và tạo văn bản không phù hợp từ Mô hình Llama 3 và những mô hình khác. Công ty cũng đang phát hành một công cụ mới, Code Shield, được thiết kế để phát hiện mã từ các mô hình AI tạo sinh có thể gây ra các lỗ hổng bảo mật.
Nóng cuộc đua AI tại Trung Đông: Quốc gia nào sẽ trở thành siêu cường công nghệ?
09:45, 19/04/2024
Cuộc thi “Hoa hậu AI” sẽ mở ra thời đại mới của kinh tế sáng tạo?
12:10, 18/04/2024
Lý giải nguyên nhân Google chậm chân trong cuộc đua trí tuệ nhân tạo với Microsoft và OpenAI
Trong bối cảnh kinh tế toàn cầu đang thay đổi nhanh chóng, các doanh nghiệp Việt Nam đang chứng kiến một cuộc cách mạng trong cách tiếp cận khách hàng và vận hành nhờ vào sự phát triển của trí tuệ nhân tạo (AI) và công nghệ số...
Đổi mới sáng tạo: Động lực cho phát triển bền vững
Hệ sinh thái đổi mới sáng tạo tại Việt Nam đang tăng tốc, khẳng định vị thế là một trong những thị trường năng động bậc nhất khu vực. Trước ngưỡng cửa của kỷ nguyên mới, doanh nghiệp Việt được kỳ vọng sẽ bứt phá với ba trụ cột “Thiên thời – Địa lợi – Nhân hòa”, chìa khóa để rút ngắn hành trình vươn tới tăng trưởng xanh và phát triển bền vững...
Việt Nam công bố 3 mạng lưới công nghệ chiến lược
Việc thành lập 3 Mạng lưới Đổi mới sáng tạo và chuyên gia ngành công nghệ chiến lược, bao gồm: Lượng tử (VNQuantum), An ninh mạng (ViSecurity) và Hàng không, vũ trụ, thiết bị bay không người lái (UAV Việt Nam) sẽ góp phần đưa Việt Nam tham gia sâu hơn vào chuỗi giá trị toàn cầu trong các ngành công nghệ cao, công nghệ chiến lược…
Chân dung nhà khoa học đã giúp Trung Quốc chinh phục không gian
Từ tham gia chế tạo tên lửa sơ khai, vệ tinh đầu tiên, đến tổng công trình sư của tàu vũ trụ Thần Châu (Shenzhou) – dự án giúp Trung Quốc trở thành quốc gia thứ ba trên thế giới (sau Liên Xô và Mỹ) đưa được người lên quỹ đạo, Qi Faren, là nhà khoa học đã dành một đời để gắn bó với ngành công nghệ hàng không vũ trụ nước này…
Đồng tiền số lớn thứ hai thế giới sắp giảm giá trong tháng 9?
Kể từ năm 2016, cứ sau khi tăng giá mạnh trong tháng 8, thì sang tháng 9, đồng tiền số lớn thứ hai thế giới, Ether (ETH) thường quay đầu giảm. Năm nay, liệu kịch bản có lặp lại?
Sáu giải pháp phát triển nhanh và bền vững ngành năng lượng
Việt Nam đang đứng trước cơ hội lớn để phát triển năng lượng xanh, sạch nhằm đảm bảo an ninh năng lượng và phát triển bền vững. Ông Nguyễn Ngọc Trung chia sẻ với Tạp chí Kinh tế Việt Nam/VnEconomy về sáu giải pháp để phát triển nhanh và bền vững ngành năng lượng nói chung và các nguồn năng lượng tái tạo, năng lượng mới nói riêng…
Nhân lực là “chìa khóa” phát triển điện hạt nhân thành công và hiệu quả
Trao đổi với Tạp chí Kinh tế Việt Nam/VnEconomy, TS. Trần Chí Thành, Viện trưởng Viện Năng lượng nguyên tử Việt Nam, nhấn mạnh vấn đề quan trọng nhất khi phát triển điện hạt nhân ở Việt Nam là nguồn nhân lực, xây dựng năng lực, đào tạo nhân lực giỏi để tham gia vào triển khai, vận hành dự án...
Phát triển năng lượng tái tạo, xanh, sạch: Nền tảng cho tăng trưởng kinh tế trong dài hạn
Quốc hội đã chốt chỉ tiêu tăng trưởng kinh tế 8% cho năm 2025 và tăng trưởng hai chữ số cho giai đoạn 2026 – 2030. Để đạt được mục tiêu này, một trong những nguồn lực có tính nền tảng và huyết mạch chính là điện năng và các nguồn năng lượng xanh, sạch…
Nhà đầu tư điện gió ngoài khơi tại Việt Nam vẫn đang ‘mò mẫm trong bóng tối’
Trả lời VnEconomy bên lề Diễn đàn năng lượng xanh Việt Nam 2025, đại diện doanh nghiệp đầu tư năng lượng tái tạo nhận định rằng Chính phủ cần nhanh chóng ban hành các thủ tục và quy trình pháp lý nếu muốn nhà đầu tư nước ngoài rót vốn vào các dự án điện gió ngoài khơi của Việt Nam...
Tìm lộ trình hợp lý nhất cho năng lượng xanh tại Việt Nam
Chiều 31/3, tại Hà Nội, Hội Khoa học Kinh tế Việt Nam, Hiệp hội Năng lượng sạch Việt Nam chủ trì, phối hợp với Tạp chí Kinh tế Việt Nam tổ chức Diễn đàn Năng lượng Việt Nam 2025 với chủ đề: “Năng lượng xanh, sạch kiến tạo kỷ nguyên kinh tế mới - Giải pháp thúc đẩy phát triển nhanh các nguồn năng lượng mới”...
Thuế đối ứng của Mỹ có ảnh hướng thế nào đến chứng khoán?
Chính sách thuế quan mới của Mỹ, đặc biệt với mức thuế đối ứng 20% áp dụng từ ngày 7/8/2025 (giảm từ 46% sau đàm phán),
có tác động đáng kể đến kinh tế Việt Nam do sự phụ thuộc lớn vào xuất khẩu sang Mỹ (chiếm ~30% kim ngạch xuất khẩu).
Dưới đây là phân tích ngắn gọn về các ảnh hưởng chính: