Mô hình AI nguồn mở Llama 3 đủ mạnh để đưa Meta dẫn đầu cuộc đua AI
Hạ Chi
20/04/2024, 09:08
Meta mới đây đã ra mắt phiên bản cập nhật của mô hình Llama AI miễn phí, Llama 3. Hay chính xác hơn, gã khổng lồ này mới phát hành hai mô hình thuộc dòng Llama 3 mới, mô hình còn lại vẫn đang trong quá trình đào tạo…
Meta ra mắt mô hình nguồn mở Llama AI 3.
Hai mô hình mới – Llama 3 8B chứa 8 tỷ tham số và Llama 3 70B chứa 70 tỷ tham số, là “bước nhảy vọt lớn” về mô hình ngôn ngữ lớn của Meta. Mô hình Llama 3 còn lại với kích thước hơn 400 tỷ tham số vẫn đang được gã khổng lồ đào tạo. Mô hình này được tiết lộ có khả năng “giao tiếp bằng nhiều ngôn ngữ”, thu thập nhiều dữ liệu hơn và hiểu nhiều phương thức khác bên cạnh văn bản...
Meta viết trong một bài đăng trên blog: “Mục tiêu của chúng tôi trong tương lai gần là làm cho Llama 3 trở nên đa ngôn ngữ và đa phương thức, có khả năng hiểu ngữ cảnh dài hơn và tiếp tục cải thiện hiệu suất tổng thể trên các mô hình ngôn ngữ lớn cốt lõi như lý luận và mã hóa”.
Theo công bố của Meta, Llama 3 8B vượt trội hơn các mô hình mở khác như Mistral 7B của Mistral và Gemma 7B của Google, trên ít nhất chín tiêu chuẩn AI: MMLU (lượng kiến thức), ARC (khả năng tiếp thu), DROP (khả năng lý luận), GPQA (kiến thức vật lý và hóa học), HumanEval (bài kiểm tra tạo mã), GSM-8K (bài toán đố), MATH (một chuẩn mực toán học khác), AGIEval (bộ bài kiểm tra giải quyết vấn đề) và BIG-Bench Hard (đánh giá lý luận thông thường). Trong khi đó, Llama 3 70B đánh bại Gemini 1.5 Pro trên các tiêu chuẩn MMLU, HumanEval và GSM-8K.
Mặc dù vậy, theo Techcrunch, tính hữu ích của các tiêu chuẩn này vẫn còn đang được tranh luận. Nhưng dù sao, chúng vẫn là một trong những tiêu chuẩn để các công ty AI như Meta đánh giá mô hình của họ.
THỊ TRƯỜNG MÔ HÌNH AI KHÔNG NGỪNG BIẾN ĐỘNG
Meta được các nhà quan sát đánh giá là một trong những Big Tech dẫn đầu trong việc sẵn sàng chi tiêu cho việc đào tạo và chạy các mô hình nguồn mở. Vào tháng 1, Mark Zuckerberg thông tin Meta đang chi hàng tỷ USD cho chip Nvidia AI, đến cuối năm 2024, cơ sở hạ tầng máy tính của công ty sẽ bao gồm 350.000 chiếc H100. Xong, Meta vẫn cam kết cung cấp trải nghiệm miễn phí các mô hình cho người dùng.
"Meta không tiết lộ chi tiết cụ thể về loại dữ liệu nào được sử dụng để đào tạo Llama 3, ngoài việc nhấn mạnh rằng mô hình được đào tạo dựa trên “nhiều loại dữ liệu công khai”, bao gồm các bài đăng công khai trên Facebook và Instagram".
Thế nhưng thị trường mô hình mở cũng đang dần sôi động với sự xuất hiện của Mistral. Mistral có trụ sở tại Paris, được sáng lập bởi các cựu nhà nghiên cứu của Meta. Công ty này đã tạo ra cú nổ đầu tiên vào tháng 6/2023, sau đó tiếp tục tích cực phát hành nhiều mô hình nguồn mở và được đón nhận nồng nhiệt.
Trong khi đó, các mô hình độc quyền do OpenAI, Google và Anthropic ngày càng nâng cấp thêm nhiều khả năng hơn. Hai tháng trước, Google đã phát hành Gemma, các mô hình mở được xây dựng từ nghiên cứu và công nghệ tương tự như Gemini độc quyền của hãng.
Bên cạnh đó, cuộc “đi săn” nhân tài AI tiếp tục nóng lên, với sự cạnh tranh khốc liệt giữa các nhà nghiên cứu hàng đầu và nhiều cựu kỹ sư của Big Tech nhảy việc thành lập công ty khởi nghiệp của riêng họ. Thời gian gần đây, Fortune đưa tin Meta đã chảy máu chất xám AI, khi một số lãnh đạo cấp cao, bao gồm cả giám đốc cấp cao về AI tạo sinh đã rời đi.
LLAMA 3 SẼ ĐƯỢC TÍCH HỢP VÀO LOẠT ỨNG DỤNG CỦA META
Meta cho biết các mô hình Llama 3 — hiện có sẵn để tải xuống và hỗ trợ trợ lý Meta AI trên Facebook, Instagram, WhatsApp, Messenger và web. “Chúng tôi tin rằng Meta AI hiện là trợ lý AI thông minh nhất mà bạn có thể tự do sử dụng”, Giám đốc điều hành Meta Mark Zuckerberg cho biết trong thông báo.
Mô hình này cũng sẽ sớm được tích hợp vào trình quản lý trên nhiều nền tảng đám mây bao gồm AWS, Databricks, Google Cloud, Hugging Face, Kaggle, WatsonX của IBM, Microsoft Azure, NIM và Snowflake của Nvidia.
Mô hình ngôn ngữ lớn mới được Meta chọn lọc đào tạo từ dữ liệu của nhiều ngôn ngữ.
Meta không tiết lộ chi tiết cụ thể về loại dữ liệu nào được sử dụng để đào tạo Llama 3, ngoài việc nhấn mạnh rằng mô hình được đào tạo dựa trên “nhiều loại dữ liệu công khai”, bao gồm các bài đăng công khai trên Facebook và Instagram.
Họ cho biết tập dữ liệu huấn luyện mới lớn gấp bảy lần so với tập dữ liệu được sử dụng để huấn luyện phiên bản trước đó, Llama 2 và bao gồm số lượng mã nhiều gấp bốn lần. Hơn 5% tập dữ liệu huấn luyện Llama 3 bao gồm “dữ liệu chất lượng cao từ 30 ngôn ngữ khác không phải tiếng anh”. Meta cũng cho biết họ đã tận dụng dữ liệu tổng hợp, tức là dữ liệu do AI tạo ra để tạo các tài liệu dài hơn.
“Chúng tôi nhận thấy rằng các thế hệ Llama trước đó rất giỏi trong việc xác định dữ liệu chất lượng cao, vì vậy chúng tôi đã sử dụng Llama 2 để xây dựng các bộ phân loại chất lượng văn bản”, Meta giải thích.
Meta cho biết họ đã phát triển các quy trình lọc dữ liệu mới để nâng cao chất lượng dữ liệu đào tạo mô hình, đồng thời phát triển cặp công cụ Llama Guard và CybersecEval để ngăn chặn việc lạm dụng và tạo văn bản không phù hợp từ Mô hình Llama 3 và những mô hình khác. Công ty cũng đang phát hành một công cụ mới, Code Shield, được thiết kế để phát hiện mã từ các mô hình AI tạo sinh có thể gây ra các lỗ hổng bảo mật.
Nóng cuộc đua AI tại Trung Đông: Quốc gia nào sẽ trở thành siêu cường công nghệ?
09:45, 19/04/2024
Cuộc thi “Hoa hậu AI” sẽ mở ra thời đại mới của kinh tế sáng tạo?
12:10, 18/04/2024
Lý giải nguyên nhân Google chậm chân trong cuộc đua trí tuệ nhân tạo với Microsoft và OpenAI
Đưa Việt Nam tham gia lĩnh vực hàng không tầm thấp quy mô 700 tỷ USD vào năm 2035
Thị trường thiết bị bay không người lái (UAV) toàn cầu dự kiến có thể đạt 128 tỷ USD vào năm 2030 và 700 tỷ USD vào năm 2035. Đây là cơ hội để Việt Nam tham gia sâu hơn vào ngành công nghiệp chiến lược này…
Các tỷ phú công nghệ Mỹ "đua nhau" xây dựng thành phố riêng
Elon Musk, Mark Cuban, Mark Zuckerberg cùng nhiều tỷ phú công nghệ khác đang rót hàng trăm triệu USD để xây dựng các thị trấn và khu phức hợp tư nhân…
Chế độ, chính sách ưu đãi đặc biệt cho Tổng công trình sư, Kiến trúc sư trưởng khoa học công nghệ
Chính phủ vừa ban hành Nghị định số 231/2025/NĐ-CP quy định về tuyển chọn, sử dụng Tổng công trình sư, Kiến trúc sư trưởng về khoa học, công nghệ, đổi mới sáng tạo và chuyển đổi số quốc gia. Nghị định này có hiệu lực thi hành kể từ ngày 26/8…
Những mối lo xung quanh thương vụ Chính phủ Mỹ mua cổ phần Intel
Việc Chính phủ Mỹ nắm giữ cổ phần tại nhà sản xuất chip Intel khiến nhiều nhà đầu tư lo ngại rằng thỏa thuận này sẽ mở ra một kỷ nguyên mới với sự can thiệp của Washington vào khu vực kinh tế tư nhân...
Đà Nẵng sắp có trung tâm dữ liệu AI quy mô 200 triệu USD
Sáng 28/8, IPTP Networks - tập đoàn viễn thông và hạ tầng toàn cầu chính thức khởi động dự án Trung tâm Dữ liệu AIDC DeCenter tại Khu Công nghệ cao Đà Nẵng…
Sáu giải pháp phát triển nhanh và bền vững ngành năng lượng
Việt Nam đang đứng trước cơ hội lớn để phát triển năng lượng xanh, sạch nhằm đảm bảo an ninh năng lượng và phát triển bền vững. Ông Nguyễn Ngọc Trung chia sẻ với Tạp chí Kinh tế Việt Nam/VnEconomy về sáu giải pháp để phát triển nhanh và bền vững ngành năng lượng nói chung và các nguồn năng lượng tái tạo, năng lượng mới nói riêng…
Nhân lực là “chìa khóa” phát triển điện hạt nhân thành công và hiệu quả
Trao đổi với Tạp chí Kinh tế Việt Nam/VnEconomy, TS. Trần Chí Thành, Viện trưởng Viện Năng lượng nguyên tử Việt Nam, nhấn mạnh vấn đề quan trọng nhất khi phát triển điện hạt nhân ở Việt Nam là nguồn nhân lực, xây dựng năng lực, đào tạo nhân lực giỏi để tham gia vào triển khai, vận hành dự án...
Phát triển năng lượng tái tạo, xanh, sạch: Nền tảng cho tăng trưởng kinh tế trong dài hạn
Quốc hội đã chốt chỉ tiêu tăng trưởng kinh tế 8% cho năm 2025 và tăng trưởng hai chữ số cho giai đoạn 2026 – 2030. Để đạt được mục tiêu này, một trong những nguồn lực có tính nền tảng và huyết mạch chính là điện năng và các nguồn năng lượng xanh, sạch…
Nhà đầu tư điện gió ngoài khơi tại Việt Nam vẫn đang ‘mò mẫm trong bóng tối’
Trả lời VnEconomy bên lề Diễn đàn năng lượng xanh Việt Nam 2025, đại diện doanh nghiệp đầu tư năng lượng tái tạo nhận định rằng Chính phủ cần nhanh chóng ban hành các thủ tục và quy trình pháp lý nếu muốn nhà đầu tư nước ngoài rót vốn vào các dự án điện gió ngoài khơi của Việt Nam...
Tìm lộ trình hợp lý nhất cho năng lượng xanh tại Việt Nam
Chiều 31/3, tại Hà Nội, Hội Khoa học Kinh tế Việt Nam, Hiệp hội Năng lượng sạch Việt Nam chủ trì, phối hợp với Tạp chí Kinh tế Việt Nam tổ chức Diễn đàn Năng lượng Việt Nam 2025 với chủ đề: “Năng lượng xanh, sạch kiến tạo kỷ nguyên kinh tế mới - Giải pháp thúc đẩy phát triển nhanh các nguồn năng lượng mới”...
Thuế đối ứng của Mỹ có ảnh hướng thế nào đến chứng khoán?
Chính sách thuế quan mới của Mỹ, đặc biệt với mức thuế đối ứng 20% áp dụng từ ngày 7/8/2025 (giảm từ 46% sau đàm phán),
có tác động đáng kể đến kinh tế Việt Nam do sự phụ thuộc lớn vào xuất khẩu sang Mỹ (chiếm ~30% kim ngạch xuất khẩu).
Dưới đây là phân tích ngắn gọn về các ảnh hưởng chính: