Startup Ấn Độ ra mắt nền tảng AI không cần GPU

Hoàng Hà
Chia sẻ

Bud Runtime cho phép các tổ chức tận dụng hạ tầng phần cứng hiện có – chủ yếu là CPU – để triển khai các mô hình AI mà không cần phụ thuộc vào GPU...

Các mô hình GenAI thường yêu cầu GPU chuyên dụng, vốn không chỉ đắt tiền mà còn khan hiếm do nhu cầu toàn cầu tăng cao.
Các mô hình GenAI thường yêu cầu GPU chuyên dụng, vốn không chỉ đắt tiền mà còn khan hiếm do nhu cầu toàn cầu tăng cao.

Bud Ecosystem, một công ty khởi nghiệp nghiên cứu trí tuệ nhân tạo sáng tạo (GenAI) đến từ Ấn Độ, vừa công bố Bud Runtime, một giải pháp tiên phong cho phép triển khai các mô hình AI sáng tạo trên hạ tầng dựa trên CPU. Giải pháp này không chỉ giúp giảm đáng kể chi phí mà còn tăng khả năng tiếp cận công nghệ GenAI, đặc biệt cho các tổ chức không đủ nguồn lực để đầu tư vào các đơn vị xử lý đồ họa (GPU) đắt đỏ.

GIẢI QUYẾT THÁCH THỨC CHI PHÍ VÀ MÔI TRƯỜNG

Với sự bùng nổ của GenAI, chi phí tài chính và tác động môi trường của việc triển khai các mô hình AI ngày càng trở thành rào cản lớn. Các mô hình GenAI thường yêu cầu GPU chuyên dụng, vốn không chỉ đắt tiền mà còn khan hiếm do nhu cầu toàn cầu tăng cao. Bud Runtime ra đời để giải quyết vấn đề này, cho phép các tổ chức tận dụng hạ tầng phần cứng hiện có – chủ yếu là CPU – để triển khai các mô hình AI mà không cần phụ thuộc vào GPU.

Nền tảng này hỗ trợ suy luận trên CPU (CPU inference) bên cạnh các loại phần cứng khác như GPU, HPU (Habana Processing Unit), TPU (Tensor Processing Unit), và NPU (Neural Processing Unit) từ các nhà cung cấp hàng đầu như Nvidia, Intel, AMD, và Huawei. Điểm nổi bật của Bud Runtime là tính năng heterogeneous cluster parallelism, cho phép phân phối khối lượng công việc AI trên các môi trường phần cứng hỗn hợp. Điều này không chỉ giúp mở rộng quy mô dễ dàng mà còn giảm áp lực lên nguồn cung GPU khan hiếm.

Chia sẻ về quá trình phát triển, Jithin VG, Giám đốc điều hành của Bud Ecosystem, cho biết: “Chúng tôi bắt đầu hành trình GenAI vào đầu năm 2023 và nhanh chóng nhận ra chi phí cao của GPU là một rào cản lớn”.

Để vượt qua thách thức này, đội ngũ Bud Ecosystem đã xây dựng phiên bản đầu tiên của Bud Runtime, được thiết kế để chạy các mô hình AI nhỏ trên hạ tầng hiện có. Họ cũng tối ưu hóa để hỗ trợ các mô hình tầm trung trên CPU và đảm bảo khả năng tương thích với phần cứng từ nhiều nhà sản xuất, bao gồm Nvidia, AMD, Intel, và Huawei. Nhờ đó, Bud Runtime mang lại một giải pháp linh hoạt, phù hợp với nhiều loại hình tổ chức, từ startup đến viện nghiên cứu.

Một trong những lợi thế lớn nhất của Bud Runtime là chi phí triển khai thấp. Các công ty có thể bắt đầu dự án GenAI với mức chi phí chỉ từ 200 USD/tháng, thấp hơn đáng kể so với các giải pháp dựa trên GPU truyền thống. Điều này đặc biệt có ý nghĩa với các startup và tổ chức nghiên cứu, vốn thường bị loại khỏi cuộc chơi AI do chi phí cao.

HỢP TÁC VỚI CÁC ÔNG LỚN CÔNG NGHỆ

Sự ra mắt của Bud Runtime là kết quả của những nỗ lực hợp tác lâu dài giữa Bud Ecosystem và các gã khổng lồ công nghệ như Intel, Microsoft, Infosys và LTIM. Trong 18 tháng qua, Bud Ecosystem đã làm việc chặt chẽ với Intel để tối ưu hóa suy luận GenAI trên CPU Intel Xeon và bộ tăng tốc Gaudi. Sự hợp tác này không chỉ giúp nâng cao hiệu suất của Bud Runtime mà còn củng cố vị thế của công ty trong lĩnh vực AI sáng tạo.

Linson Joseph, Giám đốc chiến lược của Bud Ecosystem, cho biết công ty muốn “dân chủ hóa GenAI” trên quy mô lớn bằng cách biến AI thành hàng hóa (commoditization). “Điều này chỉ khả thi nếu chúng ta sử dụng phần cứng thông dụng để triển khai GenAI một cách rộng rãi”, Giám đốc chiến lược Linson Joseph cho biết.

Tầm nhìn của Bud Ecosystem không chỉ dừng lại ở việc giảm chi phí mà còn hướng tới việc làm cho GenAI trở nên dễ tiếp cận hơn, đặc biệt ở các thị trường đang phát triển như Ấn Độ và các khu vực có nguồn lực hạn chế.

Theo Techcrunch, được thành lập với trọng tâm là nghiên cứu AI cơ bản, Bud Ecosystem đã đạt được nhiều bước tiến đáng kể trong các lĩnh vực như Kiến trúc transformer cho môi trường tài nguyên thấp; Mô hình suy luận lai (hybrid inference models) và Hệ thống AI phân tán (decentralized AI systems).

Công ty đã công bố nhiều bài nghiên cứu và phát hành hơn 20 mô hình mã nguồn mở, đóng góp tích cực cho cộng đồng AI toàn cầu. Đáng chú ý, Bud Ecosystem là công ty khởi nghiệp Ấn Độ duy nhất từng đứng đầu bảng xếp hạng LLM của Hugging Face với một mô hình có hiệu suất ngang ngửa GPT-3.5, khẳng định năng lực cạnh tranh với các gã khổng lồ công nghệ quốc tế.

Bud Runtime không chỉ là một giải pháp kỹ thuật mà còn là một bước tiến chiến lược để định hình lại cách các tổ chức tiếp cận GenAI. Bằng cách giảm sự phụ thuộc vào GPU và tận dụng phần cứng thông dụng, Bud Ecosystem đang mở ra cơ hội cho các doanh nghiệp nhỏ, viện nghiên cứu và các thị trường mới nổi tham gia vào cuộc cách mạng AI. Với mức chi phí thấp và khả năng tương thích đa dạng, nền tảng này hứa hẹn sẽ thúc đẩy sự đổi mới trong nhiều lĩnh vực, từ chăm sóc sức khỏe, giáo dục đến tài chính và logistics.

Sự hợp tác với các đối tác lớn như Intel và Microsoft, cùng với những thành tựu nghiên cứu ấn tượng, cho thấy Bud Ecosystem không chỉ là một công ty khởi nghiệp mà còn là một nhân tố quan trọng trong hệ sinh thái GenAI toàn cầu. Techcrunch cho rằng trong bối cảnh các công nghệ AI ngày càng trở nên thiết yếu, Bud Runtime có thể trở thành một công cụ thay đổi cuộc chơi, giúp GenAI không còn là sân chơi của những gã khổng lồ mà là tài sản chung của mọi tổ chức.

Tin liên quan

Khởi nghiệp

Hồ sơ Startup

Citigo là công ty công nghệ cung cấp những giải pháp đơn giản với chi phí tiết kiệm, giúp khách hàng nâng cao hiệu quả kinh doanh. Citigo hướng tới tầm nhìn trở thành công ty cung cấp giải pháp công nghệ cho doanh nghiệp phổ biến tại Đông Nam Á
ESBT là công ty hoạt động trọng lĩnh vực công nghệ thông tin, chúng tôi xây dựng những sản phẩm phần mềm cho cộng đồng và cung cấp dịch vụ phát triển phần mềm cho các doanh nghiệp
Lozi là một trong những ứng dụng thương mại điện tử được yêu thích nhất tại Việt Nam, kết nối hàng triệu người mua và người bán nhằm phục vụ nhu cầu mua bán trực tuyến ngày càng cao. Không chỉ là một cầu nối thương mại điện tử đáng tin cậy, Lozi còn cung cấp dịch vụ giao hàng nhanh chóng và tiện lợi chỉ trong 1 giờ, đem đến cho khách hàng những trải nghiệm mua sắm trực tuyến hiệu quả và tối ưu
Bắt nguồn từ mong muốn mang chất lượng dạy Tiếng Anh tại Trường Quốc tế đến với mọi học sinh Việt Nam, để các bạn nhỏ dù không có điều kiện kinh tế theo học tại các Trường Quốc Tế hay Trung Tâm đắt tiền vẫn có thể sử dụng Tiếng Anh tốt như người bản ngữ. Đây chính là hành trang chuẩn bị cho các em tương lai vươn ra thế giới. Chính vì lý do trên, đội ngũ sáng lập đã bắt tay vào xây dựng sản phẩm đầu tiên có tên “Chương trình học Tiếng Anh Online EDUPIA”.
Công ty TNHH SA-ACH định vị về lĩnh vững trồng rừng, phát triển gồm 3 loại cây và bốn tầng cây trên một hecta đất nhằm tạo hệ sinh thái bền vững, và nâng cao thu nhập cho bà con