Cận cảnh “siêu công trình” hạ tầng AI thế hệ mới với NVIDIA HGX B300

FPT sẵn sàng cung cấp dịch vụ GPU Cloud sử dụng NVIDIA HGX B300 trên FPT AI Factory, mở ra nền tảng hạ tầng AI thế hệ mới cho doanh nghiệp, tổ chức và các nhà phát triển AI.

Hạ tầng AI mới của FPT AI Factory sử dụng NVIDIA HGX B300 với 8 card GPU NVIDIA Blackwell Ultra. Mỗi GPU sở hữu bộ nhớ 288 GB, mang lại tổng dung lượng lên tới 2.1 TB mỗi node, cho phép triển khai các mô hình hàng nghìn tỷ tham số, AI đa phương thức và các ứng dụng xử lý ngữ cảnh dài với hiệu quả cao hơn.

Hạ tầng GPU Cloud thế hệ mới dành cho AI suy luận và tạo sinh quy mô lớn. Ảnh: FPT.
Hạ tầng GPU Cloud thế hệ mới dành cho AI suy luận và tạo sinh quy mô lớn. Ảnh: FPT.

So với thế hệ NVIDIA Blackwell trước đó, NVIDIA HGX B300 mang lại hiệu năng cao hơn tới 1.5 lần, giúp tăng tốc cả huấn luyện lẫn suy luận AI. Nhờ đó, doanh nghiệp có thể rút ngắn thời gian triển khai mô hình, phục vụ nhiều người dùng hơn và tối ưu chi phí vận hành.

Nền tảng có thể giúp giảm tới 66% chi phí suy luận AI, giảm 49% chi phí huấn luyện và cải thiện gần 3 lần hiệu quả chi phí trên mỗi token. Bên cạnh hiệu năng, hệ thống cũng được xây dựng với tiêu chuẩn bảo mật doanh nghiệp, độ ổn định cao và đội ngũ kỹ sư hỗ trợ chuyên sâu.

Cải thiện tới 2.95x hiệu quả chi phí trên mỗi token. Ảnh: FPT.
Cải thiện tới 2.95x hiệu quả chi phí trên mỗi token. Ảnh: FPT.

Nền công nghiệp AI đang bước sang giai đoạn mới, khi trọng tâm không còn chỉ là huấn luyện mô hình mà chuyển mạnh sang suy luận AI (AI inference) - quá trình AI tạo phản hồi và xử lý yêu cầu của người dùng theo thời gian thực. Điều này kéo theo nhu cầu xử lý khối lượng token lớn với tốc độ nhanh, độ trễ thấp và chi phí tối ưu.

Trong bối cảnh đó, hạ tầng điện toán cần được cải tiến để đáp ứng “nền kinh tế token”, nơi hiệu suất AI được đo bằng tốc độ sinh token, thời gian phản hồi và chi phí trên mỗi token. Việc tích hợp NVIDIA HGX B300 giúp FPT AI Factory vận hành như một “AI Token Factory”, hỗ trợ các tổ chức nâng cao năng lực AI suy luận với hiệu suất cao và chi phí tối ưu.

Khẳng định vị trí tiên phong làm chủ công nghệ AI Cloud tại Việt Nam và trong khu vực. Ảnh: FPT.
Khẳng định vị trí tiên phong làm chủ công nghệ AI Cloud tại Việt Nam và trong khu vực. Ảnh: FPT.

FPT AI Factory là đơn vị đầu tiên tại Việt Nam đưa NVIDIA HGX B300 vào vận hành, cung cấp hạ tầng AI hiện đại theo chuẩn quốc tế, phục vụ nghiên cứu, phát triển và ứng dụng AI quy mô lớn. Trước đó, FPT AI Factory tiên phong cung cấp các dịch vụ GPU Cloud với NVIDIA HGX H100 và HGX H200, phục vụ hơn 18.000 nhà phát triển và kỹ sư AI từ các doanh nghiệp, tổ chức nghiên cứu và giáo dục trên toàn cầu.

* Tìm hiểu thêm tại factory.fpt.ai.

Đọc bài theo từ khoá

Doanh nghiệp ngoài nhà nước và FDI đang tạo việc làm lớn nhất cả nước

Bức tranh tổng thể kinh tế năm 2026 cho thấy xu hướng chuyển dịch rõ rệt giữa khu vực Doanh nghiệp và Kinh tế cá thể. Ở khu vực Doanh nghiệp tăng trưởng nhanh về số lượng, thu hút và phát triển lực lượng lao động lớn thì ở khu vực Kinh tế cá thể tốc độ tăng quy mô lại có xu hướng chậm lại, tỷ trọng lao động có sự dịch chuyển.

Đề xuất giám sát chặt tiền ký quỹ để bảo vệ quyền lợi người lao động

Cho thuê lại lao động là lĩnh vực tiềm ẩn rủi ro về tiền lương, bảo hiểm xã hội, do đó, Sở Nội vụ Bắc Ninh nhấn mạnh cần khai thác thực chất cơ chế tiền ký quỹ để bảo vệ người lao động. Khi phát hiện doanh nghiệp vi phạm quyền lợi của người lao động thuê lại, Sở Nội vụ cần theo dõi chặt chẽ các mốc thời gian xử lý tiền ký quỹ…

Dưới tác động của biến đối khi hậu, tình trạng thời tiết, thiên tai diễn biến bất thường, cực đoan hơn, đòi hỏi công tác dự báo, cảnh báo sớm, giúp các ngành, địa phương và người dân chủ động ứng phó, giảm thiểu thiệt hại. Đặc biệt với các hiện tượng khí hậu như El Nino, ông Hoàng Đức Cường cho rằng khi nhận diện sớm nguy cơ, dự báo cảnh báo sớm sẽ giúp có thời gian chủ động lên kế hoạch sớm, có các giải pháp ứng phó, góp phần giảm thiểu ảnh hưởng, tác động đến hoạt động sản xuất và đời sống sinh hoạt của người dân.

VnEconomy Interactive

VnEconomy Interactive

Interactive là một sản phẩm báo chí mới của VnEconomy vừa được ra mắt bạn đọc từ đầu tháng 3/2023 đã gây ấn tượng mạnh với độc giả bởi sự mới lạ, độc đáo. Đây cũng là sản phẩm độc quyền chỉ có trên...

VnEconomy
VnEconomy