AI agent tiêu thụ điện nhiều gấp 137 lần chatbot AI

Một nghiên cứu mới cho thấy AI agent, thế hệ trí tuệ nhân tạo có khả năng tự lập kế hoạch và thực hiện nhiều tác vụ phức tạp, tiêu thụ điện năng cho mỗi truy vấn cao gấp 137 lần chatbot AI truyền thống...

Ảnh minh hoạ.
Ảnh minh hoạ.

Theo nghiên cứu của nhóm chuyên gia thuộc Viện Khoa học và Công nghệ Tiên tiến Hàn Quốc (KAIST), khi AI agent ngày càng được ứng dụng rộng rãi để tự tìm kiếm thông tin, tính toán, điện năng tiêu thụ tại các trung tâm dữ liệu cũng có thể tăng mạnh, tạo thêm áp lực đối với hạ tầng tính toán.

Khác với chatbot AI chỉ phản hồi câu hỏi của người dùng rồi kết thúc phiên tương tác, AI agent được xây dựng trên nền tảng mô hình ngôn ngữ lớn (LLM) nhưng có khả năng tự chia nhỏ nhiệm vụ, lập kế hoạch thực hiện và chủ động sử dụng các công cụ bên ngoài như công cụ tìm kiếm, máy tính hay môi trường thực thi mã để hoàn thành mục tiêu được giao.

Chính khả năng tự phối hợp nhiều bước xử lý đã giúp AI agent nhanh chóng được ứng dụng trong phát triển phần mềm, hỗ trợ nghiên cứu khoa học, phân tích dữ liệu và tự động hóa quy trình làm việc.

Để đánh giá tác động của xu hướng này, nhóm nghiên cứu KAIST đã tiến hành phân tích định lượng chi phí tính toán, thời gian phản hồi, mức tiêu thụ điện năng và nhu cầu năng lượng của các trung tâm dữ liệu khi vận hành AI agent.

Kết quả cho thấy AI agent phải gọi mô hình ngôn ngữ lớn trung bình nhiều hơn 9,2 lần so với phương pháp suy luận từng bước truyền thống. Nguyên nhân là trong quá trình xử lý một yêu cầu, hệ thống liên tục đánh giá lại kết quả, gọi thêm công cụ hỗ trợ và điều chỉnh kế hoạch trước khi đưa ra câu trả lời cuối cùng.

Việc phải thực hiện nhiều vòng suy luận cũng khiến thời gian phản hồi tăng lên. Trong một số trường hợp, AI agent mất thời gian tạo câu trả lời lâu hơn tới 154 lần so với chatbot AI thông thường.

Một phát hiện đáng chú ý khác là trong thời gian AI agent gọi và chờ các công cụ bên ngoài xử lý, bộ xử lý đồ họa (GPU) gần như không thực hiện tính toán trong khoảng 55% tổng thời gian vận hành. Điều này cho thấy hiệu suất sử dụng GPU giảm đáng kể khi khối lượng công việc trở nên phức tạp hơn, làm gia tăng sự lãng phí tài nguyên tính toán.

Sự khác biệt về năng lượng tiêu thụ cũng rõ rệt hơn khi đánh giá trên các mô hình AI quy mô lớn. Với mô hình ngôn ngữ có 70 tỷ tham số, AI agent tiêu thụ trung bình 348 Wh điện cho mỗi truy vấn, cao gấp 137 lần so với chatbot AI truyền thống chỉ thực hiện tác vụ hỏi - đáp.

Theo Giáo sư Yoo Minsoo, nghiên cứu này lần đầu tiên lượng hóa được cái giá phải trả cho sự thông minh ngày càng tăng của AI. "Kết quả cho thấy AI không chỉ trở nên thông minh hơn mà còn đòi hỏi lượng tài nguyên tính toán và năng lượng lớn hơn rất nhiều để vận hành và duy trì khả năng đó", ông nhận định.

Trong bối cảnh các công ty công nghệ đang chạy đua phát triển AI agent có khả năng thay thế con người trong nhiều công việc, tối ưu hiệu quả năng lượng sẽ trở thành yếu tố quan trọng không kém việc nâng cao năng lực của mô hình. Nếu không giải quyết được bài toán này, sự bùng nổ của AI agent có thể khiến nhu cầu điện năng của các trung tâm dữ liệu tăng nhanh hơn nhiều so với dự báo hiện nay.

TP. Hồ Chí Minh đề xuất hỗ trợ doanh nghiệp thuê chuyên gia mức tối đa 60 triệu đồng/tháng

Để đáp ứng nhu cầu nhân lực cho các lĩnh vực chip bán dẫn, trí tuệ nhân tạo (AI) và công nghệ số trọng điểm, TP. Hồ Chí Minh đề xuất hỗ trợ doanh nghiệp thuê chuyên gia với mức tối đa 60 triệu đồng/người/tháng, đồng thời thúc đẩy các chương trình đào tạo nhân lực chất lượng cao đạt chuẩn quốc tế cho giai đoạn phát triển mới...

Dưới tác động của biến đối khi hậu, tình trạng thời tiết, thiên tai diễn biến bất thường, cực đoan hơn, đòi hỏi công tác dự báo, cảnh báo sớm, giúp các ngành, địa phương và người dân chủ động ứng phó, giảm thiểu thiệt hại. Đặc biệt với các hiện tượng khí hậu như El Nino, ông Hoàng Đức Cường cho rằng khi nhận diện sớm nguy cơ, dự báo cảnh báo sớm sẽ giúp có thời gian chủ động lên kế hoạch sớm, có các giải pháp ứng phó, góp phần giảm thiểu ảnh hưởng, tác động đến hoạt động sản xuất và đời sống sinh hoạt của người dân.

VnEconomy Interactive

VnEconomy Interactive

Interactive là một sản phẩm báo chí mới của VnEconomy vừa được ra mắt bạn đọc từ đầu tháng 3/2023 đã gây ấn tượng mạnh với độc giả bởi sự mới lạ, độc đáo. Đây cũng là sản phẩm độc quyền chỉ có trên...

VnEconomy
VnEconomy