Chi phí đào tạo rẻ và tiết kiệm năng lượng
Tháng trước, DeepSeek đã khiến mọi người kinh ngạc khi tuyên bố rằng mô hình AI của họ chỉ sử dụng khoảng một phần mười lượng công suất tính toán so với mô hình Llama 3.1 của Meta, làm đảo lộn toàn bộ quan điểm của thế giới về năng lượng và tài nguyên cần thiết để phát triển AI.
Tuyên bố của DeepSeek khiến mọi người phải đánh giá lại tác động của AI lên môi trường. Các gã khổng lồ công nghệ vốn đang xây dựng các trung tâm dữ liệu AI khổng lồ, với kế hoạch sử dụng nhiều điện như các thành phố nhỏ. Việc tạo ra nhiều điện như vậy sẽ chiếm dụng tài nguyên năng lượng, làm trầm trọng thêm biến đổi khí hậu và làm chất lượng không khí xấu đi.
Giảm lượng năng lượng cần thiết để đào tạo và chạy các mô hình AI tạo sinh có thể làm giảm bớt phần lớn nguy cơ tác động xấu đến môi trường.
Sự ồn ào xung quanh DeepSeek bắt đầu với việc phát hành mô hình V3 vào tháng 12, chỉ tốn 5,6 triệu USD cho chi phí đào tạo AI và 2,78 triệu giờ GPU để đào tạo trên các chip H800 cũ hơn của NVIDIA, theo báo cáo kỹ thuật từ công ty.
Để so sánh, ứng dụng Llama 3.1 405B của Meta mặc dù sử dụng chip H100 mới hơn, hiệu quả hơn nhưng mất khoảng 30,8 triệu giờ GPU để đào tạo. Ước tính chi phí đào tạo cho Llama 3.1 405B là khoảng 60 triệu USD và từ 100 triệu đến 1 tỷ USD cho các mô hình tương đương.
DeepSeek cho biết họ có thể cắt giảm lượng điện tiêu thụ bằng cách sử dụng các phương pháp đào tạo hiệu quả hơn. Về mặt kỹ thuật, họ sử dụng chiến lược chọn lọc các phần của mô hình được đào tạo - không phải đào tạo toàn bộ mô hình cùng một lúc.
Mô hình cũng tiết kiệm năng lượng khi thực hiện suy luận. Phương pháp suy luận của DeepSeek tương tự như tham chiếu các thẻ chỉ mục với các phần tóm tắt chi tiết các chương của cuốn sách, thay vì phải đọc toàn bộ cuốn sách đã được tóm tắt, Madalsa Singh, nghiên cứu viên sau tiến sĩ tại Đại học California, Santa Barbara, người nghiên cứu về hệ thống năng lượng giải thích.
Các mô hình của DeepSeek chủ yếu là mã nguồn mở, trừ dữ liệu đào tạo. Với cách tiếp cận này, các nhà nghiên cứu có thể học hỏi lẫn nhau nhanh hơn và mở ra cánh cửa cho những người chơi nhỏ hơn tham gia vào ngành AI.
Vẫn còn những hoài nghi về hiệu quả của DeepSeek
"Chúng tôi đã đào sâu vào DeepSeek, nhưng rất khó để tìm thấy bất kỳ thông tin cụ thể nào về mức tiêu thụ năng lượng của chương trình", Carlos Torres Diaz, giám đốc nghiên cứu năng lượng tại Rystad Energy nói.
Nếu những gì DeepSeek tuyên bố về mức sử dụng năng lượng của mình là đúng, điều đó có thể cắt giảm tổng mức tiêu thụ năng lượng của một trung tâm dữ liệu, ông Torres Diaz viết.
Hiện nay, các công ty công nghệ lớn đã ký một loạt các thỏa thuận để mua năng lượng tái tạo. Nhu cầu điện tăng cao từ các trung tâm dữ liệu có nguy cơ hút cạn các nguồn năng lượng điện mặt trời và điện gió từ lưới điện.
Theo ông Torres Diaz, việc giảm mức tiêu thụ điện của AI sẽ giúp nhiều năng lượng tái tạo hơn có sẵn cho các lĩnh vực khác, giúp thay thế nhanh hơn việc sử dụng nhiên liệu hóa thạch.
Trung Quốc hiện đang lấy hơn 60% điện từ than đá và 3% khác đến từ khí đốt. Mỹ cũng lấy khoảng 60% điện từ nhiên liệu hóa thạch, nhưng phần lớn trong số đó đến từ khí đốt - loại nhiên liệu tạo ra ít ô nhiễm carbon dioxide hơn so với than đá.
Điều đáng ngại là các công ty năng lượng đang trì hoãn việc ngừng hoạt động của các nhà máy điện nhiên liệu hóa thạch tại Mỹ để đáp ứng nhu cầu tăng vọt từ các trung tâm dữ liệu. Một số thậm chí còn có kế hoạch xây dựng các nhà máy khí đốt mới.
Các trung tâm dữ liệu cũng ngốn rất nhiều nước để giữ cho phần cứng không bị quá nhiệt, điều này có thể dẫn đến nguy cơ hạn hán ở các khu vực ít nguồn nước.
Theo báo cáo tháng 12 từ Phòng thí nghiệm Lawrence Berkeley, các trung tâm dữ liệu đã tiêu thụ hơn 4% điện năng ở Mỹ vào năm 2023 và con số đó có thể tăng gần gấp ba lần lên khoảng 12% vào năm 2028.
Theo Theverge
