Tạo AI biết suy luận với chi phí chưa đến 50 USD

15 giờ trướcBài gốc

S1, mô hình AI thách thức các ông lớn công nghệ với chi phí huấn luyện chưa đến 50 USD. Ảnh: PhoneWorld.

Trong một bài nghiên cứu công bố đầu tháng 2, các nhà nghiên cứu tại Stanford và Đại học Washington đã thành công huấn luyện một mô hình AI với chi phí dưới 50 USD, được thanh toán qua tiền tín dụng điện toán đám mây.

Mô hình này có tên là s1, hoạt động tương tự như các mô hình lý luận tiên tiến như o1 của OpenAI hay R1 của DeepSeek trong các bài kiểm tra đo lường khả năng toán học và lập trình. Mô hình s1 có sẵn trên GitHub, cùng với dữ liệu và mã nguồn đã được sử dụng để huấn luyện nó.

Nhóm nghiên cứu đằng sau s1 này cho biết họ đã bắt đầu với một mô hình cơ bản có sẵn, sau đó tinh chỉnh nó thông qua quá trình chuyển tải dữ liệu. Phương pháp dựa trên hoạt động "trích xuất" các câu trả lời từ một mô hình AI khác để huấn luyện cho mô hình của mình.

Cụ thể, họ đã trích xuất từ mô hình Gemini 2.0 Flash Thinking Experimental của Google. Phương pháp này tương tự với cách mà các nhà khoa học tại Berkeley đã dùng để huấn luyện mô hình Sky-T1 với chi phí chỉ 450 USD vào tháng trước. Tuy nhiên, Sky-T1 vẫn còn nhiều thiếu sót khi được hỏi những kiến thức thông thường.

Đối với một số người, việc một nhóm nhà nghiên cứu thành công phát triển mô hình AI mà không cần bỏ ra số tiền chục triệu USD là điều khá thú vị. Tuy nhiên, TechCruch đặt vấn đề về sự phổ thông hóa của trí tuệ nhân tạo. Nếu có thể sao chép gần như chính xác một mô hình trị giá hàng triệu USD chỉ với chi phí khá rẻ, thì các công ty lớn làm thế nào để duy trì lợi thế cạnh tranh?

Các phòng thí nghiệm AI lớn cũng không hài lòng với các mô hình giá rẻ này. OpenAI đã cáo buộc DeepSeek thu thập dữ liệu một cách không đúng đắn từ API của mình để phục vụ cho việc huấn luyện mô hình R1 của họ.

Trong khi đó, các nhà nghiên cứu của s1 cũng đang tìm phương pháp đơn giản mà đạt được hiệu suất cao nhất và tối ưu hóa quá trình “suy nghĩ” của AI trước khi đưa ra câu trả lời. Đây là một trong những đột phá từ o1 của OpenAI mà DeepSeek hay các nhà nghiên cứu AI khác đang thử nhiều cách để sao chép.

Bài giới thiệu về s1 đã cho biết mô hình sử dụng một quá trình gọi là fine-tuning có giám sát (SFT), trong đó s1 được chỉ dẫn rõ ràng để bắt chước các hành vi nhất định trong một tập dữ liệu. Đây cũng là phương pháp được dùng để huấn luyện R1 của DeepSeek.

S1 được phát triển dựa trên mô hình nhỏ có sẵn và tải xuống miễn phí từ phòng thí nghiệm AI Qwen thuộc sở hữu của Alibaba. Để huấn luyện s1, các nhà nghiên cứu đã tạo ra một tập dữ liệu chỉ gồm 1.000 câu hỏi được chọn lọc kỹ lưỡng, kèm theo câu trả lời từ mô hình Gemini 2.0 Flash Thinking Experimental của Google.

Tuy nhiên, các điều khoản của Google cấm việc giải mã ngược các mô hình của họ để phát triển các dịch vụ cạnh tranh với các sản phẩm AI mà công ty cung cấp. Hiện tại, Google chưa có phản hồi về sự việc này.

Theo các nhà nghiên cứu, chỉ sau 30 phút với 16 GPU Nvidia H100, s1 đạt được hiệu suất mạnh mẽ dựa trên một số tiêu chuẩn của AI. Một trong số đó là Niklas Muennighoff, cho biết anh chỉ cần 20 USD để thuê tài nguyên tính toán cần thiết để huấn luyện mô hình của mình trong ngày.

Mặc dù sao chép được chứng minh là một phương pháp tốt để tái tạo mô hình AI với chi phí thấp, nó không tạo ra những mô hình AI mới vượt trội so với những gì có sẵn hiện nay.

Vào năm 2025, Meta, Google và Microsoft dự kiến sẽ đầu tư hàng trăm tỷ USD vào cơ sở hạ tầng AI, một phần trong số đó sẽ được dùng để huấn luyện các mô hình AI thế hệ tiếp theo.

Nhật Tường

Nguồn Znews : https://znews.vn/tao-ai-biet-suy-luan-voi-chi-phi-chua-den-50-usd-post1529808.html