Khi AI bắt đầu biết cách tự tiến hóa, nâng cấp

4 giờ trướcBài gốc

Andrej Karpathy khám phá ra những khả năng mới của AI

Karpathy đã giao nhiệm vụ cho một tác tử lập trình AI (AI coding agent) tự động chạy hàng loạt thử nghiệm nhằm tìm ra cách tối ưu hóa quá trình huấn luyện của một mô hình ngôn ngữ nhỏ. Ông để hệ thống AI này tự vận hành liên tục trong hai ngày.

Trong khoảng thời gian đó, cỗ máy đã tự động tiến hành 700 thử nghiệm khác nhau và phát hiện ra 20 điểm tối ưu giúp rút ngắn thời gian huấn luyện.

Điều đáng kinh ngạc là khi Karpathy áp dụng chính 20 tinh chỉnh này vào một mô hình ngôn ngữ lớn hơn (dù vẫn thuộc dạng nhỏ so với tiêu chuẩn ngành), thời gian huấn luyện mô hình đã được tăng tốc thêm 11%. Karpathy tự hào gọi hệ thống do ông chế tạo ra để thực hiện quy trình này là "autoresearch" (tự động nghiên cứu).

Phát hiện này ngay lập tức được thế giới công nghệ kiểm chứng. Tobias Lütke - nhà đồng sáng lập kiêm Giám đốc điều hành của Shopify - chia sẻ trên X rằng, ông đã đưa hệ thống autoresearch vào thử nghiệm tối ưu hóa một mô hình AI với dữ liệu nội bộ của công ty. Lütke giao cho tác tử AI nhiệm vụ cải thiện cả chất lượng và tốc độ của mô hình. Kết quả là chỉ sau một đêm với 37 thử nghiệm tự động, hệ thống đã mang lại mức tăng hiệu suất lên tới 19%.

Bóng dáng của "trí tuệ bùng nổ" và bầy đàn AI tự nghiên cứu

Thứ thực sự thu hút sự chú ý của công chúng không chỉ là những con số phần trăm cải thiện, mà là việc khái niệm autoresearch đang tiến rất gần đến ý tưởng về các hệ thống AI có khả năng "tự nâng cấp" – một viễn cảnh vốn chỉ tồn tại trong các tác phẩm khoa học viễn tưởng. Đây là điều mà một số nhà nghiên cứu đang khao khát cháy bỏng, nhưng đồng thời cũng là nỗi khiếp sợ đối với nhiều người khác.

Mối quan ngại cốt lõi nằm ở khái niệm "tự cải thiện đệ quy" (recursive self-improvement). Theo đó, nếu một AI có thể liên tục tối ưu hóa mã nguồn và dữ liệu huấn luyện của chính nó theo một vòng lặp không hồi kết, nó có thể dẫn đến một kịch bản mà giới an toàn AI gọi là "cất cánh cứng" (hard takeoff) hoặc "bùng nổ trí tuệ" (intelligence explosion). Trong kịch bản này, AI sẽ nâng cấp năng lực của bản thân với tốc độ chóng mặt, vượt xa khả năng nhận thức của con người và hoàn toàn thoát khỏi tầm kiểm soát.

Tất nhiên, cuộc thử nghiệm của Karpathy chưa chạm đến mức độ đáng sợ đó. Tác tử AI đóng vai trò trung tâm trong hệ thống autoresearch không tự tinh chỉnh bộ máy huấn luyện của chính mình; nó chỉ đang điều chỉnh mã nguồn và các thiết lập mạng nơ-ron ban đầu cho một mô hình AI khác, nhỏ bé và kém tinh vi hơn rất nhiều.

Thế nhưng, Karpathy hoàn toàn có lý khi nhận định rằng cuộc thử nghiệm này mang những hàm ý to lớn đối với cách các phòng thí nghiệm tiến hành nghiên cứu trong tương lai, và nó chắc chắn sẽ đẩy nhanh tốc độ phát triển của toàn ngành.

Karpathy viết trên X: "Tất cả các phòng thí nghiệm mô hình ngôn ngữ lớn (LLM) hàng đầu rồi sẽ làm điều này. Đây chính là trận chiến trùm cuối". Ông thừa nhận rằng mọi thứ sẽ phức tạp hơn rất nhiều khi mở rộng quy mô. Hệ thống autoresearch của ông chỉ phải xử lý một mô hình và quy trình huấn luyện gói gọn trong 630 dòng mã Python, trong khi cơ sở mã của các mô hình AI tối tân hiện nay lớn hơn gấp nhiều lần.

Karpathy viết tiếp: "Nhưng việc thực hiện nó rốt cuộc chỉ là vấn đề 'kỹ thuật phần mềm' và chắc chắn nó sẽ hiệu quả. Bạn tạo ra một bầy đàn các tác tử, cho chúng hợp tác để tinh chỉnh các mô hình nhỏ, sau đó đưa những ý tưởng hứa hẹn nhất lên các quy mô ngày càng lớn, và con người (nếu muốn) chỉ cần đóng góp ở các khâu ngoài rìa".

Karpathy hình dung rằng trong tương lai, hệ thống sẽ không chỉ có một tác tử đơn độc đi theo một con đường tối ưu hóa duy nhất. Sẽ có vô số tác tử AI khám phá các thử nghiệm khác nhau song song. Mục tiêu tối thượng không phải là tạo ra một bản sao của một nghiên cứu sinh tiến sĩ, mà là mô phỏng lại toàn bộ một cộng đồng nghiên cứu quy mô lớn.

Đặc biệt, bất kỳ một chỉ số đo lường nào có thể đánh giá được một cách khách quan đều có thể trở thành mục tiêu để hệ thống bầy đàn AI này tự động nghiên cứu và tìm cách phá vỡ giới hạn.

"Vòng lặp Karpathy" và cuộc tranh luận nảy lửa với di sản AutoML

Nhìn từ góc độ kỹ thuật, nhiều nhà bình luận chỉ ra rằng các thành phần cơ bản của hệ thống autoresearch có thể được ứng dụng rộng rãi để tối ưu hóa vô số quy trình khác.

Janakiram MSV - nhà phân tích trưởng tại Janakiram & Associates - đã gọi cơ chế này trên tạp chí The New Stack là "Vòng lặp Karpathy". Vòng lặp này bao gồm ba trụ cột: một tác tử được cấp quyền truy cập để chỉnh sửa một tệp dữ liệu duy nhất; một thước đo mục tiêu có thể kiểm chứng khách quan để tác tử hướng tới; và một giới hạn thời gian cố định cho mỗi lần thử nghiệm.

Quan trọng hơn, bộ hướng dẫn mà Karpathy nạp vào hệ thống chính là khuôn mẫu hoàn hảo cho bất kỳ ai muốn tương tác hiệu quả với AI. Tệp văn bản tĩnh đó chứa đựng các chỉ thị minh bạch về những gì AI được làm, những ranh giới cấm kỵ không được phép chạm tới, và tiêu chí dừng lại rõ ràng để hệ thống biết khi nào nên kết thúc vòng lặp và báo cáo kết quả.

Tuy nhiên, không phải ai cũng hoàn toàn bị thuyết phục. Một số nhà phê bình cho rằng Karpathy thực chất chỉ đang "phát minh lại chiếc bánh xe". Họ so sánh autoresearch với AutoML – một quy trình tự động hóa đã được các kỹ sư tại Google, Microsoft và nhiều phòng thí nghiệm lớn sử dụng trong nhiều năm qua. AutoML cũng sử dụng một vòng lặp tối ưu hóa và hàng loạt thử nghiệm để tìm ra dữ liệu tốt nhất hoặc cấu trúc mô hình hoàn hảo nhất.

Đáp lại những hoài nghi này, Karpathy đã lên tiếng bảo vệ thành quả của mình một cách quyết liệt. Ông lập luận rằng các phương pháp AutoML truyền thống, chẳng hạn như tìm kiếm kiến trúc thần kinh (neural architecture search), hoạt động dựa trên các biến thể ngẫu nhiên hoặc thuật toán tiến hóa mù quáng. Theo ông, những phương pháp đó quá yếu ớt và "hoàn toàn vô dụng" nếu đem ra so sánh với autoresearch.

Hệ thống của Karpathy không tung xúc xắc; nó sử dụng một LLM thực thụ có khả năng suy luận, tự tay viết các đoạn mã lập trình phức tạp, đọc các bài báo nghiên cứu chuyên sâu, học hỏi từ chính những sai lầm trong các thử nghiệm trước đó và thậm chí có thể truy cập internet để tìm kiếm giải pháp.

Sự khác biệt giữa một hệ thống thử và sai ngẫu nhiên với một hệ thống AI biết suy luận và tự nghiên cứu giống như khoảng cách giữa mặt đất và bầu trời. Rõ ràng, chúng ta đang bước vào một kỷ nguyên mà giới hạn của trí tuệ nhân tạo sẽ do chính những cỗ máy tự mình bứt phá.

Bùi Tú

Nguồn Một Thế Giới : https://1thegioi.vn/khi-ai-bat-dau-biet-cach-tu-tien-hoa-nang-cap-248776.html