Theo nghiên cứu từ Tổ chức Đánh giá Mô hình & Nghiên cứu Rủi ro (METR), các nhà phát triển giàu kinh nghiệm sử dụng công cụ mã hóa AI mất thời gian lâu hơn 19% để hoàn thành nhiệm vụ so với những người không sử dụng hỗ trợ AI tạo sinh. Điều thú vị là ngay cả sau khi hoàn thành công việc, các nhà phát triển sử dụng AI vẫn không nhận ra chính xác mức độ hiệu quả của mình. Trung bình, họ vẫn nghĩ rằng năng suất tăng 20%.
Nghiên cứu cho thấy các trình chỉnh sửa mã nguồn AI khiến một số nhà phát triển giàu kinh nghiệm làm việc kém hiệu quả hơn.
Nghiên cứu của METR đã tuyển chọn 16 nhà phát triển có kinh nghiệm lâu năm làm việc trên các kho mã nguồn mở lớn. Họ được chia ngẫu nhiên thành hai nhóm: một nhóm được phép sử dụng công cụ hỗ trợ mã hóa AI và nhóm còn lại thì không. Những nhà phát triển sử dụng AI được tự do lựa chọn công cụ mã hóa mà họ muốn. Phần lớn chọn Cursor với Claude 3.5/3.7 Sonnet.
Kết quả cho thấy, những nhà phát triển không sử dụng AI dành hơn 10% thời gian để trực tiếp viết mã. Trong khi đó, các nhà phát triển sử dụng AI lại dành hơn 20% thời gian để xem xét kết quả đầu ra của AI, đặt câu hỏi cho AI, chờ đợi phản hồi từ AI hoặc không làm gì cả.
Nhà nghiên cứu Nate Rush của METR chia sẻ, ông sử dụng trình chỉnh sửa mã AI hàng ngày. Dù không đưa ra dự đoán chính thức về kết quả, ông Rush ghi chú những con số tích cực mà ông kỳ vọng nghiên cứu sẽ đạt được. Tuy nhiên, ông vẫn bất ngờ với kết quả tiêu cực này và cảnh báo không nên hiểu sai bối cảnh nghiên cứu.
"Kết quả chúng tôi ghi nhận phụ thuộc nhiều vào bối cảnh cụ thể của nghiên cứu. Những nhà phát triển có ít hơn 5-10 năm kinh nghiệm có thể sẽ cho kết quả khác", Rush cho biết, đồng thời nhấn mạnh việc ghi nhận bất kỳ sự chậm trễ nào đã là điều rất bất ngờ.
Ông Steve Newman, một doanh nhân kỳ cựu và đồng sáng lập Google Docs, đã mô tả kết quả nghiên cứu này trên Substack là "quá tệ để có thể tin được". Mặc dù vậy, sau khi phân tích kỹ lưỡng phương pháp nghiên cứu, ông đánh giá nghiên cứu này là đáng tin cậy. "Nghiên cứu này không cho thấy các công cụ mã hóa AI là vô dụng, nhưng nó nhắc nhở chúng ta rằng chúng vẫn có những hạn chế (ít nhất là vào thời điểm hiện tại)", ông Newman đánh giá.
Các nhà nghiên cứu của METR đã tìm thấy nhiều nguyên nhân dẫn đến sự sụt giảm năng suất này. Một yếu tố có thể là sự lạc quan thái quá: trước khi thực hiện nhiệm vụ, các nhà phát triển dự đoán rằng AI sẽ giúp giảm 24% thời gian thực hiện.
Đối với những nhà phát triển có tay nghề cao, việc tự làm những gì quen thuộc có thể vẫn nhanh hơn. Nghiên cứu của METR chỉ ra rằng các nhà phát triển sử dụng AI bị chậm lại khi xử lý các vấn đề mà họ đã quen thuộc. Họ cũng cho biết mức độ kinh nghiệm khiến AI khó hỗ trợ hiệu quả hơn.
Bên cạnh đó, AI có thể chưa đủ đáng tin cậy để tạo ra mã sạch và chính xác. Trong nghiên cứu, các nhà phát triển sử dụng AI chỉ chấp nhận chưa đến 44% mã do AI tạo ra và dành 9% thời gian để chỉnh sửa các đầu ra của AI.
Chuyên gia Ruben Bloom, một trong những nhà phát triển tham gia nghiên cứu, đã chia sẻ phản hồi trên X. Anh cho biết các trợ lý mã hóa đã phát triển đáng kể kể từ khi tham gia nghiên cứu vào tháng 2/2025. "Nếu kết quả này đúng tại thời điểm hiện tại, thì đó là một chuyện. Nhưng nếu mọi người vẫn trích dẫn nó sau ba tháng nữa, họ sẽ mắc sai lầm", Bloom viết.
Ông Rush thừa nhận mức giảm năng suất 19% chỉ là "đo lường tại một thời điểm" và muốn nghiên cứu thêm về con số này theo thời gian. Ông nhấn mạnh kết quả nghiên cứu cho thấy lợi ích năng suất từ AI có thể mang tính cá nhân hóa nhiều hơn dự đoán. "Với thông tin này, tôi cảm thấy muốn sử dụng AI một cách cẩn trọng hơn. Ở cấp độ cá nhân, các nhà phát triển này biết rõ tác động thực sự của AI đến năng suất và họ có thể đưa ra quyết định sáng suốt hơn", ông Rush cho biết.
Đức Bình