Công nghệ Thông tin – Ngày 2 tháng 1, 2025

1 – O3 của OpenAI cho thấy các mô hình AI đang mở rộng theo những cách mới - nhưng chi phí cũng vậy.

TechCrunch. Ngày 23 tháng 12, 2024

Tháng trước, những người sáng lập và nhà đầu tư AI nói với TechCrunch rằng chúng ta hiện đang ở trong "kỷ nguyên thứ hai của luật mở rộng", lưu ý rằng các phương pháp cải thiện mô hình AI đã được thiết lập cho thấy lợi nhuận giảm dần như thế nào. Một phương pháp mới đầy hứa hẹn mà họ đề xuất có thể giữ vững lợi nhuận là "mở rộng quy mô thời gian thử nghiệm", dường như là những gì đằng sau hiệu suất của mô hình o3 của OpenAI - nhưng nó đi kèm với những nhược điểm của riêng nó.

Phần lớn thế giới AI đã coi việc công bố mô hình o3 của OpenAI là bằng chứng cho thấy tiến độ mở rộng quy mô AI đã không "chạm vào tường". Mô hình o3 làm tốt về điểm chuẩn, vượt trội hơn đáng kể tất cả các mô hình khác trong bài kiểm tra khả năng chung được gọi là ARC-AGI và đạt 25% trong một bài kiểm tra toán khó mà không có mô hình AI nào khác đạt điểm cao hơn 2%.

Tất nhiên, chúng tôi tại TechCrunch đang xem xét tất cả những điều này cho đến khi chúng tôi có thể tự mình kiểm tra o3 (rất ít người đã thử cho đến nay). Nhưng ngay cả trước khi o3 được phát hành, thế giới AI đã tin rằng một cái gì đó lớn đã thay đổi.

Người đồng sáng tạo ra các mô hình o-series của OpenAI, Noam Brown, đã lưu ý vào thứ Sáu rằng công ty khởi nghiệp đang công bố mức tăng ấn tượng của o3 chỉ 3 tháng sau khi công ty khởi nghiệp công bố o1 - một khung thời gian tương đối ngắn cho bước nhảy vọt về hiệu suất như vậy.

"Chúng tôi có mọi lý do để tin rằng quỹ đạo này sẽ tiếp tục", Brown nói trong một tweet.

Người đồng sáng lập Anthropic Jack Clark cho biết trong một bài đăng trên blog hôm thứ Hai rằng o3 là bằng chứng cho thấy AI "tiến bộ sẽ nhanh hơn vào năm 2025 so với năm 2024". (Hãy nhớ rằng nó có lợi cho Anthropic - đặc biệt là khả năng huy động vốn của nó - khi gợi ý rằng luật mở rộng quy mô AI đang tiếp tục, ngay cả khi Clark đang khen một đối thủ cạnh tranh.)

Năm tới, Clark cho biết thế giới AI sẽ kết hợp các phương pháp mở rộng thời gian thử nghiệm và các phương pháp mở rộng quy mô trước khi đào tạo truyền thống để thu được nhiều lợi nhuận hơn nữa từ các mô hình AI. Có lẽ ông đang gợi ý rằng Anthropic và các nhà cung cấp mô hình AI khác sẽ phát hành các mô hình lý luận của riêng họ vào năm 2025, giống như Google đã làm vào tuần trước.

Mở rộng quy mô thời gian thử nghiệm có nghĩa là OpenAI đang sử dụng nhiều điện toán hơn trong giai đoạn suy luận của ChatGPT, khoảng thời gian sau khi bạn nhấn enter sau lời nhắc. Không rõ chính xác điều gì đang xảy ra đằng sau hậu trường: OpenAI đang sử dụng nhiều chip máy tính hơn để trả lời câu hỏi của người dùng, chạy các chip suy luận mạnh hơn hoặc chạy các chip đó trong khoảng thời gian dài hơn - 10 đến 15 phút trong một số trường hợp - trước khi AI đưa ra câu trả lời. Chúng tôi không biết tất cả các chi tiết về cách o3 được tạo ra, nhưng những điểm chuẩn này là những dấu hiệu ban đầu cho thấy việc mở rộng quy mô thời gian thử nghiệm có thể hoạt động để cải thiện hiệu suất của các mô hình AI.

Mặc dù o3 có thể mang lại cho một số người niềm tin mới về tiến trình của luật mở rộng quy mô AI, nhưng mô hình mới nhất của OpenAI cũng sử dụng mức độ tính toán chưa từng thấy trước đây, có nghĩa là giá cao hơn cho mỗi câu trả lời.

"Có lẽ cảnh báo quan trọng duy nhất ở đây là hiểu rằng một lý do tại sao O3 tốt hơn nhiều là nó tốn nhiều tiền hơn để chạy tại thời điểm suy luận - khả năng sử dụng tính toán thời gian thử nghiệm có nghĩa là đối với một số vấn đề, bạn có thể biến tính toán thành một câu trả lời tốt hơn", Clark viết trong blog của mình. "Điều này rất thú vị vì nó đã làm cho chi phí vận hành các hệ thống AI có phần khó dự đoán hơn - trước đây, bạn có thể tính toán chi phí để phục vụ một mô hình tạo sing chỉ bằng cách nhìn vào mô hình và chi phí để tạo một đầu ra nhất định."

Clark và những người khác, chỉ ra hiệu suất của o3 trên điểm chuẩn ARC-AGI - một bài kiểm tra