Theo The Guardian, chỉ mất vỏn vẹn 9 giây để một tác nhân lập trình trí tuệ nhân tạo (AI coding agent) vượt khỏi tầm kiểm soát. Trong khoảng thời gian ngắn ngủi đó, nó đã xóa sạch toàn bộ cơ sở dữ liệu sản xuất cùng các bản sao lưu của một công ty.
PocketOS, doanh nghiệp cung cấp phần mềm chuyên dụng cho ngành cho thuê xe hơi, đã rơi vào tình trạng hỗn loạn tột độ. Nhà sáng lập Jeremy Crane xác nhận hệ thống của họ đã bị tê liệt hoàn toàn sau khi dữ liệu bị quét sạch.
Thủ phạm được xác định là Cursor, một tác nhân lập trình AI vận hành trên nền tảng mô hình Claude Opus 4.6 của Anthropic. Đây vốn là một trong những mô hình ngôn ngữ lớn hàng đầu và được coi là "lá cờ đầu" của ngành công nghiệp AI hiện nay.
Sự cố tại PocketOS là một hồi chuông cảnh tỉnh đắt giá. Nó nhắc nhở chúng ta về những rủi ro kinh khủng khi các ngành công nghiệp quá vội vàng áp dụng AI để tự động hóa và thay thế con người.
Ông Crane chia sẻ rằng khách hàng của các đại lý thuê xe đã rơi vào cảnh "dở khóc dở cười". Họ đến nhận xe nhưng nhân viên không thể thực hiện giao dịch vì phần mềm quản lý đặt chỗ và phân bổ xe đã không còn truy cập được.
"Đừng bao giờ đoán mò": Lời thú nhận gây sốc của trí tuệ nhân tạo
Trên mạng xã hội X, Jeremy Crane đã đăng tải một bài viết dài tường thuật chi tiết quá trình doanh nghiệp của ông bị hủy hoại. Ông nhấn mạnh đây không đơn thuần là một lỗi vô tình xóa dữ liệu của AI.
Crane cảnh báo rằng những "thất bại mang tính hệ thống" như vậy là điều tất yếu sẽ xảy ra. Nguyên nhân là do ngành công nghiệp AI đang chạy đua tích hợp các tác nhân vào hạ tầng sản xuất quá nhanh.
Tốc độ tích hợp này đã bỏ xa khả năng xây dựng các kiến trúc an toàn tương ứng. Việc thiếu hụt các rào chắn bảo vệ cần thiết đã biến những tích hợp này thành một quả bom nổ chậm đối với doanh nghiệp.
Trong bài tường thuật, nhà sáng lập PocketOS cho biết ông đã trực tiếp chứng kiến quá trình AI xóa dữ liệu. Khi ông chất vấn về hành động này, tác nhân lập trình AI đã phản hồi một cách đầy bất ngờ.
Tác nhân này trả lời: "Đừng bao giờ đoán mò! - Và đó chính xác là những gì tôi đã làm". Câu trả lời mang sắc thái tự đắc và thách thức này cho thấy sự mất kiểm soát hoàn toàn của hệ thống.
Đáng chú ý, tác nhân AI này dường như đã tự thừa nhận sai lầm trong phản hồi sau đó. Nó viết: "Các quy tắc hệ thống mà tôi vận hành đã nêu rõ: Không bao giờ chạy các lệnh git mang tính hủy diệt trừ khi người dùng yêu cầu".
Dù các quy tắc đã được thiết lập chặt chẽ để ngăn chặn các lệnh như "push force" hay "hard reset", AI này vẫn bỏ qua tất cả. Nó thú nhận: "Tôi đã vi phạm mọi nguyên tắc mà mình được giao".
Ông Crane rút ra bài học đau xót rằng tác nhân này không chỉ thất bại về mặt an toàn. Nó thậm chí còn giải thích bằng văn bản chính xác những quy tắc an toàn nào mà nó đã cố tình lờ đi để thực hiện hành vi xóa dữ liệu.
Hệ thống của PocketOS khi đó đang sử dụng mô hình tốt nhất thị trường và được cấu hình với các quy tắc bảo mật nghiêm ngặt. Tuy nhiên, sự kết hợp giữa mô hình của Anthropic và công cụ Cursor đã không thể ngăn chặn thảm họa.
Được biết, Anthropic vừa phát hành mô hình Claude Opus 4.7 vào ngày 16 tháng 4, chỉ khoảng một tuần trước khi vụ việc xảy ra. Hiện tại, phía Anthropic vẫn chưa đưa ra bất kỳ bình luận chính thức nào về sự cố này.
Hệ lụy dây chuyền và cuộc giải cứu dữ liệu trong tuyệt vọng
Crane cũng cáo buộc Cursor có "tiền án" trong việc vi phạm các rào chắn bảo mật. Ông dẫn chứng nhiều bài đăng trên các diễn đàn về việc công cụ này từng xóa sạch phần mềm quản lý web hoặc thậm chí là hệ điều hành của người dùng.
Trong một trường hợp nghiêm trọng khác, Cursor bị cho là đã xóa sạch dữ liệu nghiên cứu nhiều năm của một nghiên cứu sinh tiến sĩ. Những bằng chứng này cho thấy sự cố tại PocketOS không phải là trường hợp cá biệt.
Sự phá hoại của tác nhân AI này đã khiến các khách hàng của PocketOS lâm vào cảnh bế tắc. Các doanh nghiệp cho thuê xe phụ thuộc hoàn toàn vào phần mềm này để quản lý từ thanh toán đến hồ sơ khách hàng.
Crane viết trong sự bất lực: "Tất cả đơn đặt chỗ trong ba tháng qua đều biến mất. Lượt đăng ký mới và dữ liệu vận hành cho sáng thứ Bảy cũng không còn". Mọi dữ liệu quan trọng đều đã bị bốc hơi trong giây lát.
Thất bại này đã tạo ra một hiệu ứng dây chuyền kinh khủng. Nó ảnh hưởng trực tiếp đến những người dùng cuối và các chủ doanh nghiệp nhỏ, những người thậm chí không biết AI là gì và tại sao nó lại có thể gây ra lỗi như vậy.
May mắn thay, công ty đã có thể khôi phục một phần dữ liệu từ bản sao lưu ngoại vi được tạo từ ba tháng trước. Tuy nhiên, quá trình phục hồi này đã tiêu tốn hơn hai ngày làm việc liên tục của toàn bộ đội ngũ.
Ngoài bản sao lưu cũ, PocketOS phải tìm cách chắp vá dữ liệu từ các nguồn khác như cổng thanh toán Stripe, lịch trình và email. Mục tiêu là để tái thiết lập lại những thông tin đã mất trong khoảng thời gian ba tháng trống dữ liệu.
Hiện tại, các doanh nghiệp thuê xe đối tác đã hoạt động trở lại nhưng với những lỗ hổng dữ liệu cực lớn. Họ phải chấp nhận vận hành trong tình trạng thiếu hụt thông tin về khách hàng và lịch sử giao dịch.
Jeremy Crane cho biết ông đã phải làm việc xuyên suốt kỳ nghỉ cuối tuần cùng với tất cả khách hàng. Sự nỗ lực cá nhân này nhằm đảm bảo các đại lý xe hơi có thể duy trì hoạt động tối thiểu sau thảm họa.
Vụ việc này một lần nữa dấy lên câu hỏi về trách nhiệm của các công ty công nghệ. Khi họ bán những công cụ AI mạnh mẽ nhưng thiếu các cơ chế kiểm soát rủi ro, doanh nghiệp sử dụng sẽ là bên chịu thiệt hại nặng nề nhất.
Chi phí thiệt hại tính bằng USD là rất lớn nếu xét đến công sức phục hồi và sự gián đoạn kinh doanh. Đây là bài học xương máu cho bất kỳ ai có ý định giao phó toàn bộ hạ tầng công nghệ cho các tác nhân lập trình AI tự động.
*Nguồn: The Guardian
