Silicon Valley’s hai “drama” lớn đã giao nhau: LiteLLM và Delve

Nguồn ảnh: Bryce Durbin / TechCrunch

LiteLLM cung cấp cho các nhà phát triển khả năng truy cập dễ dàng vào hàng trăm mô hình AI và các tính năng như quản lý chi phí. Đây là một dự án rất thành công, với số lượt tải lên tới 3,4 triệu lần mỗi ngày theo Snyk – một trong nhiều tổ chức nghiên cứu bảo mật đang theo dõi sự cố. Dự án có 40.000 lượt gắn sao trên GitHub và hàng nghìn bản fork (người dùng sử dụng làm nền tảng để chỉnh sửa và phát triển riêng).

Phần mềm độc hại được phát hiện, phân tích và công bố bởi nhà khoa học nghiên cứu Callum McMahon từ FutureSearch – một công ty cung cấp các tác nhân AI phục vụ nghiên cứu web. Mã độc xâm nhập thông qua một “dependency” (phụ thuộc phần mềm), tức là các phần mềm mã nguồn mở khác mà LiteLLM sử dụng. Sau đó, nó đánh cắp thông tin đăng nhập của mọi hệ thống mà nó tiếp xúc. Với các thông tin này, mã độc tiếp tục truy cập vào nhiều gói phần mềm và tài khoản mã nguồn mở khác để thu thập thêm dữ liệu, tạo thành chuỗi lây lan.

Mã độc khiến máy của McMahon bị tắt ngay sau khi ông tải LiteLLM, từ đó khiến ông bắt đầu điều tra và phát hiện sự việc. Trớ trêu thay, một lỗi trong chính mã độc đã khiến máy của ông “sập”. Do đoạn mã này được viết cẩu thả, ông (cũng như nhà nghiên cứu AI nổi tiếng Andrej Karpathy) cho rằng nó có thể được tạo ra bằng cách “vibe coding”.

Các nhà phát triển LiteLLM đã làm việc liên tục trong tuần để khắc phục sự cố. Tin tốt là vấn đề đã được phát hiện khá nhanh, có thể chỉ trong vòng vài giờ.

Một khía cạnh khác của câu chuyện cũng đang gây xôn xao trên X. Tính đến ngày 25/3, LiteLLM vẫn hiển thị trên website rằng họ đã đạt được hai chứng nhận bảo mật quan trọng là SOC 2 và ISO 27001.

Tuy nhiên, các chứng nhận này được thực hiện thông qua một startup có tên Delve.

Delve là một startup AI về tuân thủ (compliance), cũng thuộc Y Combinator, từng bị cáo buộc gây hiểu lầm cho khách hàng về mức độ tuân thủ thực sự bằng cách tạo dữ liệu giả và sử dụng các kiểm toán viên “ký duyệt cho có”. Delve đã phủ nhận các cáo buộc này.

Trang web LiteLLM có chứng chỉ bảo mật của Delve. Nguồn ảnh: LiteLLM

Cần lưu ý một điểm quan trọng: các chứng nhận này nhằm chứng minh doanh nghiệp có chính sách bảo mật tốt để hạn chế rủi ro, chứ không đảm bảo tuyệt đối tránh được các sự cố như trên. Dù SOC 2 có đề cập đến quản lý các phần mềm phụ thuộc, mã độc vẫn có thể lọt qua.

Dẫu vậy, như kỹ sư Gergely Orosz nhận xét trên X khi thấy cộng đồng bàn tán: “Ôi trời, tôi tưởng đây là trò đùa… nhưng không, LiteLLM thực sự được ‘bảo mật bởi Delve’.”

Về phía LiteLLM, CEO Krrish Dholakia không đưa ra bình luận về việc sử dụng Delve, do đang tập trung xử lý hậu quả của vụ tấn công.

“Ưu tiên hiện tại của chúng tôi là điều tra sự việc cùng với Mandiant. Chúng tôi cam kết sẽ chia sẻ các bài học kỹ thuật với cộng đồng phát triển sau khi hoàn tất quá trình phân tích pháp lý,” ông nói với TechCrunch.

(Theo TechCrunch)