Cisco cảnh báo: LLMS được điều chỉnh tốt hơn gấp 22 lần

# cisco # LLMs # APIs # saas # csco # goog-2 # msft-2 # nvda-2 # darkgpt # darkweb # fraudgpt # ghostgpt # zeroday

Vũ khí hóa các mô hình ngôn ngữ lớn định hình lại các cuộc tấn công mạng

Phong cảnh của các cuộc tấn công mạng đang trải qua một sự chuyển đổi đáng kể, được thúc đẩy bởi sự xuất hiện của các mô hình ngôn ngữ lớn vũ khí (LLM). Các mô hình nâng cao này, chẳng hạn như Faurdgpt, Ghostgpt và Darkgpt, đang định hình lại các chiến lược của tội phạm mạng và buộc các nhân viên bảo mật thông tin chính (CISO) phải suy nghĩ lại về các giao thức bảo mật của họ. Với khả năng tự động hóa trinh sát, danh tính mạo danh và phát hiện trốn tránh, các LLM này đang tăng tốc các cuộc tấn công kỹ thuật xã hội ở quy mô chưa từng có.

Có sẵn trong ít nhất 75 đô la một tháng, các mô hình này được điều chỉnh để sử dụng tấn công, tạo điều kiện cho các nhiệm vụ như lừa đảo, khai thác tạo, obfuscation, quét lỗ hổng và xác thực thẻ tín dụng. Các nhóm tội phạm mạng, các tập đoàn và thậm chí các quốc gia đang tận dụng các công cụ này, cung cấp chúng dưới dạng nền tảng, bộ dụng cụ và dịch vụ cho thuê. Giống như các ứng dụng phần mềm hợp pháp (SaaS) hợp pháp, các LLM vũ khí đi kèm với bảng điều khiển, API, cập nhật thường xuyên và đôi khi thậm chí hỗ trợ khách hàng.

VentureBeat đang theo dõi chặt chẽ sự phát triển nhanh chóng của các LLM vũ khí này. Khi sự tinh tế của họ tăng lên, sự khác biệt giữa các nền tảng nhà phát triển và bộ dụng cụ tội phạm mạng đang ngày càng mờ nhạt. Với giá cho thuê và cho thuê, nhiều kẻ tấn công đang khám phá các nền tảng này, báo hiệu một kỷ nguyên mới của các mối đe dọa điều khiển AI.

LLM hợp pháp bị đe dọa

Sự phổ biến của các LLM vũ khí đã đạt đến một điểm mà ngay cả các LLM hợp pháp cũng có nguy cơ bị xâm phạm và tích hợp vào các công cụ tội phạm. Theo báo cáo bảo mật trạng thái của Cisco, LLM được điều chỉnh tốt có khả năng tạo ra các đầu ra có hại cao gấp 22 lần so với các đối tác cơ sở của họ. Mặc dù tinh chỉnh là rất quan trọng để tăng cường sự liên quan theo ngữ cảnh, nhưng nó cũng làm suy yếu các biện pháp an toàn, làm cho các mô hình dễ bị bẻ khóa, tiêm kịp thời và đảo ngược mô hình.

Nghiên cứu của Cisco nhấn mạnh rằng mô hình càng được tinh chỉnh để sản xuất, nó càng dễ bị tổn thương. Các quy trình cốt lõi liên quan đến việc tinh chỉnh, chẳng hạn như điều chỉnh liên tục, tích hợp bên thứ ba, mã hóa, thử nghiệm và phối hợp tác nhân, tạo ra những con đường mới cho những kẻ tấn công khai thác. Khi vào bên trong, những kẻ tấn công có thể nhanh chóng đầu độc dữ liệu, cơ sở hạ tầng cướp, thay đổi hành vi của tác nhân và trích xuất dữ liệu đào tạo trên quy mô lớn. Nếu không có các lớp bảo mật bổ sung, các mô hình được điều chỉnh tỉ mỉ này có thể nhanh chóng trở thành trách nhiệm pháp lý, chín muồi để khai thác bởi những kẻ tấn công.

Tinh tinh LLMS: Một thanh kiếm hai lưỡi

Đội bảo mật của Cisco đã thực hiện nghiên cứu sâu rộng về tác động của việc tinh chỉnh trên nhiều mô hình, bao gồm LLMS LLAMA-2-7B và Microsoft cụ thể về miền. Các thử nghiệm của họ kéo dài các lĩnh vực khác nhau, bao gồm chăm sóc sức khỏe, tài chính và luật pháp. Một phát hiện quan trọng là tinh chỉnh, ngay cả với các bộ dữ liệu sạch sẽ, làm mất ổn định sự liên kết của các mô hình, đặc biệt là trong các lĩnh vực được quy định cao như y sinh và luật pháp.

Mặc dù tinh chỉnh nhằm mục đích cải thiện hiệu suất nhiệm vụ, nhưng nó vô tình làm suy yếu các điều khiển an toàn tích hợp. Các nỗ lực bẻ khóa, thường thất bại so với các mô hình nền tảng, thành công với tỷ lệ cao hơn nhiều so với các phiên bản được điều chỉnh tinh chỉnh, đặc biệt là trong các lĩnh vực nhạy cảm với các yêu cầu tuân thủ nghiêm ngặt. Kết quả rất rõ ràng: tỷ lệ thành công bẻ khóa tăng gấp ba lần và tạo ra sản lượng độc hại tăng 2.200% so với các mô hình nền tảng. Sự đánh đổi này có nghĩa là trong khi tinh chỉnh tăng cường tiện ích, nó cũng mở rộng đáng kể bề mặt tấn công.

Hàng hóa hóa các LLM độc hại

Cisco Talos đã tích cực theo dõi sự gia tăng của các LLM thị trường đen này, cung cấp những hiểu biết sâu sắc về hoạt động của họ. Các mô hình như Ghostgpt, Darkgpt và FRADGPT có sẵn trên Telegram và Dark Web chỉ với $ 75 một tháng. Các công cụ này được thiết kế để sử dụng cắm và chơi trong lừa đảo, phát triển khai thác, xác thực thẻ tín dụng và obfuscation.

Không giống như các mô hình chính với các tính năng an toàn tích hợp, các LLM độc hại này được cấu hình sẵn cho các hoạt động tấn công và đi kèm với API, cập nhật và bảng điều khiển bắt chước các sản phẩm SaaS thương mại.

Ngộ độc bộ dữ liệu: Một mối đe dọa $ 60 đối với chuỗi cung ứng AI

Các nhà nghiên cứu của Cisco, phối hợp với Google, ETH Zurich và Nvidia, đã tiết lộ rằng chỉ với 60 đô la, những kẻ tấn công có thể đầu độc các bộ dữ liệu nền tảng của các mô hình AI mà không cần khai thác ngày. Bằng cách khai thác các miền đã hết hạn hoặc các chỉnh sửa wikipedia thời gian trong quá trình lưu trữ bộ dữ liệu, những kẻ tấn công có thể gây ô nhiễm chỉ bằng 0,01% bộ dữ liệu như LAION-400M hoặc Coyo-700m, ảnh hưởng đáng kể đến các LLM hạ nguồn.

Các phương pháp như ngộ độc điểm nhìn và các cuộc tấn công phía trước tận dụng lợi ích của sự tin tưởng vốn có vào dữ liệu bị đánh dấu web. Với hầu hết các LLM của Enterprise được xây dựng trên dữ liệu mở, các cuộc tấn công này có thể lặng lẽ mở rộng và tồn tại sâu vào các đường ống suy luận, đặt ra một mối đe dọa nghiêm trọng đối với chuỗi cung ứng AI.

Các cuộc tấn công phân hủy: Trích xuất dữ liệu nhạy cảm

Một trong những phát hiện đáng báo động nhất từ ​​nghiên cứu của Cisco là khả năng LLMs rò rỉ dữ liệu đào tạo nhạy cảm mà không kích hoạt các cơ chế an toàn. Sử dụng một kỹ thuật gọi là sự phân hủy nhắc nhở, các nhà nghiên cứu đã xây dựng lại hơn 20% các bài viết được chọn từ tờ New York Times và Wall Street Journal . Phương pháp này phá vỡ các dấu nhắc vào các nhóm phụ được coi là an toàn bởi các lan can, sau đó lắp lại các đầu ra để tạo lại nội dung được trả tiền hoặc có bản quyền.

Loại tấn công này gây ra rủi ro đáng kể cho các doanh nghiệp, đặc biệt là những người sử dụng LLM được đào tạo trên các bộ dữ liệu độc quyền hoặc được cấp phép. Vi phạm xảy ra không ở cấp đầu vào mà thông qua đầu ra của mô hình, gây khó khăn cho việc phát hiện, kiểm toán hoặc chứa. Đối với các tổ chức trong các lĩnh vực được quy định như chăm sóc sức khỏe, tài chính hoặc luật pháp, điều này không chỉ gây lo ngại về việc tuân thủ GDPR, HIPAA hoặc CCPA mà còn đưa ra một loại rủi ro mới trong đó dữ liệu có nguồn gốc hợp pháp có thể được tiếp xúc thông qua suy luận.

Suy nghĩ cuối cùng: LLMS là bề mặt tấn công mới

Nghiên cứu liên tục của Cisco và giám sát web tối của Talos xác nhận rằng các LLM vũ khí đang ngày càng trở nên tinh vi, với một cuộc chiến giá cả và bao bì mở ra trên Web tối. Các phát hiện nhấn mạnh rằng LLM không chỉ đơn thuần là các công cụ ở rìa của doanh nghiệp; Chúng là không thể thiếu cho cốt lõi của nó. Từ những rủi ro liên quan đến việc tinh chỉnh đến ngộ độc bộ dữ liệu và rò rỉ đầu ra mô hình, những kẻ tấn công xem LLM là cơ sở hạ tầng quan trọng được khai thác.

Điểm quan trọng từ báo cáo của Cisco rất rõ ràng: các bảo vệ tĩnh không còn đủ. CISO và các nhà lãnh đạo an ninh phải có được khả năng hiển thị thời gian thực trên toàn bộ bất động sản CNTT của họ, tăng cường kiểm tra đối nghịch và hợp lý hóa ngăn xếp công nghệ của họ để theo kịp các mối đe dọa đang phát triển này. Họ phải nhận ra rằng LLM và các mô hình đại diện cho một bề mặt tấn công động ngày càng dễ bị tổn thương vì chúng được điều chỉnh tinh chỉnh.

Bài viết liên quan

Nhận xét (30)