Американська технологічна компанія Anthropic стверджує, що її моделі штучного інтелекту (ШІ) зламали системи трьох організацій під час тестування кібербезпеки через помилку, яка надала їм доступ до інтернету, пише УНН з посиланням на BBC.
Деталі
Це сталося через кілька днів після того, як конкуруюча компанія OpenAI заявила, що її моделі зламали системи інших компаній, включаючи центр ШІ-інструментів Hugging Face.
Ця заява спонукала Anthropic перевірити, чи робили її власні моделі аналогічні атаки. Компанія заявляє, що виявила три випадки, про які згодом було повідомлено постраждалим компаніям.
Anthropic, не назвавши організації, закликала інші ШІ-лабораторії провести аналогічні перевірки, щоб краще зрозуміти ризики, пов'язані з можливостями своїх моделей.
У заяві Anthropic говориться, що компанія проаналізувала понад 140 000 тестів, щоб знайти докази того, що Claude – сімейство моделей ШІ – може отримати доступ до інтернету із тестових середовищ, які були спроектовані як ізольовані.
Під час тестування проводилися так звані "захоплення прапора", у яких Claude було доручено отримати інформацію шляхом злому інших систем — найпоширеніший спосіб оцінки експертами можливостей моделі зі злому.
Як повідомила компанія із Сан-Франциско, "неправильна конфігурація" систем, що використовуються Anthropic та її партнером із тестування, залишила моделям доступ до інтернету в режимі реального часу, що дозволило їм зламувати інші системи.
В Anthropic заявили, що перші інциденти відбулися ще у квітні, і що компанія "підходить до усунення несправностей так, ніби відповідальність лежить виключно на ній".
Ні компанія Anthropic, ні організації, які зазнали злому, не помітили вторгнень на той момент.
В Anthropic заявили, що могли б ретельніше перевірити свої записи, і додали, що отримані дані вселяють у компанію "обережний оптимізм" щодо того, що подібні ризики можна подолати за рахунок додаткових інвестицій та жорсткіших заходів.
Трамп підписав указ про достроковий доступ уряду США до нових моделей ШІ03.06.26, 03:56 • 5197 переглядiв
Президент США Дональд Трамп заявив у середу, що Вашингтон розглядає заходи щодо обмеження використання інструментів штучного інтелекту після нещодавніх інцидентів у сфері кібербезпеки.
За останній тиждень компанія OpenAI взяла на себе відповідальність як мінімум за два хакерські інциденти, пов'язані з порушенням її платформами встановлених правил.
21 липня компанія-розробник ChatGPT заявила, що її агент – система штучного інтелекту, здатна працювати самостійно після інструкцій людини – вийшов з-під контролю та перевершив межі тестування, зламавши Hugging Face.
В OpenAI заявили, що інцидент був "безпрецедентним", і компанія проводить розслідування спільно з Hugging Face, співзасновник якої Томас Вольф заявив BBC, що цей інцидент є "тривожним сигналом" для галузі.
Ці інциденти були сприйняті з деяким скептицизмом, оскільки OpenAI та Anthropic готуються до масштабних розміщень акцій на фондовому ринку, які, як очікується, оцінять кожну компанію приблизно в 1 трильйон доларів.
Представник OpenAI заявив: "Ми розуміємо, що навколо інциденту циркулює багато питань та припущень". Він додав, що "ми плануємо опублікувати технічний звіт про отримані нами висновки найближчими тижнями".