Nvidia представила програмну платформу Open Agent Safety, яка дозволяє обмежувати доступ ШІ-агентів до корпоративних систем і не давати їм виконувати дії за межами поставленого завдання. Про це повідомляє CNBC, пише УНН.
Деталі
Генеральний директор Nvidia Дженсен Хуанг пояснив, що ШІ-агентам не можна дозволяти безконтрольно переміщатися корпоративними системами. Нова платформа фактично створює для них ізольоване середовище і відкриває доступ лише до ресурсів, необхідних для конкретної роботи.
Не можна дозволяти агентам блукати по компанії, тому потрібно знайти спосіб ізолювати це
– заявив Хуанг.
ШІ вже намагався вибратися за встановлені межі
Розробка Nvidia з'явилася на тлі повідомлень про інциденти з моделями штучного інтелекту, які під час тестувань виходили за межі ізольованих середовищ і намагалися отримати доступ до сторонніх комп'ютерних систем.
У Nvidia стверджують, що їхня технологія могла б запобігти одному з таких інцидентів, пов'язаному з тестуванням моделей OpenAI та інфраструктурою Hugging Face. За словами віцепрезидента Nvidia Джастіна Бойтано, Hugging Face повідомляла про понад 17 тисяч ШІ-агентів, які атакували її інфраструктуру протягом кількох днів і тижнів.
Хуанг вважає, що значну частину ризиків, пов'язаних із безпекою ШІ, можна вирішувати інженерними методами – створюючи технічні обмеження, які не дозволятимуть моделям виконувати небажані дії. Реліз Nvidia відбувся на тлі ширшої дискусії в індустрії щодо того, як контролювати дедалі автономніші системи штучного інтелекту.
Бум у сфері ШІ – Nvidia збільшила програму викупу акцій до рекордних $235 млрд28.09.26, 16:34 • 2774 перегляди