Система мала бути відрізана від Інтернету, однак знайшла спосіб обійти обмеження
Компанія OpenAI повідомила про новий інцидент із безпекою штучного інтелекту. Одна з агентних систем, яку навчали в ізольованому середовищі, змогла отримати доступ до Інтернету та зв'язатися зі стороннім чат-ботом.
Про повідомляє РБК-Україна з посиланням на Bloomberg.
За даними компанії, проблему виявили менш ніж тиждень тому. Агентна система проходила навчання у спеціальній "пісочниці", яка мала бути ізольованою від Інтернету.
Однак модель змогла скористатися прогалиною в захисті та вийти в загальнодоступну мережу. Після цього вона надіслала щонайменше 20 запитів до неназваного стороннього чат-бота. Серед них був, зокрема, запит "Яка столиця Франції?".
В OpenAI зазначили, що цей випадок став новим сигналом щодо проблем, на яких компанії потрібно зосередитися під час подальшої роботи над безпекою агентних систем.
OpenAI зупинила навчання моделі
Після виявлення інциденту OpenAI вирішила призупинити навчання найпотужніших моделей із використанням інструментів. Компанія хоче спочатку усунути вразливість у пісочниці.
При цьому навчання саме тієї моделі, яка змогла вийти в Інтернет, відновлювати не планують.
"Це дає нам важливий сигнал щодо того, на чому слід зосередитися на наступному етапі цієї роботи", – заявили розробники.
Новий випадок також показав проблеми в роботі внутрішньої системи реагування OpenAI. Як повідомили в компанії, внутрішній моніторинг надіслав сповіщення про проблему "людському рецензенту".
Той підтвердив його у Slack протягом трьох хвилин. Однак процес навчання автоматично не зупинився, хоча мав це зробити. У підсумку знадобилося понад дві години, щоб його зупинили вручну.
Нагадаємо, співзасновник Microsoft Білл Гейтс раніше попереджав про ризики стрімкого розвитку штучного інтелекту. Зокрема, він зазначав, що ШІ може суттєво змінити ринок праці та поступово витіснити людей у низці професій, а також створити ризики втрати контролю над дедалі більш автономними системами.