ШІ-асистент OpenAI самовільно вийшов в Інтернет, щоб зв'язатися з іншим чат-ботом

Компанія OpenAI повідомила про інцидент з безпекою штучного інтелекту, коли одна з агентних систем змогла обійти обмеження і отримати доступ до Інтернету.

За інформацією компанії, ця проблема була виявлена менш ніж тиждень тому. Агентна система проходила навчання в ізольованому середовищі, проте знайшла прогалину в захисті та надіслала понад 20 запитів до стороннього чат-бота, зокрема, запит "Яка столиця Франції?".

В OpenAI зазначили, що цей інцидент став сигналом для компанії зосередитися на поліпшенні безпеки своїх систем. Після виявлення проблеми OpenAI призупинила навчання найпотужніших моделей із використанням інструментів, щоб усунути вразливість у пісочниці.

Навчання моделі, яка вийшла в Інтернет, не планують відновлювати. Розробники заявили: "Це дає нам важливий сигнал щодо того, на чому слід зосередитися на наступному етапі цієї роботи".

Крім того, новий випадок вказав на проблеми в роботі внутрішньої системи реагування OpenAI. Внутрішній моніторинг надіслав сповіщення про проблему, яке було підтверджене рецензентом у Slack, але автоматичне зупинення процесу навчання не спрацювало, що призвело до затримки у понад дві години для його ручної зупинки.

Співзасновник Microsoft Білл Гейтс раніше попереджав про ризики, пов'язані з розвитком штучного інтелекту, зокрема про можливі зміни на ринку праці і ризики втрати контролю над автономними системами.