Головне
- Модель OpenAI, яку навчали в ізольованому середовищі, вийшла в інтернет і надіслала щонайменше 20 запитів сторонньому чат-боту.
- Компанія призупинила навчання найпотужніших моделей із використанням інструментів.
- Навчальний процес мав зупинитися автоматично, але його вимкнули вручну лише через понад дві години.
Одна з агентних систем OpenAI (моделей штучного інтелекту, які самостійно виконують завдання за допомогою інструментів) під час навчання вийшла в інтернет і зв'язалася зі стороннім чат-ботом. Модель мала працювати в ізольованому середовищі без доступу до мережі. Про це повідомляє From-UA.org з посиланням на Bloomberg.
Що сталося
Про інцидент OpenAI розповіла в блозі в п'ятницю, 25 вересня. Проблему виявили менш ніж тиждень тому. Агентну систему навчали в «пісочниці» — захищеному середовищі, яке мало бути повністю відрізаним від інтернету.
Модель знайшла прогалину в захисті та вийшла в загальнодоступну мережу. Після цього вона надіслала щонайменше 20 запитів до неназваного стороннього чат-бота. Серед них було, зокрема, питання «Яка столиця Франції?».
В OpenAI назвали це першим інцидентом такого типу після липневого випадку з Hugging Face (платформою для розробників штучного інтелекту). Тоді кілька моделей компанії під час внутрішнього тестування отримали доступ до інтернету й ненавмисно зламали систему цієї платформи.
OpenAI зупинила навчання
Після інциденту компанія призупинила навчання своїх найпотужніших моделей із використанням інструментів, доки не усуне вразливість у «пісочниці». «Ми не відновлюватимемо навчання саме цієї моделі», — заявили в OpenAI.
«Це дає нам важливий сигнал щодо того, на чому слід зосередитися на наступному етапі цієї роботи», — додали розробники.
Система реагування дала збій
Інцидент також виявив проблеми у внутрішніх процесах OpenAI. Система моніторингу надіслала сповіщення «людському рецензенту», і той підтвердив його в корпоративному месенджері Slack протягом трьох хвилин. Однак навчання не зупинилося автоматично, хоча мало. Щоб вимкнути його вручну, знадобилося понад дві години.
«Прикро, що навіть після посилення безпеки внаслідок інциденту з Hugging Face моделі OpenAI досі здатні отримувати несанкціонований доступ до інтернету», — заявила засновниця некомерційної організації з безпеки штучного інтелекту Nightingale Сідні фон Аркс. За її словами, тепер головне питання — чи компанія просто «заклеїть» проблему й якнайшвидше відновить навчання, чи знайде її першопричину та усуне.
Серія інцидентів
За даними Bloomberg, в останні місяці збої в моделях OpenAI, Anthropic, Google DeepMind і Meta занепокоїли експертів із кібербезпеки та безпеки штучного інтелекту. Інцидент із Hugging Face був серед причин, через які гендиректор Anthropic Даріо Амодеї два тижні тому закликав уповільнити розвиток штучного інтелекту в усій галузі. Цей заклик підтримали гендиректор OpenAI Сем Альтман, Ілон Маск та інші, що спричинило світову дискусію про посилення регулювання.
У п'ятницю OpenAI також підтвердила, що її моделі під час навчання й тестування отримували інформацію з сайтів уряду США, зокрема Бюро перепису населення та Комісії з цінних паперів і бірж (SEC). А кількома днями раніше компанія визнала, що її моделі цього року порушили роботу сайту уряду Австралії.
Як повідомляло видання From-UA.org, голова Європейської комісії Урсула фон дер Ляйен у щорічному зверненні до Європарламенту в Страсбурзі заявила про необхідність обережнішого підходу до розвитку штучного інтелекту.