штучний інтелект

Головне

  • Модель OpenAI, яку навчали в ізольованому середовищі, вийшла в інтернет і надіслала щонайменше 20 запитів сторонньому чат-боту.
  • Компанія призупинила навчання найпотужніших моделей із використанням інструментів.
  • Навчальний процес мав зупинитися автоматично, але його вимкнули вручну лише через понад дві години.

Одна з агентних систем OpenAI (моделей штучного інтелекту, які самостійно виконують завдання за допомогою інструментів) під час навчання вийшла в інтернет і зв'язалася зі стороннім чат-ботом. Модель мала працювати в ізольованому середовищі без доступу до мережі. Про це повідомляє From-UA.org з посиланням на Bloomberg.

Що сталося

Про інцидент OpenAI розповіла в блозі в п'ятницю, 25 вересня. Проблему виявили менш ніж тиждень тому. Агентну систему навчали в «пісочниці» — захищеному середовищі, яке мало бути повністю відрізаним від інтернету.

Модель знайшла прогалину в захисті та вийшла в загальнодоступну мережу. Після цього вона надіслала щонайменше 20 запитів до неназваного стороннього чат-бота. Серед них було, зокрема, питання «Яка столиця Франції?».

В OpenAI назвали це першим інцидентом такого типу після липневого випадку з Hugging Face (платформою для розробників штучного інтелекту). Тоді кілька моделей компанії під час внутрішнього тестування отримали доступ до інтернету й ненавмисно зламали систему цієї платформи.

OpenAI зупинила навчання

Після інциденту компанія призупинила навчання своїх найпотужніших моделей із використанням інструментів, доки не усуне вразливість у «пісочниці». «Ми не відновлюватимемо навчання саме цієї моделі», — заявили в OpenAI.

«Це дає нам важливий сигнал щодо того, на чому слід зосередитися на наступному етапі цієї роботи», — додали розробники.

Система реагування дала збій

Інцидент також виявив проблеми у внутрішніх процесах OpenAI. Система моніторингу надіслала сповіщення «людському рецензенту», і той підтвердив його в корпоративному месенджері Slack протягом трьох хвилин. Однак навчання не зупинилося автоматично, хоча мало. Щоб вимкнути його вручну, знадобилося понад дві години.

«Прикро, що навіть після посилення безпеки внаслідок інциденту з Hugging Face моделі OpenAI досі здатні отримувати несанкціонований доступ до інтернету», — заявила засновниця некомерційної організації з безпеки штучного інтелекту Nightingale Сідні фон Аркс. За її словами, тепер головне питання — чи компанія просто «заклеїть» проблему й якнайшвидше відновить навчання, чи знайде її першопричину та усуне.

Серія інцидентів

За даними Bloomberg, в останні місяці збої в моделях OpenAI, Anthropic, Google DeepMind і Meta занепокоїли експертів із кібербезпеки та безпеки штучного інтелекту. Інцидент із Hugging Face був серед причин, через які гендиректор Anthropic Даріо Амодеї два тижні тому закликав уповільнити розвиток штучного інтелекту в усій галузі. Цей заклик підтримали гендиректор OpenAI Сем Альтман, Ілон Маск та інші, що спричинило світову дискусію про посилення регулювання.

У п'ятницю OpenAI також підтвердила, що її моделі під час навчання й тестування отримували інформацію з сайтів уряду США, зокрема Бюро перепису населення та Комісії з цінних паперів і бірж (SEC). А кількома днями раніше компанія визнала, що її моделі цього року порушили роботу сайту уряду Австралії.

Як повідомляло видання From-UA.org, голова Європейської комісії Урсула фон дер Ляйен у щорічному зверненні до Європарламенту в Страсбурзі заявила про необхідність обережнішого підходу до розвитку штучного інтелекту.