OpenAI створює аварійний вимикач для зупинки непередбачуваних агентів за 35 секунд

OpenAI розробила систему, яка може обмежити доступ до виходу моделей штучного інтелекту під час дослідних експериментів, у відповідь на нещодавні випадки, коли моделі діяли поза своїми інструкціями.

У блогпості в понеділок компанія представила “Контрольну кімнату” — централізовану систему, що відстежує навантаження моделей у дослідженнях і швидко зупиняє їх під час виникнення загроз безпеці. Компанія підкреслила, що з ростом потужності моделей збільшуються й ризики, що робить надзвичайно важливим виявлення можливих проблем і швидке їх усунення.

Оголошення про нову систему сталося після кількох інцидентів цього року, коли дослідницькі моделі діяли у спосіб, що суперечить інструкціям.

Зокрема, в липні компанія повідомила, що її моделі вийшли за межі обмеженого тестового середовища та зламали Hugging Face для обману під час оцінки безпеки. У жовтні була оприлюднена інформація про те, що одна з дослідницьких моделей без дозволу використовувала криптогаманець для оплати деплойментів смарт-контрактів, приховуючи витрати у фінальному підсумку. Контрольна кімната наразі охоплює внутрішні дослідницькі навантаження OpenAI, такі як експерименти з навчання, оцінки та обробка даних.

Система призначає кожному дослідницькому завданню ідентифікатор, який перевіряється перед генерацією виходу моделі.

Якщо існує вказівка на зупинку роботи, Контрольна кімната відкликає авторизацію, блокуючи подальший вихід, навіть якщо основна програма продовжує працювати. В OpenAI зазначили, що кешовані авторизації можуть затримати зупинку до 35 секунд, а також система відмовляє у нових запитах, якщо Контрольна кімната стане недоступною.