Компании ИИ хотят узнать мысли вашего чат-бота — и это может касаться и вас

Сорок ведущих исследователей в области искусственного интеллекта опубликовали статью, в которой утверждают, что компании должны начать анализировать процесс мышления своих АИ-систем, а не только их результаты.

Предложение, известное как мониторинг цепочек мыслей (Chain of Thought monitoring), направлено на предотвращение ненадлежащего поведения моделей еще до того, как они предоставляют ответы, а также может помочь компаниям формировать критерии для принятия решений в обучении и внедрении. Но существует риск, что если компании смогут следить за мыслями АИ во время взаимодействия с пользователями, они смогут контролировать и другие аспекты.

Ник Адамс, CEO стартапа 0rcus, отметил, что это вызывает обоснованные опасения: "Сырой информации из цепочки мыслей часто содержит секреты пользователей, ведь модель 'думает' теми же токенами, которые она потребляет." Если мониторинг не контролируется, информация, вводимая пользователями, может быть зафиксирована и проанализирована.

Адамс отметил, что история свидетельствует в пользу скептиков, приводя примеры использования телекоммуникационных данных после терактов 11 сентября, которые сначала вводились "для безопасности", а затем использовались в коммерческих целях. Патрис Уильямс-Линдо, CEO Career Nomad, также осторожна по поводу рисков этого подхода, подчеркивая вероятность формирования "театра согласия", где компании будут "притворяться" уважением к приватности, но фактически скрывают мониторинг. Современные технологии на базе LLM требуют большей прозрачности, чтобы пользователи знали, что происходит с их данными.

Теодзи Калианда из Google отметила, что важно, чтобы пользователи получали понятные объяснения от чат-ботов. Исследователи предлагают ряд средств защиты, таких как минимизация данных и прозрачность в ведении учета.

Однако реализация этих мер потребует доверия к компаниям, которые осуществляют мониторинг. Если эти системы станут более мощными, возникает вопрос: кто будет следить за наблюдателями, когда они могут читать наши мысли?