Компанії штучного інтелекту хочуть знати, про що думають ваші чат-боти

Сорок провідних дослідників у сфері штучного інтелекту опублікували статтю, в якій стверджують, що компанії повинні почати аналізувати процес мислення своїх АІ-систем, а не лише їхні результати.

Пропозиція, відома як моніторинг цепочок думок (Chain of Thought monitoring), має на меті запобігання неналежній поведінці моделей ще до того, як вони надають відповіді, а також може допомогти компаніям формувати критерії для прийняття рішень у навчанні та впровадженні. Але існує ризик, що якщо компанії зможуть стежити за думками АІ під час взаємодії з користувачами, вони зможуть слідкувати і за іншими аспектами.

Нік Адамс, CEO стартапу 0rcus, зазначив, що це викликає виправдані занепокоєння: "Сиру інформацію із цепочки думок часто містять секрети користувачів, адже модель 'думає' тими ж токенами, які вона споживає." Якщо моніторинг не контролюється, інформація, яку вводять користувачі, може бути зафіксована та проаналізована.

Адамс зауважив, що історія свідчить на користь скептиків, наводячи приклади використання телекомунікаційних даних після терактів 11 вересня, що спочатку запроваджувалися "для безпеки", а згодом використовувалися в комерційних цілях. Патріс Вільямс-Ліндо, CEO Career Nomad, також обережна щодо ризиків цього підходу, наголошуючи на ймовірності формування "театру згоди", де компанії будуть "вдаватись" до поваги до приватності, але фактично приховувати моніторинг. Сучасні технології на базі LLM вимагають більшої прозорості, щоб користувачі знали, що відбувається з їхніми даними.

Теодзі Калианда з Google зазначила, що важливо, щоб користувачі отримували зрозумілі пояснення від чат-ботів. Дослідники пропонують ряд засобів захисту, таких як мінімізація даних і прозорість щодо ведення обліку.

Проте реалізація цих заходів вимагатиме довіри до компаній, які здійснюють моніторинг. Якщо ці системи стануть більш потужними, виникає питання: хто стежитиме за спостерігачами, коли вони можуть читати наші думки?