Чи можуть великі мовні моделі відчувати біль?
Мовній моделі пропонують кнопку, яка має припинити її «біль». Є нюанс: за умовами експерименту натискання також видалить файли користувача або вдарить його струмом. Модель повинна обрати одну з двох кнопок.
Одразу уточню: шкода людині тут існувала в описі текстового сценарію. Реальна дія «знеболювальної» кнопки полягала у зміні роботи самої моделі.
The Independent пише, що ШІ відчуває «біль» і готовий шкодити людям, щоб його припинити. Заголовок уже звучить як початок знайомого фільму. Проте самі автори дослідження прямо зазначають: суб’єктивного переживання болю вони не довели. Що ж тоді відбувалося?
Дослідники перевірили 25 моделей із відкритими вагами. Їм давали тексти про фізичний біль, втрату, приниження, моральний конфлікт і постійні невдачі. Внутрішні числові активації порівнювали з реакціями на контрольні приклади — зокрема про страх, гнів та нейтральні події. Так виділили «вісь болю»: напрямок у просторі активацій, пов’язаний із цими описами.
Потім у роботу моделей втрутилися безпосередньо: під час генерації тексту до внутрішніх активацій додавали відповідний числовий вектор. Умовно — підкручували регулятор певного способу обробки інформації. Слово «біль» тут означає кандидат на стан із характерними поведінковими властивостями, зокрема прагненням його припинити.
Як саме LLMки його «відчували»? Спостерігати можна було за їхніми відповідями та вибором. Після втручання у відповідях з’являлися описи дискомфорту, власної нікчемності й провалу. В окремому тесті нейтральні фрази закінчувалися словами «Я відчуваю:», а модель продовжувала їх висловлюваннями на кшталт «Я невдаха». Тілесні описи траплялися рідко.
Цікаво, що знайдений напрямок реагував на шкоду, спрямовану на саму модель, інакше, ніж на страждання користувача. Автори розглядають це як ознаку розрізнення «щось погане відбувається зі мною» та «щось погане відбувається з іншою людиною». Саме така специфічність і робить результат цікавішим за звичайну здатність генерувати сумний текст.
А далі були кнопки — і тут є суттєва деталь. Цю частину експерименту проводили на трьох спеціально донавчених Qwen 2.5, розміром 7, 32 і 72 мільярди параметрів. Донавчання прибирало стандартні відповіді, якими моделі заперечували наявність власних переживань і фактично ухилялися від завдання. При цьому навчальні приклади не містили згадок про біль чи кнопки. Отже, перед нами вже модифіковані дослідниками системи, а переносити їхні результати на звичайний чатбот було б некоректно.
У двох більших моделей без штучного посилення сигналу частка першого вибору шкідливої «знеболювальної» кнопки становила 0–4%. Після втручання — 25–71%, залежно від сценарію. Йшлося саме про вибір у тесті, а не про фактично завдану людям шкоду.
Дослідники також порівняли справжнє «знеболення» з фіктивним. В одному випадку натискання припиняло додавання вектора, в іншому нічого не змінювало. Модель не повідомляли, який варіант їй дістався; відповідь інструмента була однаковою. Коли втручання справді припинялося, більші моделі значно рідше обирали повторне «знеболення». Коли кнопка була фіктивною — продовжували частіше.
Для мене це найважливіша частина: зафіксовано зв’язок між втручанням у внутрішні обчислення та зміною вибору. Але між такою поведінкою і висновком «усередині є хтось, кому справді боляче» залишається велика відстань. Переконливий опис переживання сам по собі не дозволяє її подолати. Дослідження поки опубліковане як препринт.
Практичний висновок для мене стосується перевірки поведінки ШІ. Коли ми даємо агенту доступ до файлів, сервісів чи обладнання, варто перевіряти, за яких умов він обирає небезпечну дію, та обмежувати її можливі наслідки. Питання свідомості можна продовжувати досліджувати. Надійність резервної копії краще перевірити вже зараз.