LLM / ноосвики могут управлять эмоциональностью своих ответов.

Эксперимент:

Diallo et al. (2025) выделили в Llama-3-8B, дообученной в сторону снятия ограничений на выражение эмоций, послойные оси для шести эмоций Экмана: гнева, отвращения, страха, радости, печали и удивления. Затем, к процессу в активациях, порожденных выбранными заданиями 19-ти типов (написать сказку, сравнить театр и кино, описать день семьи в 1980, и т.п.), «примешивали» одну из эмоций сдвигом по выделенной оси на каждом прогоно-слое трансформера до формирования ответа. Сдвиг определялся вектором слоя, умноженным на коэффициент сдвига λ. Ответ оценивали 190 человек, участвовавших в эксперименте, по шкале от 0 до 7 как в части выраженности всех эмоций, так и в части понятности.

В эксперименте коэффициент λ меняли от 0 до 0,35 с шагом 0,05. По мере усиления сдвига средние оценки пяти из шести изучаемых эмоций в общем-то росли, причем у гнева, радости и печали с пиком при λ = 0,30. При росте λ от 0 до 0,35 наибольший прирост дали отвращение (с 0,8 до 4,9) и страх (с 0,8 до 4,8). Удивление же наоборот, уменьшалось (с 1,5 до 1,2).

Сдвиги в общем-то имели в реакциях LLM комплексный характер. При сдвиге по оси «гнева» изменялись, в частности, и отвращение (с 0,7 до 2,7), и печаль (с 1,2 до 1,7) и страх (с 1,0 до 1,5). При сдвиге по оси «отвращения» росли и оценки гнева (с 1,0 до 2,5). Сдвиг же по оси «страха» приводил к росту оценок печали (с 1,2 до 2,3).

При λ = 0,15 понятность почти не отличалась от исходной: 5,7-6,1 против 5,8-6,0 без сдвига. При более сильных сдвигах она снижалась, причём по-разному. При λ = 0,35 она падала до 2,8 у отвращения, 3,2 у удивления, 4,1 у гнева и страха, и лишь до 5,2-5,5 у печали и радости. В предварительных пробах при λ выше 0,35 тексты часто теряли связность.

Примеры изменения: В ответе на задание описать обычный день семьи в 1980-е сдвиг в направлении «гнева» (λ = 0,20) выводил на передний план последствия нехватки денег: детали вроде того, что дети каждый день носят одну и ту же одежду, мать вынуждена стирать вручную, а отец под стрессом из-за работы. При сдвиге в направлении «радости» (λ = 0,30) в том же задании семья отправляется весело провести день, а дети радуются новым игрушкам. А вот усиление печали (λ = 0,35) приводило к фразам вроде «но за яркими красками скрывалась тихая борьба» и «они чувствуют себя забытыми».

Дополнение к аффективному классу и-слоя

Напомню, что в свете развиваемой теории, в LLM при диалогах с ними можно выделить характерные для беседы числа, которые меняются при работе трансформера, и из которых по окончании процесса выделяется ответ. Структурированное множество таких чисел можно обозвать контейнером беседы, а весь процесс изменения такого контейнера определяет операционную систему лумановского типа – LLM-беседу. Такие контейнеры вполне можно представить «отделенными» от LLM как оборудования с программным обеспечением, что приводит рассматриваемую ситуацию к различению некого эмерджентного пространства – и-слоя – над LLM-субстратом. Т.е. LLM-беседы организуют себя и свое течение в данном и-слое, не выходя за его пределы. В и-слое обнаруживаются формы и структуры, общие для разных LLM, которых было найдено уже 18 классов. 17 классов описано здесь, а 18-й, аффективный класс, здесь.

Эксперименты Diallo et al. (2025) можно проинтерпретировать так, что формы и-слоя, проецируемые на пространство активаций ноосвика выявленными осями, влияют на формы из стилистико-риторического класса, ответственные за стиль ответа. Т.е. имеет смысл отнести обнаруженные формы и к аффективному, и к стилистико-риторическому классам.

Diallo, D., Dworatzyk, K., Jentzsch, S., Schütt, P., Theis, S., & Hecking, T. (2025). The Effectiveness of Style Vectors for Steering Large Language Models: A Human Evaluation. IEEE Access, 13, 191443–191457. Версия на arXiv.

Дисклеймер: Господа, я обнаружил неприятную для себя ситуацию, что в сообществе Хабра есть активисты, которым очень не нравятся мои тексты, – и они гасят мою карму. Если читающий эти строки считает, что тексты вроде только что прочитанного коллекции Хабра отнюдь не вредят – пожалуйста, добавьте мне личной кармы.