В. А. Барабанщиков
Когнитивные механизмы невербальной коммуникации

Динамика распознавания микроэкспрессий лица в условиях кажущегося движения и зрительной маскировки

Анализ показывает, что все три экспериментальных условия и их сочетания значимо влияют на оценку экспрессий лица. Организация стимульной информации, модальность экспрессии и продолжительность ее экспозиции действительно определяют распознавание мимических выражений; влияние каждой из детерминант носит сложный, взаимоопосредованный характер.

Базовый уровень эффективности распознавания экспрессий в микроинтервалах времени зафиксирован при экспозиции изолированного лица и зависит от модальности эмоции. Точнее всего распознается экспрессия радости (0,97), а также спокойное (0,92) и удивленное (0,91) лицо, менее точно – печаль (0,88), сравнительно плохо – экспрессии отвращения (0,75), страха (0,65) и гнева (0,61). Разная степень аттрактивности базовых экспрессий согласуется с ранее полученными данными в условиях затрудненного восприятия эмоциональных выражений: при их зашумлении, повороте относительно наблюдателя или ограничении времени экспозиции (Барабанщиков, 2012). С введением содержательного контекста перцептогенез растягивается во времени, требуя более продолжительных экспозиций в 100 мс («радость», «удивление», «отвращение») и 200 мс («печаль», «страх», «гнев»); экспозиции в 50 мс соответствуют лишь начальные стадии перцептогенеза. Влияние стробоскопической экспозиции на точность распознавания эмоций носит избирательный характер, охватывая преимущественно экспрессии, имеющие низкую аттрактивность («гнев», «страх», «печаль»).

В отсутствие содержательного контекста длительность экспозиции (50, 100 или 200 мс) лица на эффективность распознавания не влияет (0,81). Наиболее точно оцениваются «радость» (0,97), «удивление» (0,91) и спокойное состояние (0,87), наименее точно – «страх» (0,65) и «гнев» (0,61). При маскировке и кажущемся движении лица с уменьшением времени экспозиции общий уровень распознавания снижается до 0,74. Влияние контекста зависит от «броскости» (аттрактивности) экспрессий: точность оценок «страха» падает до 0,49, «гнева» – до 0,48. Уровни оценок «удивления», «радости» и спокойного состояния в этих условиях совпадают с уровнем оценок изолированного лица.

Сказанное означает, что для завершения перцептогенеза базовых экспрессий в контрольной серии экспозиция в 50 мс вполне достаточна. Ранее сходный результат получен на экспрессиях большого числа натурщиков из базы KDEF (Calvo, Lundqvist, 2008). Ограничение времени экспозиции в данном исследовании также вело к снижению точности распознавания базовых эмоций, однако при экспозиции выражений радости и спокойного состояния эти различия были незначительны (при длительности экспозиции 50 мс «радость» распознается на максимально высоком уровне).

Результаты анализа «ошибочных» ответов позволяют описать обнаруженные феномены в терминах категориальных полей экспрессий (Барабанщиков, 2002, 2009) – систематических идентификаций той или иной экспрессии с рядом других эмоций, проявляющихся в данных условиях. Каждое категориальное поле включает ядро (наиболее частые «верные» ответы), периферию, представленную регулярными «ошибками», и фон (случайные ответы). Соотношение между компонентами динамично и зависит от модальности экспрессии, ее длительности и содержания контекста. Так, с уменьшением времени экспозиции использование кажущегося движения либо маскировки экспрессий значимо меняет структуру категориальных полей, причем в разных контекстах по-разному. Экспрессия страха чаще воспринимается как «удивление», «печаль» и «гнев» – как спокойное лицо. Роль мимических признаков экспрессий в формировании целостного образа эмоционального лица меняется. По существу, условия маскировки и кажущегося движения моделируют тот этап перцептогенеза, на котором признаки экспрессий лишь начинают дифференцироваться, создавая предпосылки конкретизации актуализируемого прототипа выражения лица.

Основной результат выполненного исследования заключается в том, что по сравнению со статичной экспозицией кажущееся движение не приводит к увеличению точности распознавания эмоций. Как и в случае реального движения, статичное изображение сильных экспрессий содержит всю информацию, достаточную для эффективной оценки выраженной эмоции. Влияние контекста на эффективность восприятия экспрессий зависит от их модальности. Для «печали», «гнева» и «страха» кажущаяся динамика лица снижает точность распознавания в большей степени, чем рандомизированное лицо, особенно при минимальном времени экспозиции. Негативное влияние маскировки ярче проявляется при экспозиции «удивления», «отвращения» и спокойного выражения лица. В итоге средние оценки экспрессий в условиях кажущегося движения и маскировки практически совпадают, указывая на функциональное сходство стимульных ситуаций. Это означает, что кажущееся движение лица включает момент маскировки, а прямая и обратная зрительная маскировка – возможность кажущихся изменений. С увеличением длительности экспозиции экспрессии до 200 мс негативное влияние и маскировки, и кажущегося изменения лица снимается.

2.2. Вербализация экспрессий, экспонируемых в разных контекстах

Пытаясь разобраться в механизме влияния стробоскопической стимуляции на восприятие эмоциональных выражений лица, мы провели еще один эксперимент на группе экспертов в области науки о лице. Нас интересовали способы ориентировки подготовленного наблюдателя в рассмотренных ситуациях и характер его ответов. Основной метод исследования – вербальные описания видимых сцен.

Метод свободных описаний

Исследование проводилось на том же оборудовании и с тем же стимульным материалом, которые использовались в первом эксперименте. Участники эксперимента: 7 человек (5 женщин, 2 мужчины; возраст – 27–54 года, медиана – 47 лет) с нормальным или скорректированным до нормального зрением, специалисты, изучающие восприятие лица.

Эксперимент 2 включал три серии с тем же содержанием контекста, что и в эксперименте 1. В отличие от процедуры первого эксперимента, тестовые изображения всегда предъявлялись на 50 мс; каждая из семи экспрессий, выраженная каждым из шести натурщиков, предъявлялась по одному разу (всего 42 пробы); порядок предъявления – случайный. Варианты ответов не предлагались. От наблюдателей требовалось в каждой отдельной пробе словами описать выражение лица натурщика, а также любые другие замеченные особенности изображения. Ответы записывались на диктофон. Тренировочная сессия не проводилась.

Полученные аудиозаписи расшифровывались и соотносились с каждым из экспериментальных условий. В вербальных описаниях, данных участниками исследования, выделялись следующие классы дескрипторов: 1) называние конкретной эмоции (например: «гнев», «горе» и др.) или общая оценка модальности («негативная эмоция»); 2) описание мимики в отдельных зонах лица – лба/бровей, глаз, носа, рта (например: «нахмуренные брови», «открытые глаза», «наморщенный нос», «растянутый рот»); 3) указания на движения головы (например: «кивок», «поворот головы слева направо»); 4) недифференцированное восприятие движения/изменения изображения в целом («мимолетное движение», «сдвиг изображения», «что-то изменилось»); 5) значительные затруднения в определении эмоции, приводящие к отказу давать ответ («непонятно, какая эмоция»). Помимо основных дескрипторов часто отмечался пол натурщика и особенности его внешности (например: «девушка, блондинка»).

Точность распознавания экспрессий оценивалась на основании содержания дескрипторов, указывающих на модальность эмоции. Верными считались те описания, в которых эмоция была названа однозначно и совпадала с состоянием, которое изображал натурщик. К этой же категории относились и синонимичные описания; так, для экспрессии гнева адекватными считались описания «гнев», «злость» и однокоренные слова; для «страха» – «страх» и «испуг»; для «радости» – «радость» и «улыбка»; для нейтрального лица – «нейтральное», «спокойное», «без эмоции»; для «печали» – «печаль», «грусть» и «горе»; для «удивления» и «отвращения» синонимы в категорию верных ответов не включались. Частично верными ответами считались неоднозначные описания, включавшие верный дескриптор, например: «либо гнев, либо горе» для экспрессии «гнева». «Ошибочными» ответами считались все иные описания эмоциональных состояний, а «отказами» – ответы, в которых называние эмоции отсутствовало.

Доминантность мимических признаков оценивалась по предпочтениям, отдаваемым в описаниях верхней (брови – лоб), средней (глаза – веки – основание носа) и нижней (рот – подбородок) частей лица либо его отдельных элементов. Примеры подобных высказываний: «поднятые брови», «наморщенный лоб», «увеличились глаза», «широко открытый рот», «напряжение вокруг носа».

Влияние кажущегося движения головы устанавливалось путем соотнесения предметных описаний воспринятого изменения расположения лица с точностью распознавания экспрессий либо с их доминантными признаками («наклон головы вперед, кажется, это был гнев»; «движение назад небольшое, изменение в области рта, даже зубы видел, вероятно, это отвращение»). В подобном ключе рассматривались описания изменений изображения при невозможности (затруднениях) раскрыть его содержание («было движение, непонятно какое; эмоции не было вообще»).

Анализ результатов включал сопоставление долей соответствующих дескрипторов в зависимости от модальности экспрессии и содержания контекста. Статистическая оценка значимости различий анализируемых параметров ввиду небольшого объема выборки не проводилась.

Вербализация экспрессий, предъявляемых в контекстах

Точность распознавания экспрессий. Полученные данные показали, что доля верных ответов зависит как от модальности экспрессии, так и от содержания контекста, в котором она экспонировалась (рисунок 2.5). Наибольшая доля адекватных описаний выявлена в контрольной серии – экспозиции лица на фоне чистого экрана (0,78). С введением маскировки точность распознавания снижается (0,59), а при использовании стробоскопической стимуляции становится предельно низкой (0,45). Уменьшение доли верных ответов происходит за счет увеличения количества отказов от описания эмоции (от их практического отсутствия в контрольной серии до 0,10 и 0,30 в условиях рандомизированной маски и кажущегося движения соответственно). Доли ошибочных и частично верных ответов в трех экспериментальных сериях находятся на одном уровне.

Наибольшая средняя точность распознавания получена при экспозиции «радости» (0,80), нейтрального лица (0,77) и «удивления» (0,68). Для экспрессий страха (0,48), печали (0,48) и гнева (0,40) она снижается на фоне увеличения доли ошибочных ответов. Соотношение уровней точности распознавания тестируемых эмоций в каждой из трех серий в целом сохраняется. Доли отказов и частично верных ответов с модальностью эмоции систематически не связаны. Соотношение верных, частично верных, ошибочных ответов и отказов при распознавании эмоций на лицах разных натурщиков практически не менялось.

Рис. 2.5. Точность распознаваний экспрессий в зависимости от их модальности и содержания контекста: серия 2.1 – кажущееся движение; серия 2.2 – маскировка; серия 2.3 – изолированное лицо

При анализе «ошибочных» и частично верных ответов выявлены следующие особенности. Экспрессия радости (0,09) и нейтральное лицо (0,10) в отдельных случаях смешиваются с «гневом», «отвращением» или «страхом». Экспрессия удивления ошибочно распознавалась как «страх», независимо от содержания контекста (0,13). Экспрессия отвращения при любом содержании контекста смешивается, прежде всего, с «гневом» (0,18). Для экспрессии гнева структура «ошибок» трансформируется: если при кажущемся движении или изолированном лице «гнев» воспринимается как «печаль» (0,11) либо «отвращение» (0,09), то при маскировке рандомизированным паттерном он смешивается с нейтральным лицом (0,24) и «отвращением» (0,12). «Страх», экспонируемый при кажущемся движении либо на изолированном лице, смешивается с «удивлением» (0,17), реже – с «гневом» (0,08) и «отвращением» (0,06); при введении маскировки среди «ошибочных» ответов доминируют «печаль» (0,14) и «удивление» (0,12). «Печаль» отождествляется с нейтральным лицом (0,19), причем при маскировке доля смешений возрастает до 0,36. Таким образом, при экспозиции лица на фоне чистого экрана и кажущегося движения структура «ошибочных» идентификаций экспрессий гнева, страха, печали сохраняется, в то время как маскировка лица ведет к ее трансформации.

Описания признаков экспрессий и движений головы. В процессе распознавания эмоциональных экспрессий наблюдатели указывали на отдельные доминантные особенности лица, характерные для демонстрируемой эмоции. Чаще всего описывалась зона губ и зубы (0,23). Различия в частоте упоминания рта зависели от модальности эмоции и содержания контекста. Например, для «радости» и «удивления» в условиях кажущегося движения область рта упоминалась с частотой 0,6; в условиях изолированного лица – 0,45 и 0,38 соответственно; при маскировке частота упоминаний рта снижалась до 0,19 и 0,17. При распознавании «страха» и «отвращения» рот натурщика описывался как в условиях кажущегося движения (0,14 и 0,40 соответственно), так и изолированного лица (0,33 и 0,21); для «гнева» и «печали» рот упоминался только в условиях изолированного лица (0,29 и 0,17).

Реже описывалась зона глаз. Для «удивления» и «страха» в условиях кажущегося движения – 0,12 для обеих экспрессий; в отсутствие контекста – 0,26 и 0,31 соответственно. Для «радости» и «отвращения» область глаз упоминалась только при экспозиции изолированного лица (0,12). При распознавании «гнева» и «печали» глаза не упоминались; при демонстрации изолированного лица внимание наблюдателей направлялось в область лба/бровей (0,21 и 0,14, соответственно), смещаясь в условиях кажущегося движения на движения головы натурщика. Мимические признаки в области носа систематически упоминались только при экспозиции «отвращения» в отсутствие контекста (0,21).

«Лицевые жесты», или видимые смещения лица, сопровождаемые движениями головы, описывались только в условиях стробоскопической стимуляции и только для экспрессий гнева (0,48 – для «жестов», 0,14 – для движения), страха (0,12 для обоих классов дескрипторов) и печали (0,36 и 0,14, соответственно). Для «гнева» характерным жестом было «движение головы вперед», «наклон вперед» или «кивок». Для «страха» – «движение назад», «напряжение в шее». При экспозиции «печали» наблюдатели описывали «поворот головы», «движение назад» или «кивок вперед».

При экспозиции спокойного лица мимика не описывалась. Сдвиг изображения, используемый во время стробоскопической экспозиции, замечался (0,43).

Трудности категоризации, приводившие к отказу от описания эмоции, наблюдались в сериях с маскировкой и кажущимся движением. При маскировке рандомизированным паттерном отказ не сопровождался описанием мимических признаков, за исключением отдельных упоминаний области рта для экспрессий «удивления», «радости», «гнева». При экспозиции лица в условиях кажущегося движения, прежде всего, давались описания изменений в области рта: для «удивления» это «открытый рот», для «радости» и «отвращения» – «оскал», «показал зубы», «что-то сказал», для «страха» – «открытый рот», «что-то сказал». Глаза описывались только при экспозиции «гнева» («моргнул», «подмигнул»), «страха» и «удивления» («выпученные глаза»). Остальные зоны лица практически не описывались. Описания движений головы сопровождали большинство отказов от распознавания экспрессий гнева («кивок головой») и печали («кивок», «поворот головы»).

Таким образом, в зависимости от содержания контекста описания признаков экспрессий меняются. При изолированной экспозиции лица внимание больше обращается на область рта, а для отдельных экспрессий – дополнительно на зоны глаз («отвращение», «страх», «радость», «удивление»), лба/бровей («гнев», «печаль», «удивление») или носа («отвращение»). В условиях стробоскопической стимуляции описание движений головы сопровождается снижением упоминаний о мимических изменениях (экспрессии гнева, страха, печали). Так, при оценке экспрессий, которые характеризуются закрытым ртом («гнев», «печаль»), мимические признаки перестают замечаться вообще, а при оценке «страха» обе ключевые зоны (рот и глаза) упоминаются в два раза реже. Хотя для «отвращения», «радости» и «удивления» описания смещений головы не характерны, внимание наблюдателя концентрируется в области рта; частота описания других зон: глаз – для всех трех экспрессий, носа – для «отвращения» и лба/бровей – для «удивления», снижается. В условиях маскировки ни движение лица в целом, ни его мимические изменения не упоминаются, за исключением состояния рта при экспозиции «радости» и «удивления».

Кажущееся движение и маскировка: механизмы влияния

Результаты второго эксперимента подтверждают выводы, сделанные выше. В условиях короткой экспозиции наиболее точно распознаются экспрессии изолированного лица. При экспозиции в 50 мс перцептогенез эмоциональной экспрессии либо реализуется полностью, либо завершается на относительно поздних стадиях. Как и в эксперименте 1, лучше всего распознаются «радость» (1,0 – полное отсутствие ошибок), «удивление» (0,88) и спокойное состояние (0,81), тогда как эмоции отвращения (0,75), печали (0,74), страха (0,64) и гнева (0,60) оцениваются менее точно. Структура систематических «ошибок» распознавания, составляющих категориальное поле эмоций, также сохраняется: экспрессия отвращения воспринимается как гнев, «гнев» – как спокойствие и печаль, «страх» – как удивление, а «печаль» – как нейтральное лицо. Таким образом, способы оценки эмоционального состояния человека – альтернативный выбор из предзаданных категорий или свободное описание выражения эмоции – приводят к близким результатам. Опыт наблюдателей, связанный с необходимостью вербализаций выражений лица, обеспечивает сохранение среднего уровня точности ответов по всем базовым экспрессиям, независимо от характера поставленной задачи.

Введение содержательного контекста и во втором эксперименте снижает точность опознания всех эмоций, однако влияния маскировки и кажущегося движения выступают здесь более выпукло. У опытных наблюдателей стробоскопическая экспозиция приводит к более выраженному падению точности распознавания экспрессий, а число отказов назвать эмоцию по сравнению с прямой и обратной маскировкой увеличивается в три раза. Ключевые признаки эмоций лаконично упоминаются в контрольных пробах – при демонстрации изолированного лица. В условиях стробоскопической экспозиции число подобных высказываний сокращается, уступая место сообщениям о «жестах» головы, тесно связанных с проявлениями гнева, страха и печали, т. е. с экспрессиями, оценки которых в эксперименте 1 внесли решающий вклад в величину негативного влияния кажущегося движения. В условиях маскировки особенности локальной мимики замечаются редко, а о движениях головы ничего не говорится. Неслучайно структуры категориальных полей демонстрируемых эмоций в первой (1.1) и третьей (1.3) сериях обоих экспериментов совпадают, а во вторых (1.2) сериях (при прямой и обратной зрительной маскировке) принимают иной характер.

Полученные данные позволяют заключить, что при определенном сходстве временной структуры влияние стробоскопической экспозиции и рандомизированных масок на точность опознания экспрессии имеет разную природу. Если в условиях маскировки основным фактором неадекватного восприятия является прерывание естественного хода перцептогенеза, то в условиях кажущегося движения падение точности распознавания вызвано усложнением информационного содержания тест-объекта: появлением дополнительного качества, выраженного в наблюдаемых смещениях элементов лица и головы. Распознавание эмоционального состояния натурщика опосредуется «лицевым жестом» (кивком, поворотом, наклоном и т. д.), переключающим внимание наблюдателя. Структура и продолжительность перцептогенеза выражения лица в этих условиях меняются.

Совсем недавно влияние длительности экспозиции тест-объекта в условиях обратной маскировки, а также типа маски на эффективность распознавания экспрессий радости, гнева и спокойного лица были описаны в работе Л. Агуадо (Aguado et al., 2014). В отсутствие маски средняя точность идентификации эмоций достигает максимального уровня (близкого к 100 %) при экспозиции тест-объекта всего в 17 мс. Рандомизированная маска снижает эффективность только на этом времени, а начиная с 34 мс – не ухудшает распознавание эмоций. Если же в качестве маски используется изображение спокойного лица, то с уменьшением времени предъявления целевой экспрессии эффективность ее различения монотонно снижается (до 60-процентной эффективности распознавания при 17 мс, что также намного превышает случайный уровень). При предъявлении тест-объекта на 85 и 119 мс тип маскировки не влияет на точность распознавания, которая во всех трех условиях близка к 100 %. С уменьшением пространственного разрешения маскирующего изображения нейтрального лица эффект маскировки постепенно снижается. По существу маскирующий эффект имеет место на самых ранних этапах перцептогенеза и возрастает с увеличением информации о лице-маске (рандомизированная маска < изображение лица с низким пространственным разрешением < изображение лица с высоким разрешением). Учитывая близость стимульных ситуаций маскировки и кажущегося движения, сконструированных в нашем исследовании, можно полагать, что в условиях стробоскопической экспозиции выражений лица описанные тенденции не только сохранятся, но и усилятся.

Проведенные исследования позволяют частично ответить на вопросы, поставленные в начале главы. Стробоскопическая экспозиция действительно влияет на эффективность распознавания экспрессий лица, но не так, как ожидалось. При экспозиции экспрессии в течение 200 мс (время, близкое к средней зрительной фиксации) точность распознавания мимических паттернов в условиях кажущегося движения не превышает точности распознавания отдельных неподвижных изображений, а при более коротких экспозициях – 100 мс и особенно 50 мс – значимо снижена. В коротком диапазоне длительностей стробоскопическая стимуляция сдерживает развитие перцептогенеза и, по существу, маскирует эмоциональные экспрессии.

Несмотря на то, что средние значения точности восприятия в условиях кажущегося движения и маскировки рандомизированными паттернами совпадают, на уровне отдельных экспрессий их различия, как правило, значимы и носят разнонаправленный характер. Как и реальное, кажущееся движение обладает особым качеством, порождаемым собственной пространственно-временной структурой.

Экспозиция экспрессий в контексте стробоскопической стимуляции моделирует начальный этап перцептогенеза, когда образ лица плохо дифференцирован, нестабилен и легко подвержен разрушению. Проявляясь на ранних фазах этого процесса, жесты головы, сдвиги изображения либо смещения элементов лица становятся предметом внимания, «загораживая» признаки экспрессии (гнева, печали, страха). В отсутствие этих движений доминантные признаки, особенно в области рта, распознаются более эффективно. В отличие от стробоскопической экспозиции прямая и обратная зрительная маскировка прерывает перцептогенез выражения лица: оно воспринимается в обобщенной форме, а выделение частных мимических признаков затруднено. При изолированной экспозиции лица естественный ход перцептогенеза не меняется; он совершается оптимальным путем, позволяя наблюдателю мгновенно ориентироваться как на общее впечатление об экспрессии, так и на изменения мимики в отдельных зонах лица; точность распознавания эмоционального выражения достигает апогея.

Полученные результаты подтвердили факт достаточности для эффективного восприятия статической информации о сильных мимических проявлениях, распространив его на микроэкспрессии лица. Это позволяет надеяться, что в условиях ограничения статической информации (слабой экспрессии, отсутствии деталей или контура лица, нечеткости его изображения, повороте и т. п.) конструктивное влияние стробоскопического движения на точность распознавания эмоциональных состояний будет заметно.