Фонетические и мимические характеристики речи при когнитивной нагрузке

Abstract

В данной работе рассмотрены речевые и мимические характеристики когнитивной нагрузки. Материалами для исследования послужили аудио- и видеозаписи речи информантов во время прохождения когнитивного теста и симулятора вождения с дополнительными заданиями. Также в качестве материала использовались видеофрагменты шоу «50 вопросов» (интервью в машине, вопросы задает водитель). Акустические признаки были извлечены с помощью Praat. Мимические параметры (двигательные единицы по системе кодирования лицевых движений (СКЛиД)) были найдены с помощью OpenFace 2.2.0. Было выявлено, что при когнитивной нагрузке возрастает длительность отдельных звуков, повышается частотность восходящих интонационных контуров, сужается диапазон ЧОТ, увеличивается длительность ларингализованных участков. Результаты показали, что когнитивная нагрузка чаще всего проявляется в мимических движениях в области глаз и губ. Наиболее частотными и интенсивными лицевыми движениями при когнитивной нагрузке были ямочка (сокращение щечной мышцы), подниматель верхней губы и опускатель брови. Были определены особенности синхронизации речевых и мимических характеристик. В большинстве случаев фонетические и мимические проявления когнитивной нагрузки совпадают по времени начала. Ключевые слова: фонетика; когнитивная нагрузка; акустический анализ речи; система кодирования лицевых движений (СКЛиД); обработка мультимодальных данных.