Нижегородские киберпсихологи научатся оценивать уровень стресса по голосу

Ученые ННГУ им. Н.И. Лобачевского занимаются созданием моделей машинного обучения для определения уровня тревожности по акустическим характеристикам голоса. Разработка ведется командой кафедры киберпсихологии факультета социальных наук ННГУ, сообщили в пресс-службе вуза. Анализ эмоционального состояния по голосу широко применяется в сферах образования, психического здоровья и в взаимодействии человека с техникой.

«Автоматическое распознавание стресса по голосу является мощным инструментом для раннего обнаружения перенапряжения — оно помогает своевременно выявлять уязвимые состояния у операторов, диспетчеров и медицинских работников, уменьшая вероятность ошибок и усталости. Также это используется для отслеживания психологического состояния клиента, что особенно актуально при обнаружении случаев мошенничества — когда человек находится под воздействием иллюзий и просит банк выполнить подозрительную операцию», — рассказывает кандидат психологических наук, руководитель кафедры киберпсихологии ННГУ Валерия Демарева.

Стресс проявляется в голосе: вегетативная нервная система вызывает увеличение тонуса мышц и учащение дыхания, что может привести к более «жёсткому» или дрожащему тону, а также к изменениям ритма и тембра речи. В результате меняется высота звучания, громкость и скорость произнесения.

В исследованиях использовался машинный обучающий конвейер, основанный на мел-частотных кепстральных коэффициентах (MFCC). Эти показатели выбраны, потому что эффективно и компактно описывают спектральную информацию речи, являются устойчивыми к шумам после нормализации, позволяют хорошо отличать стили речи и эмоциональные состояния, а также успешно работают на небольших выборках — что делает их идеальной основой для пилотных экспериментов. Предполагается, что именно эти коэффициенты дают стабильную классификацию стрессового состояния, а объединение их с другими спектральными признаками повышает точность анализа.

В рамках пилотного эксперимента ученые ННГУ сравнили речевые записи в двух ситуациях: во время стрессовой публичной презентации и в приватной репетиции. Было выполнено извлечение акустических признаков (преимущественно MFCC), оценена разница между ними, а также проводилась работа с моделью машинного обучения на базе этих признаков для оценки её эффективности.

Для изучения голосовых изменений, связанных с стрессом в научной речи, десять студентов кафедры киберпсихологии подготовили отрывок своей презентации (длительностью 4 – 6 минут) и произнесли его дважды: один раз публично — перед комиссией и коллегами, и один раз — в спокойной личной обстановке без зрителей. Все записи были приведены к частоте 16 kHz и формату моно WAV для унификации данных.

После предварительной обработки каждую четырехминутную запись разбили на не пересекающиеся отрезки по пять секунд, что дало 565 сегментов для приватных и 569 — для публичных выступлений. После обработки сигналов и извлечения MFCC машинный классификатор на базе градиентного бустинга смог достичь точности распознавания тревожных состояний — около 92%. В частности, из 110 приватных сегментов корректно классифицировано 102, а из 111 публичных — 101, без системных ошибок в сторону какого-либо типа.

Теперь ученые намерены расширить выборку, провести валидацию, внедрить более сложные методы адаптации моделей к разнообразным условиям.

Ранее на сайте pravda-nn.ru рассказали, превратится ли Нижний Новгород в южные тропики и что стоит за климатическими рекордами.