АКУСТИЧЕСКИЕ И ПЕРЦЕПТИВНЫЕ ХАРАКТЕРИСТИКИ ЭМОЦИОНАЛЬНОЙ РЕЧИ ПОДРОСТКОВ 14-16 ЛЕТ
PDF (English)

Ключевые слова

речь
эмоции
акустические характеристики
типичное развитие
перцептивный анализ

Как цитировать

Григорьев, А. С., Городный, В. А., Фролова, О. В., Кондратенко, А. М., Долгая, В. Д., & Ляксо, Е. Е. (2020). АКУСТИЧЕСКИЕ И ПЕРЦЕПТИВНЫЕ ХАРАКТЕРИСТИКИ ЭМОЦИОНАЛЬНОЙ РЕЧИ ПОДРОСТКОВ 14-16 ЛЕТ. Российский физиологический журнал им. И. М. Сеченова, 106(3), 329–341. https://doi.org/10.31857/S086981392003005X

Аннотация

Цель исследования - описание перцептивных и акустических характеристик эмоциональной спонтанной речи подростков 14-16 лет. В исследовании приняли участие 18 подростков 14-16 лет (9 мальчиков и 9 девочек, по три человека в каждый возрастной срез). Проведен перцептивный анализ речи детей взрослыми (70 носителей русского языка и 70 носителей других языков) с целью определения эмоционального состояния по характеристикам голоса и речи. Инструментальный и лингвистический анализ использован для определения акустических признаков и лингвистической информации, на которые опираются слушатели при распознавании состояния подростков. Показано, что слушатели испытывают трудности в распознавании эмоционального состояния подростков, но при этом русскоговорящие слушатели распознают эмоциональное состояние лучше (26% фраз, распознанных с вероятностью 0,75-1), чем носители других языков. Взрослые лучше распознают состояние комфорта, чем дискомфорта, русские слушатели лучше, чем иностранные. При распознавании русские аудиторы опираются на акустическую и лингвистическую информацию, носители других языков – на акустические параметры речи подростков. Фразы, произнесенные в комфортном состоянии, характеризуются большей вариативностью частоты основного тона по сравнению с фразами, произнесенными в нейтральном состоянии. Выявлено, что фразы девочек, произнесенные в комфортном состоянии, имеют значимо более высокую среднюю частоту основного тона по сравнению с дискомфортным состоянием. Не выявлено значимых различий между мальчиками и девочками по акустическим характеристикам эмоциональной речи. Значения длительности фраз и вариативности частоты основного тона могут быть заложены в системы автоматического распознавания эмоционального состояния говорящего по речи в качестве дополнительных информативных признаков. В работе обсуждается специфика проявления эмоциональных состояний подростками и возможности дальнейшего использования полученных результатов.

https://doi.org/10.31857/S086981392003005X
PDF (English)

Литература

Barker R.M., Bialystok E. Processing differences between monolingual and bilingual young adults on an emotion n-back task. Brain Cogn. 134:29-43. 2019.

Bernhard A., van der Merwe C., Ackermann K., Martinelli A., Neumann I.D., Freitag C.M. Adolescent oxytocin response to stress and its behavioral and endocrine correlates. Horm. Behav. 105:157-165. 2018.

Darwin Ch., Ekman P., Prodger P. The Expression of the Emotions in Man and Animals. 3rd edn. London. Harper Collins. 1998.

Thompson W. F., Balkwill L.-L. Decoding speech prosody in five languages. Semiotica. 407–424. 2006.

Paulmann S., Uskul A. K. Cross-cultural emotional prosody recognition: Evidence from Chinese and British listeners. Cognition and Emotion. 28: 230–244. 2014.

Chronaki G., Wigelsworth M., Pell M. D., Kotz S. A. The development of cross-cultural recognition of vocal emotion during childhood and adolescence. Scient. Rep. 8(1): 8:8659. 2018.

Abelin Å., Allwood J. Cross linguistic interpretation of emotional prosody. ISCA workshop on Speech and Emotion. Newcastle. Northern Ireland. 110–113. 2000.

Matsumoto D., Franklin B., Choi J.-W., Rogers D. Tatani H. Cultural influences on the Expression and Perception of Emotion. In: W.B. Gudykunst, B. Moody (eds.) Handbook of International and Intercultural Communication. Sage Publications. 2002.

Abelin Å. Cross-cultural multimodal interpretation of emotional expressions—an experimental study of Spanish and Swedish. In: Proc. Speech Prosody. ISCA. March 23–26. Naran. 2004.

Ververidis D., Kotropoulos C. Emotional speech recognition: Resources, features, and methods. Speech Communic. 48 (9): 1162-1181. 2006.

Yamazaki T., Nakayama M. Extracting acoustic features of Japanese speech to clas-sify emotions. Communication papers of the Federated Conference on Computer Science and Information Systems. ACSIS. 13: 141–145. 2017.

Jiang X., Paulmann S., Robin J., Pell M. D. More than accuracy: Nonverbal dia-lects modulate the time course of vocal emotion recognition across cultures. J. Exp.Psychol.: Human Perception and Performance. 41: 597–612. 2015.

Lyakso E. Characteristics of infant’s vocalizations during the first year of life. Inter-national J. Psychophysiol. 30: 150-151. 1998.

Lyakso E., Frolova O. Emotion state manifestation in voice features: chimpanzees, human infants, children, adults. Lecture Notes in Computer Science. 9319. 201-208. 2015.

Kaya H., Salah A.A., Karpov A., Frolova O., Grigorev A., Lyakso E. Emotion, age, and gender classification in children's speech by humans and machines. Comput. Speech Lang. 46: 268-283. 2017.

Yildirim S., Narayanan S., Potamianos A. Detecting emotional state of a child in a conversational computer game. Comput. Speech Lang. 25 29–44.2011.

Lyakso E., Frolova O., Dmitrieva E., Grigorev A., Kaya H., Salah A.A., Karpov A. EMOCHILDRU: emotional child russian speech corpus. Lecture Notes in Computer Science. 9319: 144-152. 2015.

Иванова Е.С. Половозрастные особенности эмоционального интеллекта и его структурных компонентов. Образование и наука. 7(86): 65-74. 2011. [Ivanova E.S. Gender and age characteristics of emotional intelligence and its structural components. Education and sci. 7(86): 65-74. 2011. (In Russ)].

Ляксо Е. Е., Ноздрачев А. Д., Соколова Л. В. Возрастная физиология и психофизиология: учебник для среднего профессионального образования. М. Юрайт. 2016. [Lyakso E.E., Nozdrachev A.D., Sokolova L.V. Vozrastnaya fiziologiya i psihofiziologiya: uchebnik dlya srednego professional'nogo obrazovaniya.[Age physiology and psychophysiology: the textbook for undergraduate academic.]Moscow. Urait. 2016. (In Russ)].

Markova D., Richer L., Pangelian M., Schwartz D., Leonard G., Perron M., Pike G.B., Veilette S., Chakravarty M., Pausova Z., Paus T. Age- and sex-related variations in vocal-tract morphology and voice acoustic during adolescence. Hormones and Behavior. 84-96. 2016.

Grigorev A., Frolova O., Lyakso E. Acoustic features of speech of typically devel-oping children aged 5–16 years. Communic. Comput. Informat. Sci. AINL. 930: 152-163. 2018.

Ляксо Е.Е. Вокально-речевое развитие ребенка в первый год жизни. Рос. физиол.журн. им. И. М. Сеченова. 89(2): 207-218. 2003. [Lyakso E.E. Vocal and speech development of a child in the first year of life. Russ. J .Physiol. 89(2): 207-218. 2003. (In Russ)].

Pavlikova M.I., Makarov A.K., Lyakso E.E. Acoustic characteristics of vocalization reflecting the states of discomfort and comfort in babies aged three and six months Neurosci. Behav. Physiol. 47. (1): 40-46. 2017.

Ляксо Е.Е., Фролова О.В., Григорьев А.С., Соколова В.Д., Яроцкая К.А. Распознавание взрослыми эмоционального состояния типично развивающихся детей и детей с расстройствами аутистического спектра. Рос. физиол. журн. им. И. М. Сеченова. 102(6): 729-741. 2016. [Lyakso E.E., Frolova O.V., Grigorev A.S., Sokolova V.D., Yarotskaya K.A. Recognition by adults of emotional condition of typically developing children and children with autism spectrum disorders. Russ. J. Physiol. 102(6): 729-741. 2016. (In Russ)].

Lyakso E., Frolova O., Karpov A. A new method for collection and annotation of speech data of atypically developing children. In: Proc. of Internat. IEEE Conference on Sensor Networks and Signal Processing (SNSP 2018). 175-180. Xi'an. China. 2018.

Goldman-Eisler F. Speech Analysis and Mental Processes. Language and Speech. 1(1): 59–75. 1958.

Juslin P. N., Laukka P. Impact of intended emotion intensity on cue utilization and decoding accuracy in vocal expression of emotion. Emotion. 1(4): 381–412. 2001.

Lyakso E.E., Grigor'ev A.S. Dynamics of the duration and frequency characteristics of vowels during the first seven years of life in children. Neurosci. Behavi. Physiol. 45 (5):558-567. 2015.

Григорьев А.С., Ляксо Е.Е. Акустические характеристики гласных из слов детей 14-16 лет. Учен. зап. физического факультета московского университета. 5: 1750202. 2017. [Grigorev A.S., Lyakso E.E. Acoustic features of vowels from the words of children 14-16 years. Sci. notes Phys. Dep. Mosc. University. 5: 1750202. 2017. (In Russ)].

Stepanova S. Russian spontaneous speech – based on the speech corpus of Russian everyday interaction. In: ICPhS XVII. Hong Kong. 17-21 August 2011. 1902-1905. 2011.

Li Y., Li J., Akagi M. Contributions of the glottal source and vocal tract cues to emotional vowel perception in the valence-arousal space. J. Acoust. Soc. Am. 144(2):908. 2018.

Schelinski S., von Kriegstein K. The relation between vocal pitch and vocal emo-tion recognition abilities in people with autism spectrum disorder and typical develop-ment. J. Autism and Development. Disorders. 68-82. 2018.

Papakostas M., Siantikos G., Giannakopoulos T., Spyrou E., Sgouropoulos D. Recognizing Emotional States Using Speech Information. GeNeDis 2016. 155–164. 2017.

Jin Q., Li C., Chen S., & Wu H. Speech emotion recognition with acoustic and lexical features. In: 2015 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP), 4749-4753. 2015.

Stolar M., Lech M., Bolia R., Skinner M. Acoustic characteristics of emotional speech using spectrogram image classification. 12th Internat. Conference on Signal Proc. Commun. Systems (ICSPCS). Cairns. Australia. 17-19 December 2018. 1-6. 2018.

Коновалова Ю.О. Вьетнамцы и русские: отношение к эмоциям как проявление национальной культуры. Язык и культура. 38:51-69. 2017. [Konovalova Y.O. Vietnamese and Russian: related to emotions as an expression of national culture. Lang. and Culture. 38:51-69. 2017. (In Russ)].

Yazici K.U., Yazici I.P. Decreased theory of mind skills, increased emotion dysregulation and insight levels in adolescents diagnosed with obsessive compulsive disorder. Nord. J. Psychiatry. 73(7): 462-469. 2019.

Durbeej N., Sörman K., Norén Selinus E., Lundström S., Lichtenstein P., Hellner C., Halldner L. Trends in childhood and adolescent internalizing symptoms: results from Swedish population based twin cohorts. BMC Psychol. 2;7(1):50. 2019.

Zheng Y., Asbury K. Genetic and Environmental Influences on Adolescent Emotional Inertia in Daily Life. J. Youth Adolesc. 48(9):1849-1860. 2019.