ИРЭ им. В.А. Котельникова РАН English Войти Подать статью
Журнал радиоэлектроники Электронный научный журнал · eISSN 1684-1719
2019, № 11 · СМЕЖНЫЕ ПРОБЛЕМЫ РАДИОЭЛЕКТРОНИКИ

Использование глубокого обучения нейросети для распознавания голосовых команд пользователя

А.Г. Романюк1,2, А.Н. Смирнов1,2, В.М. Антонова1,2,3

1 Московский государственный технический университет им. Н.Э. Баумана, Москва, Россия
2 Bauman Moscow State Technical University, Россия
3 ИРЭ им. В.А. Котельникова РАН, Москва, Россия
Полный текст (PDF) DOI: 10.30898/1684-1719.2019.11.18 EDN VJXHAZ

Аннотация

Данная работа посвящена использованию сверточной нейронной сети для распознавания речи. Исследован способ обучения нейросети, произведенный на архиве из 7100 звуковых дорожек с проиндексированными метками, речевые сигналы в которых были преобразованы в log-mel спектрограммы. Обучение нейронной сети происходило на входящем сигнале, имеющем плавное распределение и нормализацию. В статье описана способность созданной сети распознавать разные произнесенные слова и определять, является ли входящий сигнал тишиной или фоновым шумом, что было достигнуто путем проработки 4000 образцов клипов шума. Рассматривается способность сети одновременно классифицировать несколько преобразованных входящих сигналов, независимо от точного положения речи во времени. Описан процесс создания виртуального устройства, способного считывать сигнал с микрофона с определенной частотой дискретизацией звука. В настоящей работе была получена нейросеть, которая может быть усовершенствована для понимания большего числа голосовых команд и использована в нескольких сферах жизнедеятельности человека.

  • нейронные сети
  • глубокое обучение
  • распознавание речи
  • neural networks
  • deep learning
  • speech recognition
Abstract (in English)

Using deep neural network training for the recognition of user voice commands

This work is devoted to the use and development of speech recognition of neural networks. The process of neural network learning has been explored with the archive containing 7100 tracks with indexed tags. Speech signals in those tracks were converted into log-mel spectrograms. Neural network training has occurred onto an entering signal which possessed smooth distribution and normalization. The article describes the ability of the created network to recognize different spoken words and to determine whether the incoming signal is silence or a background noise which was achieved by working out 4000 samples of noise clips. The ability of the network to classify several converted incoming signals simultaneously regardless of the exact position of speech in time is investigated. The process of creating a virtual device that capable of reading the signal from a microphone with a certain sampling frequency of sound is described. The neural network has been obtained in this very project. It may be perfected for the comprehension of a bigger number of voice commands and use in various human activity spheres.

Для цитирования

Романюк А.Г., Смирнов А.Н., Антонова В.М. Использование глубокого обучения нейросети для распознавания голосовых команд пользователя // Журнал радиоэлектроники. – 2019. – № 11. https://doi.org/10.30898/1684-1719.2019.11.18

Литература

  1. База данных <speech_commands> [онлайн ресурс] URL: https://storage.googleapis.com/download.tensorflow.org/data/speech_commands_v0.01.tar.gz (дата обращения 17.11.2019)
  2. Справочник по Matlab [онлайн ресурс]. URL: http://radiomaster.ru/cad/matlab/index.php (дата обращения 16.11.2019)
  3. Сверточная нейронная сеть, часть 1: структура, топология, функции активации и обучающее множество [онлайн ресурс]. URL: https://habr.com/ru/post/348000/ (дата обращения 16.11.2019)
  4. Потемкин В.Г., Медведев В.С. Нейронные сети. MATLAB 6. Москва, "Диалог-МИФИ". 2002. 496 с.
  5. Мел-кепстральные коэффициенты (MFCC) и распознавание речи [онлайн ресурс] URL: https://habr.com/ru/post/140828/ (дата обращения 16.11.2019)