Kotelnikov Institute of Radio Engineering and Electronics of RAS Русский Sign in Submit a paper
Journal of Radio Electronics Online scientific journal · eISSN 1684-1719
2019, № 11 · RADIO ELECTRONICS RELATED PROBLEMS

Using deep neural network training for the recognition of user voice commands

A.G. Romanyuk1,2, A.N. Smirnov1,2, V.M. Antonova1,2,3

1 Московский государственный технический университет им. Н.Э. Баумана, Moscow, Russia
2 Bauman Moscow State Technical University, Russia
3 Kotelnikov IRE RAS, Moscow, Russia
Full text (PDF) DOI: 10.30898/1684-1719.2019.11.18 EDN VJXHAZ

Abstract

This work is devoted to the use and development of speech recognition of neural networks. The process of neural network learning has been explored with the archive containing 7100 tracks with indexed tags. Speech signals in those tracks were converted into log-mel spectrograms. Neural network training has occurred onto an entering signal which possessed smooth distribution and normalization. The article describes the ability of the created network to recognize different spoken words and to determine whether the incoming signal is silence or a background noise which was achieved by working out 4000 samples of noise clips. The ability of the network to classify several converted incoming signals simultaneously regardless of the exact position of speech in time is investigated. The process of creating a virtual device that capable of reading the signal from a microphone with a certain sampling frequency of sound is described. The neural network has been obtained in this very project. It may be perfected for the comprehension of a bigger number of voice commands and use in various human activity spheres.

  • нейронные сети
  • глубокое обучение
  • распознавание речи
  • neural networks
  • deep learning
  • speech recognition
Аннотация (на русском)

Использование глубокого обучения нейросети для распознавания голосовых команд пользователя

Данная работа посвящена использованию сверточной нейронной сети для распознавания речи. Исследован способ обучения нейросети, произведенный на архиве из 7100 звуковых дорожек с проиндексированными метками, речевые сигналы в которых были преобразованы в log-mel спектрограммы. Обучение нейронной сети происходило на входящем сигнале, имеющем плавное распределение и нормализацию. В статье описана способность созданной сети распознавать разные произнесенные слова и определять, является ли входящий сигнал тишиной или фоновым шумом, что было достигнуто путем проработки 4000 образцов клипов шума. Рассматривается способность сети одновременно классифицировать несколько преобразованных входящих сигналов, независимо от точного положения речи во времени. Описан процесс создания виртуального устройства, способного считывать сигнал с микрофона с определенной частотой дискретизацией звука. В настоящей работе была получена нейросеть, которая может быть усовершенствована для понимания большего числа голосовых команд и использована в нескольких сферах жизнедеятельности человека.

For citation

Romanyuk A.G., Smirnov A.N., Antonova V.M. Using deep neural network training for the recognition of user voice commands // Journal of Radio Electronics. – 2019. – No. 11. https://doi.org/10.30898/1684-1719.2019.11.18

References

  1. База данных <speech_commands> [онлайн ресурс] URL: https://storage.googleapis.com/download.tensorflow.org/data/speech_commands_v0.01.tar.gz (дата обращения 17.11.2019)
  2. Справочник по Matlab [онлайн ресурс]. URL: http://radiomaster.ru/cad/matlab/index.php (дата обращения 16.11.2019)
  3. Сверточная нейронная сеть, часть 1: структура, топология, функции активации и обучающее множество [онлайн ресурс]. URL: https://habr.com/ru/post/348000/ (дата обращения 16.11.2019)
  4. Потемкин В.Г., Медведев В.С. Нейронные сети. MATLAB 6. Москва, "Диалог-МИФИ". 2002. 496 с.
  5. Мел-кепстральные коэффициенты (MFCC) и распознавание речи [онлайн ресурс] URL: https://habr.com/ru/post/140828/ (дата обращения 16.11.2019)