Detection of abrupt intensity changes in speech signals based on the receptive field concept

Abstract

This paper explores the feasibility of automatic detection of vowel and word boundaries in speech signals represented in a sampled form of a neuromorphic model of the peripheral stage of the biological auditory perception system. An algorithmic approach is proposed that performs sequential processing of speech signals to detect the temporal boundaries of speech elements. At the initial stage, a sharpness intensity index is calculated using a system of temporal receptive fields, allowing for the identification of candidate segment boundaries. This is followed by event selection for the onset and offset of speech fragments and subsequent verification of vowel boundaries based on the local average spiking activity. To enhance the detection of word boundaries, the method further incorporates envelope analysis with adaptive thresholding, ensuring robustness and reproducibility of the segmentation results. The algorithm's performance was objectively evaluated using manually annotated time-aligned vowel boundaries, enabling the calculation of root mean square error and coincidence metrics. The results demonstrate high detection accuracy, reaching precision on the order of tens of milliseconds for word boundaries, thereby confirming the practical viability of the proposed approach. The method shows elevated sensitivity at vowel offsets, occasionally resulting in false detections, which indicates the need for incorporating adaptive contextual rules. The proposed system is suitable for real-time speech signal analysis and segmentation tasks.

• speech segmentation
• Vowel detection
• word boundaries
• neuromorphic processing
• auditory perception model
• receptive fields
• spiking activity
• event detection
• speech signal processing
• acoustic analysis

Аннотация (на русском)

Обнаружение резких изменений интенсивности речевого сигнала на основе концепции рецептивных полей

В статье рассматривается возможность автоматического выделения временных границ слов и вокализованных звуков в речевом сигнале, представленном в выборочном представлении нейроморфной модели периферического отдела биологической слуховой системы человека. Предложен методический подход, реализующий последовательную обработку речевых сигналов для детектирования временных границ речевых элементов. На первом этапе с использованием временных рецептивных полей формируются признаки резкого изменения интенсивности сигнала, позволяющие определить потенциальные границы речевых фрагментов. Далее осуществляется фильтрация событий начала и окончания речевых сегментов по интенсивности сигнала и показателю максимальной частоты спайков. Для вычисления точности определения границ слов методом рецептивных полей использовался также анализ огибающей сигнала с применением пороговых значений, обеспечивающих устойчивость и воспроизводимость результата. Объективная оценка качества расчетов временных границ звуков методом рецептивных полей проведена путём расчетов среднеквадратичной ошибки результата в сравнении с ручной разметкой. Полученные результаты демонстрируют высокую точность детектирования, достигающую уровня десятков миллисекунд, что подтверждает практическую применимость предложенного метода. Отмечена избыточная чувствительность метода на окончаниях гласных, приводящая к ложным срабатываниям, что указывает на необходимость внедрения адаптивных контекстных правил. Представленный метод может быть использован в задачах анализа и сегментации речевых сигналов в реальном времени.

For citation

References

1. Bello J.P., Daudet L., Abdallah S., Duxbury C., Davies M., Sandler M.B. A Tutorial on Onset Detection in Music Signals // IEEE Transactions on Speech and Audio Processing. 2005. Vol. 13, No. 5. P. 1035-1047. https://doi.org/10.1109/TSA.2005.851998
2. Osses A., Varnet L., Carney L.H., Dau T., Bruce I.C., Verhulst S., Majdak P. A comparative study of eight human auditory models of monaural processing // Acta Acustica. 2022. Vol. 6. P. 17. https://doi.org/10.1051/aacus/2022008
3. de Cheveigné A. Simple and efficient auditory-nerve spike generation // bioRxiv. 2023. https://doi.org/10.1101/2023.05.02.539135
4. Land E.H., McCann J.J. Lightness and Retinex Theory // Journal of the Optical Society of America. 1971. Vol. 61, №1. P. 1-11. https://doi.org/10.1364/JOSA.61.000001
5. V.E. Antsiperov, M.M. Gutorov, Signal Intensity Change Point Detection by System of Overlapped Receptive Fields Based on Modeling Perception Mechanisms of Living Sensory Systems // Proc. 25th International Conference on Digital Signal Processing (DSP 2025), Costa Navarino, Greece. 2025. (to appear).
6. Boersma, P.; Weenink, D. Praat: doing phonetics by computer. Version 6.4.42 [Электронный ресурс]. - Amsterdam: University of Amsterdam, 1992-. - Режим доступа: http://www.fon.hum.uva.nl/praat/ (дата обращения 14.09.2025)