ИРЭ им. В.А. Котельникова РАН English Войти Подать статью
Журнал радиоэлектроники Электронный научный журнал · eISSN 1684-1719
2025, № 1 · БИОМЕДИЦИНСКАЯ РАДИОЭЛЕКТРОНИКА

Универсальный программно-аппаратный комплекс для управления роботизированными устройствами на основе принципов работы синхронного или асинхронного интерфейсов "мозг-компьютер"

Д.В. Журавлёв1, А.Н. Голубинский2, А.А. Резниченко1

1 Воронежский государственный технический университет, Воронеж, Россия
2 Институт проблем передачи информации им. А.А. Харкевича РАН, Москва, Россия
Полный текст DOI: 10.30898/1684-1719.2025.1.1 УДК 004.032.26 EDN VTENFZ

Аннотация

В статье рассматриваются вопросы исследований и разработки основных модулей программно-аппаратного комплекса управления роботизированными устройствами посредством биоэлектрических сигналов головного мозга. Целью работы является разработка теоретических и практических основ реализации универсального программно-аппаратного комплекса управления роботизированными устройствами на основе интерфейсов «мозг-компьютер». Разработанный комплекс позволяет организовать его работу как на основе синхронного, так и асинхронного типов интерфейсов. В этом заключается универсальность комплекса. В статье приведены основные отличия асинхронных интерфейсов «мозг-компьютер» от синхронных. Для того чтобы осуществить корректную работу классификатора были разработаны и апробированы методики предварительной обработки данных для обоих случаев как для использования синхронного, так и асинхронного интерфейсов «мозг-компьютер». Разработана единая архитектура классификатора данных на основе модели многослойного персептрона, подходящая как для классификации волн P300 (при использовании синхронных интерфейсов), так и воображаемых движений (при использовании асинхронных интерфейсов). Проведена апробация системы, реализующая использование синхронного интерфейса «мозг-компьютер» в режиме онлайн. Средняя точность распознавания волн P300 составила 60% при циклическом повторении зрительных стимулов в непрерывном режиме работы системы. Также была проведена апробация системы, реализующая использование асинхронного интерфейса «мозг-компьютер», основанная на классификации моторных образов (воображаемых движений левой и правой рук). Средняя точность классификации в режиме онлайн составила 65%. Эффективность и актуальность интерфейсов «мозг-компьютер» асинхронного типа была подтверждена возможностью формировать управляющие сигналы на роботизированное устройство с помощью мысленных воображаемых движений оператора со средней точностью не ниже 65%. Причем система показала работоспособность с любым оператором без предварительной его тренировки. Это показывает целесообразность развития технологии неинвазивных интерфейсов «мозг-компьютер».

  • интерфейс "мозг-компьютер"
  • волна P300
  • Синхронный интерфейс
  • асинхронный интерфейс
  • классификация
  • моторные образы
  • программно-аппаратный комплекс
Abstract (in English)

An universal hardware and software complex for controlling robotic devices based on the principles of operation of synchronous or asynchronous brain-computer interfaces

The article discusses the issues of research and development of the main modules of the software and hardware complex for controlling robotic devices using bioelectric signals of the brain. The aim of the work is to develop theoretical and practical foundations for the implementation of a universal hardware and software control complex for robotic devices based on brain-computer interfaces. The developed complex allows you to organize its work on the basis of both synchronous and asynchronous interface types. This shows the versatility of the complex. The article presents the main differences between asynchronous brain-computer interfaces and synchronous ones. In order to ensure the correct operation of the classifier, data preprocessing techniques were developed and tested for both cases, both for the use of synchronous and asynchronous brain-computer interfaces. A unified data classifier architecture based on the multilayer perceptron model has been developed, suitable for both the classification of P300 waves (using synchronous interfaces) and imaginary movements (using asynchronous interfaces). A system has been tested that implements the uses of synchronous brain-computer interface online. The average accuracy of P300 wave recognition was 60% with cyclic repetition of visual stimuli in continuous operation of the system. A system was also tested that implements the use of an asynchronous brain-computer interface based on the classification of motor images (imaginary movements of the left and right hands). The average online classification accuracy was 65%. The effectiveness and relevance of asynchronous brain-computer interfaces has been confirmed by the ability to generate control signals to a robotic device using mental imaginary movements of the operator with an average accuracy of at least 65%. Moreover, the system has shown operability with any operator without prior training. This shows the expediency of developing the technology of non-invasive brain-computer interfaces.

Для цитирования

Журавлёв Д.В., Голубинский А.Н., Резниченко А.А. Универсальный программно-аппаратный комплекс для управления роботизированными устройствами на основе принципов работы синхронного или асинхронного интерфейсов "мозг-компьютер" // Журнал радиоэлектроники. – 2025. – № 1. https://doi.org/10.30898/1684-1719.2025.1.1

Литература

  1. Журавлев Д.В. Аппаратура для электроэнцефалографических исследований. - 2021.
  2. Schwartz A.B. Cortical neural prosthetics // Annu. Rev. Neurosci. - 2004. - Т. 27. - №. 1. - С. 487-507.
  3. Homer M.L. et al. Sensors and decoding for intracortical brain computer interfaces // Annual review of biomedical engineering. - 2013. - Т. 15. - №. 1. - С. 383-405.
  4. Станкевич Л.А. и др. Классификация электроэнцефалографических паттернов воображаемых движений пальцами руки для разработки интерфейса мозг-компьютер // Информатика и автоматизация. - 2015. - Т. 3. - №. 40. - С. 163-182.
  5. Mayorov O.Y., Fenchenko V.N. Multifractal analysis in the study of brain bioelectric activity // Zn. Kibernetika i vychislitel'naya tekhnika. - С. 81-94.
  6. Ганин И.П., Каплан А.Я. Изучение эффектов вариативности потенциалов мозга человека в интерфейсе мозг-компьютер на волне P300 // Вестник Российского государственного медицинского университета. - 2022. - №. 3. - С. 78-85.
  7. Сысков А.М., Борисов В.И., Петренко Т.С. Проектирование мультимодальных интерфейсов мозг-компьютер: учебно-методическое пособие. - 2023.
  8. Wetzel D. et al. Significance of EEG-electrode combinations while calculating filters with common spatial patterns // GMS German Medical Science. - 2024. - Т. 22. - С. Doc08.
  9. Chakole A.R. et al. Review of EEG signal classification // Information and Communication Technology for Intelligent Systems: Proceedings of ICTIS 2018, Volume 2. - Springer Singapore, 2019. - С. 105-114.
  10. Ловгонюк В.Н., Нусс Э.А. МОДЕЛИ И МЕТОДЫ АППАРАТНОЙ РЕАЛИЗАЦИИ ИСКУССТВЕННЫХ НЕЙРОННЫХ СЕТЕЙ // Science and technology innovations-2023. - 2023. - С. 100-109.
  11. Кондур А.А. и др. Восстановление двигательной функции руки после инсульта с помощью интерфейса "мозг-компьютер", управляющего экзоскелетом кисти: эффект повторных госпитализаций // Физиология человека. - 2020. - Т. 46. - №. 3. - С. 99-110.
  12. Gordleeva S.Y. et al. Exoskeleton control system based on motor-imaginary brain-computer interface // Современные технологии в медицине. - 2017. - Т. 9. - №. 3 (eng). - С. 31-36.
  13. Журавлёв Д.В., Резниченко А.А. Интерфейс мозг-компьютер на волне P300 с использованием нейронных сетей // Радиоэлектронная техника. - 2022. - С. 142-151.
  14. Roman-Gonzalez A. EEG signal processing for BCI applications // Human-computer systems interaction: backgrounds and applications. - 2012. - Т. 2. - С. 571-591.
  15. Zhang W. et al. A review of EEG-based brain-computer interface systems design // Brain Science Advances. - 2018. - Т. 4. - №. 2. - С. 156-167.
  16. Голубинский А.Н., Толстых А.А. О применении сверточных нейронных сетей для классификации моторики на основе сигналов ЭЭГ интерфейса мозг-компьютер // Наукосфера. - 2021. - №. 2-1. - С. 85-88.