ИРЭ им. В.А. Котельникова РАН English Войти Подать статью
Журнал радиоэлектроники Электронный научный журнал · eISSN 1684-1719
2023, № 11 · РАДИОТЕХНИКА

Алгоритм сегментации для выделения движущихся объектов на основе реконструкции фона с использованием параметров шумовых характеристик

В.П. Федосов1, Р.Р. Ибадов1, С.Р. Ибадов1

1 Институт радиотехнических систем и управления, Южный Федеральный Университет, Таганрог
Полный текст DOI: 10.30898/1684-1719.2023.11.9 УДК 004.932 EDN OLVWZP

Аннотация

Одной из важнейших задач для обеспечения безопасности жизни является мониторинг объектов и отслеживание поведения людей в городской инфраструктуре с беспилотного летательного аппарата (БПЛА). Трудности возникают, когда БПЛА используется для наблюдения в зонах, доступ к которым затруднен или непригоден для человека и тогда возникает риск аварийных ситуаций. Поэтому анализ, реконструкция и отслеживание объектов могут помочь в решении сложившихся случаев. Являясь критической технологией компьютерного зрения и обработки видео, сегментация видеообъектов имеет далеко идущее прагматическое значение и важность для приложений. В данной работе предлагается алгоритм сегментации видеообъектов на основе реконструкции фона для извлечения движущихся объектов из видеоряда, снятого с БПЛА. В теоретической части работы рассмотрены методы обнаружения и сегментации движущихся объектов на основе алгоритмов вычитания фона, оптического потока фильтра Калмана. Предложена точная маска обнаружения изменений с учетом оценки порога шумовых характеристик, а также алгоритм обнаружения движений. Проведен качественный анализ ошибки реконструкции фона с использованием статистического критерия. Предложен модифицированный алгоритм получения маски обнаружения изменений (МОИ) с использованием порога, оцениваемого с помощью шумовых характеристик. Показаны результаты сегментации объектов, вычисления среднеквадратической погрешности реконструкции фона для предложенного метода при извлечении движущихся объектов Разработанный метод позволяет эффективно распознавать и извлекать движущиеся объекты на видеопоследовательности. Данный алгоритм подходит для случая, когда БПЛА замирает в воздухе. После реконструкции фона есть небольшие дефекты, которые могут быть устранены с помощью морфологических операций.

  • сегментация
  • реконструкция изображений
  • корреляция
  • дисперсия
  • бпла
Abstract (in English)

Segmentation algorithm for selecting moving objects based on background reconstruction using noise characteristics parameters

One of the most important tasks for ensuring life safety is monitoring objects and tracking the behavior of people in urban infrastructure from an unmanned aerial vehicle (UAVs). Difficulties arise when the UAVs is used for surveillance in areas that are difficult or unsuitable for humans to access, and then there is a risk of accidents. Therefore, analysis, reconstruction and tracking of objects can help in solving existing cases. As a critical technology in computer vision and video processing, video object segmentation has far-reaching pragmatic and application implications. In this paper, we propose an algorithm for segmenting video objects based on background reconstruction for extracting moving objects from a video sequence taken from a UAVs. In the theoretical part of the work, methods for detecting and segmenting moving objects are considered based on background subtraction algorithms, the optical flow of the Kalman filter. An exact mask for detecting changes is proposed, taking into account the estimate of the threshold of noise characteristics, as well as an algorithm for detecting movements. A qualitative analysis of the background reconstruction error was carried out using a statistical criterion. A modified algorithm for obtaining a change detection mask (MDM) using a threshold estimated using noise characteristics is proposed. The results of segmentation of objects, calculation of the root-mean-square error of background reconstruction for the proposed method when extracting moving objects are shown. The developed method allows you to effectively recognize and extract moving objects in a video sequence. This algorithm is suitable for the case when the UAVs freezes in the air. After the background reconstruction, there are small defects that can be eliminated using morphological operations.

Для цитирования

Федосов В.П., Ибадов Р.Р., Ибадов С.Р. Алгоритм сегментации для выделения движущихся объектов на основе реконструкции фона с использованием параметров шумовых характеристик // Журнал радиоэлектроники. – 2023. – № 11. https://doi.org/10.30898/1684-1719.2023.11.9

Литература

  1. Wang Q., Rao Y. Visual Analysis of Human Motion: A Survey on Recent Advances and Applications. IEEE Visual Communications and Image Processing (VCIP), 2018. Pp. 1-4. doi: 10.1109/VCIP.2018.8698618.
  2. Zhang, Y., Yang, S., Li, H., Xu, Z. Shadow tracking of moving target based on CNN for video SAR system. IEEE International Geoscience and Remote Sensing Symposium. 2018. Pp. 4399-4402. doi: 10.1109/IGARSS.2018.8518431.
  3. Pavithra G., Jose J. J., Chandrappa T. A. Real-time color classification of objects from video streams. IEEE International Conference on Recent Trends in Electronics, Information & Communication Technology (RTEICT), 2017. Pp. 1683-1686. doi: 10.1109/RTEICT.2017.8256886.
  4. ShangGuan H., Mukundan R. Video based motion capture in environments with non-stationary background. IEEE International Conference on Signals and Systems (ICSigSys), 2017. Pp. 44-49. doi: 10.1109/ICSIGSYS.2017.7967067.
  5. Makino, K., Shibata, T., Yachida, S., Ogawa, T., Takahashi, K. Moving-object detection method for moving cameras by merging background subtraction and optical flow methods. IEEE Global Conference on Signal and Information Processing, 2017. Pp.383-387. doi: 10.1109/GlobalSIP.2017.8308669
  6. Yu, T., Yang, J., Lu, W. Dynamic background subtraction using histograms based on fuzzy c-means clustering and fuzzy nearness degree. IEEE Access. 2019. Vol. 7. Pp. 14671-14679. doi: 10.1109/ACCESS.2019.2893771.
  7. Akilan, T., Wu, Q. J., Yang, Y. Fusion-based foreground enhancement for background subtraction using multivariate multi-model Gaussian distribution. Information Sciences, 2018. Vol. 430. Pp. 414-431. https://doi.org/10.1016/j.ins.2017.11.062
  8. Yao, R., Lin, G., Xia, S., Zhao, J., Zhou, Y. Video object segmentation and tracking: A survey. ACM Transactions on Intelligent Systems and Technology (TIST), 2020. Vol. 4. Pp. 1-47. https://doi.org/10.1145/3391743
  9. Liu, C., Wang, W., Shen, J., Shao, L. Stereo video object segmentation using stereoscopic foreground trajectories. IEEE transactions on cybernetics, 2018. Vol.49. No 10. Pp. 3665-3676. doi: 10.1109/TCYB.2018.2846361
  10. Yang, C., Lamdouar, H., Lu, E., Zisserman, A., Xie, W. Self-supervised video object segmentation by motion grouping. Proceedings of the IEEE/CVF International Conference on Computer Vision. 2021. Pp. 7177-7188. https://doi.org/10.48550/arXiv.2104.07658
  11. Zhuo, T., Cheng, Z., Zhang, P., Wong, Y., Kankanhalli, M. Unsupervised online video object segmentation with motion property understanding. IEEE Transactions on Image Processing, 2019. Vol. 29. Pp. 237-249. doi: 10.1109/TIP.2019.2930152
  12. Aung S. S., Kyu Z. M. Modified codebook algorithm with Kalman filter for foreground segmentation in video sequences.International Conference on Signal Processing and Communication (ICSPC), 2017. Pp. 332-336.
  13. Liu, G., Wu, H. C., Xiang, W., Ye, J., Wu, Y., Pu, L. Indoor object localization and tracking using deep learning over received signal strength. IEEE International Symposium on Broadband Multimedia Systems and Broadcasting. 2020. Pp. 1-6. doi: 10.1109/BMSB49480.2020.9379587
  14. Hong-qiang B. Research on video motion object segmentation for content-based application. Journal of Shanghai University (English Edition), 2006. Vol. 2. no. 10. - Pp. 142-143.
  15. Fedosov, V. P., Ibadov, S. R., Ibadov, R. R., Kucheryavenko, S. V. Method For Detecting Violation at a Pedestrian Crossing Using a Convolutional Neuaral Network. IEEE Radiation and Scattering of Electromagnetic Waves (RSEMW), 2021. Pp. 451-454. doi: 10.1109/RSEMW52378.2021.9494089.
  16. Fedosov V. P., Ibadov R. R., Ibadov S. R. Restoration of the Lost Area of the Underlying Surface Image Using the Saliency Map. IEEE Radiation and Scattering of Electromagnetic Waves (RSEMW), 2021. Pp. 447-450. doi: 10.1109/RSEMW52378.2021.9494112.
  17. Ibadov R. R., Ibadov, R. R., Gapon, N. V., Ibadov, S. R., Kucheryavenko, S. V. Image reconstruction using the modified texture synthesis algorithm IOP Conference Series: Materials Science and Engineering, 2021. Vol. 1029. no. 1. Pp. 012117. doi: 10.1088/1757-899X/1029/1/012117