ИРЭ им. В.А. Котельникова РАН English Войти Подать статью
Журнал радиоэлектроники Электронный научный журнал · eISSN 1684-1719
2022, № 11 · РАДИОТЕХНИКА

Обнаружение и отслеживание объектов на основе карты внимания для БПЛА

В.П. Федосов1, Р.Р. Ибадов1, С.Р. Ибадов1

1 Институт радиотехнических систем и управления, Южный Федеральный Университет, Таганрог
Полный текст DOI: 10.30898/1684-1719.2022.11.7 УДК 004.932 EDN NXRTSD

Аннотация

Обнаружение и отслеживание объектов - одна из важнейших областей компьютерного зрения, а также применение в беспилотных летательных аппаратах (БПЛА). Однако из-за сверхманевренности мобильной платформы БПЛА изображение в воздухе обычно размыто и имеет низкое отношение сигнал-шум, что связано с рабочей средой. Для решения проблемы обнаружения наземных объектов на платформе БПЛА, традиционные методы распознавания и классификации образов, часто являются неэффективными. Модель зрительного внимания является своего рода моделью бионического зрения с хорошей устойчивостью. В статье для обнаружения наземных объектов с использованием БПЛА, предлагается метод, основанный на модели визуального внимания, применяемый к сложному фону местности для обнаружения объектов. Чтобы быстро выделить наземные объекты на аэрофотоснимках, применяется функция извлеченного градиента для обнаружения области визуальной значимости, а затем с помощью алгоритма сегментации достигается выделение целевого изображения. Предметом исследования являются метод и алгоритм обнаружения наземных объектов на карте подстилающей поверхности с использованием модели визуального внимания и сегментирование объектов. Объектом исследования является набор видеопоследовательности карты местности с различным рельефом. Новизной работы является алгоритм, позволяющий обнаружить наземные цели на основе карты внимания с использованием алгоритма сегментации объектов. Предложен новый способ сегментации объектов на видеопоследовательности. Проведены экспериментальные исследования на основе видеопоследовательностей карты подстилающей поверхности с различным фоном и проведен анализ полученных результатов. Полученные результаты позволяют выявлять объекты в интересующей области. В результате решения сформулированных задач можно сделать следующие выводы: Разработан алгоритм обнаружения наземных объектов на основе карты внимания. Разработан алгоритм сегментации наземных объектов на основе карты градиентов. Анализ результатов проведённого исследования показал, что предложенный алгоритм позволяет обнаружить и выделить наземные объекты на карте местности с различным рельефом. Ключевые слова: карта внимания, обнаружение объектов, сегментация изображений, градиент, рельеф, БПЛА.

  • карта внимания
  • обнаружение объектов
  • сегментация изображений
  • градиент
  • рельеф
  • бпла
Abstract (in English)

Detection and tracking of objects based on saliency map for UA

Object detection and tracking is one of the most important areas of computer vision, as well as applications in unmanned aerial vehicles (UAVs). However, due to the ultra-maneuverability of the UAV mobile platform, the image in the air is usually blurry and has a low signal-to-noise ratio, which is associated with the working environment. To solve the problem of detecting ground objects on the UAV platform, traditional methods of pattern recognition and classification are often ineffective. The visual attention model is a kind of bionic vision model with good stability. In the article for the detection of ground objects using UAVs, a method based on the visual saliency model is proposed, applied to a complex terrain background for object detection. To quickly isolate terrestrial features in aerial photographs, the extracted gradient function is applied to detect an area of visual significance, and then the target image is extracted using a segmentation algorithm. The subject of the study is the method and algorithm for detecting ground objects on the map of the underlying surface using the visual saliency model and object segmentation. The object of the study is a set of video sequences of terrain maps with different terrain. The novelty of the work is an algorithm that allows detecting ground targets based on an attention map using an object segmentation algorithm. A new method for segmenting objects in a video sequence is proposed. Experimental studies were carried out on the basis of video sequences of the map of the underlying surface with different backgrounds and an analysis of the results obtained was carried out. The results obtained make it possible to identify objects in the region of interest. As a result of solving the formulated tasks, the following conclusions can be drawn: An algorithm for detecting ground objects based on an saliency map has been developed. An algorithm for segmentation of ground objects based on a gradient map has been developed. An analysis of the results of the study showed that the proposed algorithm makes it possible to detect and highlight ground objects on a map of terrain with different terrain.

Для цитирования

Федосов В.П., Ибадов Р.Р., Ибадов С.Р. Обнаружение и отслеживание объектов на основе карты внимания для БПЛА // Журнал радиоэлектроники. – 2022. – № 11. https://doi.org/10.30898/1684-1719.2022.11.7

Литература

  1. Mannan S.K., Kennard C., Husain M. The role of visual salience in directing eye movements in visual object agnosia. Current biology. 2009. V.19. №6. P.247-248. https://doi.org/10.1016/j.cub.2009.02.020
  2. Cheng M.M., Mitra N.J., Huang X., Torr P.H., Hu S.M. Global contrast based salient region detection. IEEE transactions on pattern analysis and machine intelligence. 2014. V.37. №3. P.569-582. https://doi.org/10.1109/tpami.2014.2345401
  3. Ko B.C., Nam J.Y. Object-of-interest image segmentation based on human attention and semantic region clustering. JOSAA. 2006. V.23. №10. P.2462-2470. https://doi.org/10.1364/josaa.23.002462
  4. Rutishauser U., Walther D., Koch C., Perona P. Is bottom-up attention useful for object recognition? Conference on Computer Vision and Pattern Recognition 2004. V.2. P.II-II. https://doi.org/10.1109/CVPR.2004.1315142
  5. Christopoulos C., Skodras A., Ebrahimi T. The JPEG2000 still image coding system: an overview. IEEE transactions on consumer electronics. 2000. V.46. №4. P.1103-1127. https://doi.org/10.1109/30.920468
  6. Zhang G.X., Cheng M.M., Hu S.M., Martin R.R. A shape-preserving approach to image resizing.Computer Graphics Forum. 2009. V.28. №7. P.1897-1906. https://doi.org/10.1111/j.1467-8659.2009.01568.x
  7. Chen T., Cheng M. M., Tan P., Shamir A., Hu S. M. Sketch2photo: Internet image montage. ACM transactions on graphics. 2009. V.28. №5. P.1-10. https://doi.org/10.1145/1618452.1618470
  8. Wang T., Zhang Y., Cai Z., Wang Y., You Z. Visual attention based target detection and tracking for UAVs. IEEE Chinese Guidance, Navigation and Control Conference. 2016. P.895-900. https://doi.org/10.1109/CGNCC.2016.7828904
  9. Toosy A.T., Ciccarelli O., Parker G.J., Wheeler-Kingshott C.A., Miller D.H., Thompson A.J. Characterizing function-structure relationships in the human visual system with functional MRI and diffusion tensor imaging. Neuroimage. 2004. V.21. №4. P.1452-1463. https://doi.org/10.1016/j.neuroimage.2003.11.022
  10. Gozli D.G., Moskowitz J.B., Pratt J. Visual attention to features by associative learning. Cognition. 2014. V.133. №2. P.488-501. https://doi.org/10.1016/j.cognition.2014.07.014
  11. Itti L., Koch C., Niebur E. A model of saliency-based visual attention for rapid scene analysis. IEEE Transactions on pattern analysis and machine intelligence. 1998. V. 20. №11. P.1254-1259. https://doi.org/10.1109/34.730558
  12. Gao D., Vasconcelos N. Decision-theoretic saliency: computational principles, biological plausibility, and implications for neurophysiology and psychophysics. Neural computation. 2009. V.21. №1. P.239-271. https://doi.org/10.1162/neco.2009.11-06-391
  13. Hou X., Zhang L. Saliency detection: A spectral residual approach. IEEE Conference on computer vision and pattern recognition. 2007. P.1-8. https://doi.org/10.1109/CVPR.2007.383267
  14. Wan-Yi L., Peng W., Hong Q. A survey of visual attention based methods for object tracking. Acta Automatica Sinica. 2014. V. 40. №.4. P.561-576.
  15. Fedosov V.P., Ibadov R.R., Ibadov S.R. Restoration of the Lost Area of the Underlying Surface Image Using the Saliency Map. IEEE Radiation and Scattering of Electromagnetic Waves. 2021. P.447-450. https://doi.org/10.1109/RSEMW52378.2021.9494112
  16. Fedosov V.P., Ibadov R.R., Ibadov S.R., Voronin V.V. Restoration of the Blind Zone of the Image of the Underlying Surface for Radar Systems with Doppler Beam Sharpening. IEEE Radiation and Scattering of Electromagnetic Waves. 2019. P.424-427. http://sci-hub.cc/10.1109/RSEMW.2019.8792685
  17. Kurita T., Otsu N., Abdelmalek N. Maximum likelihood thresholding based on population mixture models. Pattern recognition. 1992. V.25. №10. P.1231-1240. https://doi.org/10.1016/0031-3203(92)90024-D