Neuromorphic method for coding / restoring images specified by a stream of Poisson counts

Abstract

The paper discusses one of the possible neuromorphic methods for processing relatively large volumes of streaming data. The method is mainly motivated by the known mechanisms of sensory perception of living systems, in particular, methods of visual perception. In this regard, the main provisions of the method are discussed in the context of problems of encoding/recovering images on the periphery of the visual system. The proposed method is focused on representing input data in the form of a stream of discrete events (samples), similar to the discharge events of retinal neurons. For these purposes, a special representation of data streams is used in the form of a controlled size sample of counts (sampling representations). Based on the specifics of the sampling representation, the generative data model is naturally formalized in the form of a system of components distributed over the field of view. Within the framework of the generative model, the optimal coding problem is formulated into the problem of searching for maximum likelihood estimates. The solution to the last problem was carried out on the basis of structuring an array of components in the form of receptive fields model, embodying universal principles (including lateral inhibition) of the neural network of the brain. The mechanism of lateral inhibition is implemented in the model in the form of an antagonistic center / environment structure of the RP. Issues of image decoding are considered in the context of restoring spatial contrasts, which partly emulates the work of the so-called simple cells of the visual cortex. It is shown that the model of coupled ON-OFF decoding allows for the restoration of sharp image details in the form of emphasizing edges, and the connection of the method with the so-called retinex theory is noted.

• neuromorphic methods
• Poisson samples
• sampling representation
• receptive fields
• edge-directed image interpolation

Аннотация (на русском)

Метод нейроморфного кодирования / восстановления изображений, заданных пуассоновскими отсчетами

В работе рассмотрен один из возможных нейроморфных методов обработки относительно больших объемов потоковых данных. Метод в основном мотивирован известными механизмами сенсорного восприятия живых систем, в частности, методами зрительного восприятия. В этой связи основные положения метода обсуждаются в контексте задач кодирования / восстановления изображений на периферии зрительной системы. Предлагаемый метод ориентированы на представление входных данных в виде потока дискретных событий (отсчетов), аналогичных событиям разрядов нейронов сетчатки глаза. Для этих целей используется специальное представление потоков данных с помощью выборок отсчетов контролируемого размера (выборочных представлений). Основываясь на специфике выборочного представления естественным образом формализуется порождающая (генеративная) модель данных в виде системы распределенных по полю зрения компонент. В рамках генеративной модели задача оптимального кодирования сформулирована в задачу поиска максимально правдоподобных оценок. Решение последней задачи осуществлено на основе структурирования массива компонент в виде модели системы рецептивных полей (РП), воплощающих универсальные принципы (в т.ч. латерального торможения) нейронной сети мозга. Механизм латерального торможения реализован в модели в виде антагонистической структуры центр / окружение РП. Вопросы декодирования изображений рассматриваются в контексте восстановления пространственных контрастов, что отчасти эмитирует работу так называемых простых клеток зрительной коры. Показано, что модель связанного ON-OFF-декодирования допускает восстановление резких деталей изображения в виде подчеркивания границ, отмечается связь метода с положениями так называемой теорией ретинекса.

For citation

References

1. Nguyen G. et al. Machine learning and deep learning frameworks and libraries for large-scale data mining: a survey //Artificial Intelligence Review. - 2019. - Т. 52. - С. 77-124. DOI: https://doi.org/10.1007/s10462-018-09679-z.
2. Christensen D. V. et al. 2022 roadmap on neuromorphic computing and engineering // Neuromorph.Comput. Eng. - 2022. - Т. 2. - С. 022501. DOI: https://doi.org/10.1088/2634-4386/ac4a83
3. Antsiperov V. E. Generative Model of Autoencoders Self-Learning on Images Represented by Count Samples // Automation and Remote Control. - 2022. - Т. 83. - №. 12. - С. 1959-1983. https://doi.org/10.1134/S00051179220120098
4. Kuffler S. W. Discharge patterns and functional organization of mammalian retina // Journal of neurophysiology. - 1953. - Т. 16. - №. 1. - С. 37-68. https://doi.org/10.1152/jn.1953.16.1.37.
5. Marr D., Hildreth E. Theory of edge detection // Proceedings of the Royal Society of London. Series B. Biological Sciences. - 1980. - Т. 207. - №. 1167. - С. 187-217. https://doi.org/10.1098/rspb.1980.0020.
6. Bear M. F., Connors B. W., Paradiso M. A. The eye // Neuroscience: Exploring the Brain,. - 2007. - С. 277-307.
7. Allebach J., Wong P. W. Edge-directed interpolation // Proceedings of 3rd IEEE International Conference on Image Processing. - IEEE, 1996. - Т. 3. - С. 707-710. https://doi.org/10.1109/icip.1996.560768
8. Antsiperov V. New Centre/Surround Retinex-like Method for Low-Count Image Reconstruction // Proceedings of the 12th International Conference on Pattern Recognition Applications and Methods-ICPRAM. - SciTePress, 2023. - С. 517-528. https://doi.org/10.5220/0011792800003411
9. Antsiperov V., Kershner V. Retinotopic image encoding by samples of counts // International Conference on Pattern Recognition Applications and Methods. - Cham: Springer International Publishing, 2021. - С. 52-75. https://doi.org/10.1007/978-3-031-24538-1_3
10. Barrett H. H., White T., Parra L. C. List-mode likelihood // JOSA A. - 1997. - Т. 14. - №. 11. - С. https://doi.org/10.1364/JOSAA.14.002914
11. Young G. A., Smith R. L. Essentials of statistical inference. - Cambridge University Press, 2005. - Т. 16.
12. Land E. H. The retinex theory of color vision // Scientific American. - 1977. - Т. 237. - №. 6. - С. 108-129. https://doi.org/10.1038/scientificamerican1277-108.