Kotelnikov Institute of Radio Engineering and Electronics of RAS Русский Sign in Submit a paper
Journal of Radio Electronics Online scientific journal · eISSN 1684-1719
2021, № 9 · BIOMEDICAL RADIO ELECTRONICS

Image coding by count sample, motivated by the mechanisms of light perception in the human visual system

V.E. Antsiperov1, V.A. Kershner1, R.A. Efimov2

1 Kotelnikov IRE RAS, Moscow, Russia
2 Moscow State University of Railway Engineering, Moscow, Russia
Full text (PDF) DOI: 10.30898/1684-1719.2021.9.2 UDC 004.932.1 EDN XYEIBN

Abstract

The paper presents the results of a study of input video data adequate formation/coding in modern imaging systems. Adequacy is understood here as the maximal correspondence between the ways of the radiation registration by material detectors and the ways of data coding in the retina of the human visual system. In this connection, the paper discusses general statistical issues of (photo) counts photoelectric detection and, on this basis, formalizes the concept of an ideal image formation by (ideal) visualization device. The problems arising in practice when working directly with ideal images are discussed and a method of their reduction to count sample of fixed (controllable) size, which, in fact, constitute the representation (coding) of registered data, is proposed. Results of illustrative computational experiments on count coding of the common digital images given by pixel data are presented. Examples of count samples of different sizes generated for the tested digital image are given. Based on the given results, the dependence of characteristics of sampling representations on the parameter of sample size is discussed.

  • image coding/representation
  • spad image sensor
  • Photocounts
  • ideal imaging device
  • ideal image concept
  • image sample representation
  • dsp camera
Аннотация (на русском)

Кодирование изображений выборками отсчетов, мотивированное механизмами регистрации излучения в зрительной системе человека

В данной работе приводятся результаты исследования вопросов наиболее адекватного в смысле моделирования механизмов формирования зрительной системой человека входных видеоданных. Адекватность здесь понимается как максимальное соответствие способов представления данных регистрации падающего излучения материальными детекторами способам кодирования данных в сетчатке зрительной системы. В этой связи в работе обсуждаются общие статистические вопросы формирования (фото) отсчетов и на их основе формализуется концепция идеального устройства формирования (идеальных) изображений. Обсуждаются возникающие на практике проблемы при работе непосредственно с “идеальными” изображениями и предлагается способ их редукции к выборкам отсчетов фиксированного (контролируемого) размера, которые, собственно, и составляют представление данных регистрации. Приведены результаты иллюстративных вычислительных экспериментов по выборочному кодированию обычных цифровых изображений, заданных пиксельными данными. В частности, приведены примеры сгенерированных для заданного цифрового изображения выборок отсчетов разных размеров. На основе приведенных результатов обсуждается зависимость характеристик отсчетных представлений от размеров выборки.

For citation

Antsiperov V.E., Kershner V.A., Efimov R.A. Image coding by count sample, motivated by the mechanisms of light perception in the human visual system // Journal of Radio Electronics. – 2021. – No. 9. https://doi.org/10.30898/1684-1719.2021.9.2

References

  1. Fox M. Quantum Optics: An Introduction. New York, Oxford U. Press. 2006. 400 p. https://doi.org/10.1063/1.2784691
  2. Holst G.C. CMOS/CCD sensors and camera systems. Bellingham, SPIE Press. 2011. 408 p. https://doi.org/10.1117/3.2524677
  3. Fossum E.R., Teranishi N., et al. Photon-Counting Image Sensors. Basel, MDPI. 2017. 366 p. https://doi.org/10.3390/books978-3-03842-375-1
  4. Robbins M. Electron-Multiplying Charge Coupled Devices-EMCCDs. Single-Photon Imaging. 2011. P.103-121. https://doi.org/10.1007/978-3-642-18443-7_6
  5. Dutton N.A.W., Gyongy I., Parmesan L., et al. A SPAD-based QVGA image sensor for single-photon counting and quanta imaging. IEEE Transactions on Electron Devices. V.63. №1. 2016. P.189-196. https://doi.org/10.1109/TED.2015.2464682
  6. Aull B.F., Schuette D.R., Young D.J., et al. A study of crosstalk in a 256x256 photon counting imager based on silicon Geiger-mode avalanche photodiodes. IEEE Sensors Journal. V.15. №4. 2015. P.2123-2132. https://doi.org/10.1109/JSEN.2014.2368456
  7. Gonzalez R.C., Woods R.E. Digital Image Processing (3rd Edition). Prentice Hall Inc. 2007. 976 p.
  8. Gabriel C.G., Perrinet L., et al. Biologically Inspired Computer Vision: Fundamentals and Applications. Weinheim, Wiley-VCH. 2015. 480 p. http://doi.org/10.1002/9783527680863
  9. Rodieck, R.W. The First Steps in Seeing. Massachusetts, Sinauer Associates. 1998. 568 p.
  10. Barber D. Bayesian Reasoning and Machine Learning. Cambridge, Cambridge Univ. Press. 2012.
  11. Morimoto K., Ardelean A., et al. Megapixel time-gated SPAD image sensor for 2D and 3D imaging applications. Optica. 2020. V.7. №4. P.346-354. https://doi.org/10.1364/optica.386574
  12. Goodman J.W. Statistical Optics (2nd. Edition). New York, Wiley. 2015. 544 p.
  13. Pal N.R., Pal S.K. Image model, poisson distribution and object extraction. International Journal of Pattern Recognition and Artificial Intelligence. 1991. V.5. №3. P.459-483. https://doi.org/10.1142/S0218001491000260
  14. Antsiperov V. Maximum Similarity Method for Image Mining. Proceedings of the Pattern Recognition ICPR International Workshops and Challenges. 2021. V.12665. P.301-313. https://doi.org/10.1007/978-3-030-68821-9_28
  15. Koch K., McLean J., et al. How much the eye tells the brain? Current biology. 2006. V.16. №14. P.1428-1434. https://doi.org/10.1016/j.cub.2006.05.056
  16. Streit R.L. Poisson Point Processes: Imaging, Tracking and Sensing. New York, Springer. 2010. 273 p. https://doi.org/10.1007/978-1-4419-6923-1
  17. Gallager R. Stochastic Processes: Theory for Applications. Cambridge, Cambridge University Press. 2013. 553 p. https://doi.org/10.1017/CBO9781139626514
  18. Antsiperov V. Machine Learning Approach to the Synthesis of Identification Procedures for Modern Photon-Counting Sensors. Proceedings of the 8th International Conference on Pattern Recognition Applications and Methods ICPRAM. 2019. P.814-821. https://doi.org/10.5220/0007579208140821
  19. Bertero M., Boccacci P., Desidera G., Vicidomini G. Image deblurring with Poisson data: from cells to galaxies. Inverse Problems. 2009. V.25. №12. P.123006. https://doi.org/10.1088/0266-5611/25/12/123006
  20. Robert C.P., Casella G. Monte Carlo Statistical Methods (2-nd edition). New York, Springer-Verlag, 2004. 649 p. https://doi.org/10.1007/978-1-4757-4145-2
  21. The USC-SIPI Image Database. University of Southern California. 2021/08/21. http://sipi.usc.edu/database
  22. Silverman B.W. Density Estimation for Statistics and Data Analysis. London, Chapman & Hall/CRC. 1998. https://doi.org/10.1201/9781315140919