УДК 621.396

Использование спектра Фурье изображения для ретуширования и восстановления отсутствующих частей искажённого аппаратной функцией изображения

 

А. В. Кокошкин, В. А. Коротков, К. В. Коротков, Е. П. Новичихин

Институт радиотехники и электроники им. В.А. Котельникова РАН,

Фрязинский филиал

 

Статья поступила в редакцию 29 июня 2016 г.

 

Аннотация.  В работе предложен и исследован метод интерполяции последовательного вычисления спектра Фурье, позволяющий ретушировать и восстанавливать отсутствующие (затенённые) части изображения. Особенностью рассматриваемого метода является то, что его можно использовать при любой форме отсутствующего фрагмента изображения. Восстановление искажённого АФ ретушированного предложенным методом изображения даёт менее выраженные артефакты по сравнению с результатами линейной интерполяции. Ретуширование и восстановление изображения может дать хорошие результаты даже при значительной доле отсутствующего изображения.

Ключевые слова: интерполяция, ретуширование и восстановление изображений, спектр Фурье.

Abstract.  The work proposed and investigated the method of interpolation sequentially calculating the Fourier spectrum which allows you to retouch and restore the missing (shaded) parts of the image. The distortion of the images  of the objects can be described in terms of convolution equations [1.2] with the appropriate instrumental function (IF). Image restoration is complicated by the need to determine the type of IF and its parameters. Different objects presented in the image may be distorted by different IF. Furthermore, objects may overshade each other. A number of studies considered the possibility of the restoration is partially shaded images [3-5]. We used replacement (retouching) shading objects for an image obtained by linear interpolation [3-5]. On the reconstructed image  the artifacts caused by retouching are appeared. If the shape of the shading object is different from  rectangle, the difficulty in applying linear interpolation increases.

A number of studies [6-13] considered the possibility of retouching the missing parts of the image using wavelets, different types of interpolation (bilinear, spline, trigonometric, polynomial). Using these techniques for retouching shading objects to further restoration of the image distorted by IF, is possible. However, the  arbitrary shape of the shading object and the appearance of additional artifacts caused by such retouching, limit the applicability of these methods.

The following conclusions can be drawn from this study:

1. Interpolation Method of Sequential Computation of the Fourier spectrum (IMSCS) allows you to retouch missing (shaded) part of the image.

2. Unlike IMSCS, linear interpolation can be used in any form of a missing parts of the image.

3. Restoring images, which were distorted by IF and retouched with help of  IMSCS makes artifacts less noticed in  comparision with the results of the linear interpolation.

4. Retouching and IMSCS image restoration can give good results even with a large part  of the missing image (see. Figure 6, 9 and 10).

Key words: interpolation, retouching and restoration of images, Fourier spectrum.

 

Введение

Искажение изображений объектов может быть описано на основе уравнения свертки [1,2] с соответствующей аппаратной функцией (АФ). Восстановление изображений осложняется необходимостью определения вида АФ и ее параметров. Разные объекты, присутствующие на изображении, могут быть искажены разными АФ. Кроме этого, объекты могут затенять друг друга. В ряде работ рассматривалась возможность восстановления частично затененных изображений [3-5]. Для этого использовалась замена (ретуширование) затеняющих объектов на изображение, полученное с помощью линейной интерполяции [3-5]. На восстановленном изображении появлялись артефакты, вызванные ретушированием. Если форма затеняющего объекта отличается от прямоугольной, то трудности в применении линейной интерполяции возрастают. В ряде работ [6-13] рассматривалась возможность ретуширования отсутствующих частей изображения с помощью вейвлетов, различных видов интерполяции (билинейной, сплайновой, тригонометрической, полиномиальной). Использование этих способов для ретуширования затеняющих объектов с целью дальнейшего восстановления искаженного АФ изображения возможно. Однако предполагаемая произвольная форма затеняющего объекта и появление дополнительных артефактов, вызванных таким ретушированием, ограничивают возможности применения этих методов. В этой работе рассматривается способ ретуширования с помощью спектра Фурье изображения.

 

Описание метода ретуширования и полученные результаты

На рис.1А приведено расфокусированное изображение («изображение» АФ представляет собой круг радиуса S0=10 пикс.) с отсутствующей частью в виде прямоугольника размерами 8х240 пикселей.

         Для успешного восстановления расфокусированного изображения нам необходимо так ретушировать отсутствующую часть, чтобы спектр полученного изображения не отличался от полного изображения. То есть заполнение отсутствующей части изображения нужно делать на основе спектра присутствующей части изображения. Сделаем это следующим образом.

Вычислим спектр Фурье и используем только 0 составляющую для заполнения отсутствующей части изображения. Результат представлен на рис.1Б.

 

    

А                                                                 Б

 

Рис.1.  Искажённое расфокусированное (S0=10) изображение с отсутствующей частью
в виде прямоугольника размерами 8х240 пикселей - А.
Изображение с прямоугольником, заполненным усреднённой по изображению
яркостью (0 составляющая спектра Фурье) -Б.

 

Далее вычислим спектр изображения рис.1Б и заполним отсутствующую часть изображения рис.1А изображением, вычисленным из 0 и 1 составляющей спектра рис.1Б. Продолжим это делать вплоть до максимальных частот, присутствующих на рис.1А.

На рис.2А - Г представлены изображения, полученные таким образом на основе первых 3 (0 - 2), 5 (0 – 4), 9 (0 – 8) и 17 (0 – 16) частот соответственно.

 

 

    

А                                                       Б

    

В                                                         Г

 

Рис.2. Ретушированные изображения с помощью 3, 5, 9, 17 составляющей спектра – А, Б, В и Г соответственно.

 

         Сравнение рис1Б и рис2А - Г показывает, что постепенно ретушируемый прямоугольник заполняется изображением, все более соответствующим окружающему изображению.

На рис.3 представлены изображения, полученные из рис.1А с помощью линейной интерполяции, использованной в работах [3 - 5] и с помощью метода интерполяции последовательного вычисления спектра Фурье (МИПВС).

 

    

А                                                         Б

Рис.3. Изображения, полученные из рис.1А с помощью метода интерполяции
последовательного вычисления спектра Фурье (МИПВС) – А
и с помощью линейной интерполяции – Б.

Изображения, восстановленные из рис.3 с помощью метода Винера, представлены на рис.4.

 

    

А                                                               Б

Рис.4. Восстановленные с помощью метода Винера из рис.3А (МИПВС), из рис.3Б (линейная интерполяция) – соответственно А и Б.

 

Сравнение рис.4А и рис.4Б позволяет сделать вывод о лучшей интерполяции МИПВС (рис.4А) по сравнению с линейной интерполяцией (рис.4Б). Рассматриваемый метод МИПВС легко позволяет ретушировать любую форму отсутствующей части изображения. В качестве примера на рис.5 приведены изображения с отсутствующей частью в виде линии, ретушированное и восстановленное изображения.

 

                  

А                                         Б                                           В

Рис.5. Расфокусированное (S0=10) изображение с отсутствующей
частью в виде линии шириной 10 пикс. – А,
ретушированное и восстановленные изображения – Б и В соответственно.

 

Практика показывает, что ретуширование с помощью МИПВС может быть успешно и в случае неискаженных (чётких) изображений. На рис.6А представлено изображение с отсутствующей частью в виде пакета прямоугольников высотой 8 пикс. Рис.6Б иллюстрирует результаты ретуширования рис.6А с помощью МИПВС.

Рис.6Б показывает достаточно высокое качество ретуширования отсутствующей части рис.6А.

 

    

А                                            Б

Рис.6. Изображение с отсутствующей частью в виде пакета прямоугольников
шириной 8 пикс. – А, изображение, ретушированное с помощью МИПВС – Б.

Интересно рассмотреть деформацию амплитудного спектра, происходящую в процессе ретуширования – рис.7.

А                                              Б                                   В

Рис.7. Логарифмированные амплитудные спектры: А – исходного изображения,
Б  – изображения с отсутствующей частью (рис.6А),  В – ретушированного изображения (рис.6Б).

 

         Сравнение рис.7А-В позволяет сделать вывод о хорошем восстановлении амплитудного спектра в процессе ретуширования. Об этом же свидетельствует рис.8, на котором представлены разрезы амплитудных спектров рис.7А-В.

 

Рис.8. Разрезы амплитудных спектров изображений: исходного – красная линия,
с отсутствующей частью – синяя линия и ретушированного – зелёная линия.

         На рис.9 представлено изображение, имеющее отсутствующие части в виде линии и многочисленные блоки различной формы, и ретушированное изображение.

 

    

А                                                                Б

Рис.9. Изображение, имеющее отсутствующие части в виде линии и
многочисленные блоки различной формы – А, ретушированное изображение – Б.

 

         Рис.9 иллюстрирует достаточно высокое качество ретуширования МИПВС. В том случае, когда отсутствует большая часть изображения, успешное ретуширование с помощью МИПВС тоже возможно при выполнении условия в среднем равномерного распределения блоков отсутствующей части изображения.

         На рис.10 представлены изображения с различной долей отсутствующей части изображения и изображения, ретушированные с помощью МИПВС.

 

    

А (40%)                                                        Б

  

В (55%)                                                     Г

 

 

Д (71%)                                              Е

Рис.10. Изображения с различной долей Del отсутствующей части изображения
(А – Del=40%, В – Del=55% и Д – Del=71%) и соответствующие им ретушированные изображения (Б, Г и Е).

 

         На рис.10 видно, что с увеличением доли отсутствующего изображения качество отретушированных изображений падает, хотя и остаётся достаточно высоким.

         Метод ретуширования МИПВС, описанный в этой работе, может быть использован для удаления импульсного шума на изображениях после определения расположения повреждённых пикселей [13].

 

Выводы

1.     Метод интерполяции последовательного вычисления спектра Фурье (МИПВС) позволяет ретушировать отсутствующие (затенённые) части изображения.

2.     В отличие от линейной интерполяции, МИПВС можно использовать при любой форме отсутствующей части изображения.

3.     Восстановление искажённого АФ ретушированного МИПВС изображения даёт менее выраженные артефакты по сравнению с результатами линейной интерполяции.

4.     Ретуширование и восстановление МИПВС изображение может дать хорошие результаты даже при значительной доле отсутствующего изображения (см. рис.6, 9 и 10).

 

Литература

1. Р. Гонсалес,  Р. Вудс. Цифровая обработка изображений. М. «Техносфера» , 2005, 1071 стр.

2. Ю. В. Гуляев, А. Ю. Зражевский, А. В. Кокошкин, В. А. Коротков,  В. А. Черепенин «Коррекция пространственного спектра, искаженного оптической системой, с помощью метода опорного изображения. Часть 2. Адаптивный метод опорного изображения (АМОИ)».  //  Журнал радиоэлектроники [электронный журнал]. 2013. №12. URL: http://jre.cplire.ru/jre/dec13/2/text.html.

3. А.В.Кокошкин, В. А. Коротков,  Е.П. Новичихин. «Эффекты полузатенения при восстановлении изображений, искажённых смазом».  // Журнал Радиоэлектроники [электронный журнал].   2014, №9 http://jre.cplire.ru/jre/sep14/3/text.html

4. А. Ю. Зражевский, В. А. Коротков, К. В. Коротков. «Эффекты полузатенения на изображении, сформированном объективом с большой апертурой».  //  Журнал Радиоэлектроники [электронный журнал]. , 2014, №9. URL: http://jre.cplire.ru/jre/sep14/7/text.html

5. А. Ю. Зражевский, А. В. Кокошкин, В. А. Коротков,  В. «Восстановление дефокусированного частично затенённого изображения.»  // Журнал радиоэлектроники [электронный журнал]. 2014. №10. URL: http://jre.cplire.ru/jre/oct14/9/text.html

6. Jong-Keuk Lee   Ji-Hong Kim   Jin-Seok Seo. Adaptive Recovery of Image Blocks Using Spline Approach. // IJCSNS International Journal of Computer Science and Network Security, VOL.11 No.2, February 2011.

7. Jiho Park, Dong-Chul Park, R.J. Mark, M.A. El-Sharkawi. Block loss recovery in DCT image encoding using POCS. Conference Paper (PDF Available) · January 2002 with 25 Reads

DOI: 10.1109/ISCAS.2002.1010686 · Source: DBLP
Conference: Circuits and Systems, 2002. ISCAS 2002. IEEE International Symposium on, Volume: 5

8. T. Strohmer, “Computationally attractive reconstruction of bandlimited images from irregular samples,” IEEE Trans. on Image Processing, 6 (4), pp 540-548, Apr. 1997.

9. Chen Chen ,  Eric W. Tramel, James E. Fowler. Compressed-Sensing Recovery of Images and Video Using Multihypothesis Predictiobs. 2011 Conference Record of the Forty Fifth Asilomar Conference on Signals, Systems and Computers (ASILOMAR).

10. Seung Hwa Hyun ; Sang Soo Kim ; Byoung Chul Kim ; Il Kyu Eom. Efficient Directional Interpolation for Block Recovery Using Difference Values of Border Pixels. Image and Signal Processing, 2008. CISP '08. Congress on  (Volume:3 ).

11. Ching-Tang Hsieh , Yen-Liang Chen and Chih-Hsu Hsu. Fast Image Restoration Method Based on the Multi-Resolution Layer. Tamkang Journal of Science and Engineering, Vol. 12, No. 4, pp. 439-448 (2009).

12. Jiho Park, Dong-Chul Park, Robert J. Marks, Fellow, Mohamed A. El-Sharkawi. Recovery of image blocks using the method of alternating projections. // IEEE TRANSACTIONS ON IMAGE PROCESSING, VOL. 14, NO. 4, APRIL 2005.

13. Seung Hwa Hyuna, Il Kyu Eomb, Yoo Shin Kim. Directional Filtering for Block Recovery Using Wavelet Features. Proc. SPIE 5960, Visual Communications and Image Processing 2005, 59600Z (31 July 2006); doi:10.1117/12.631414.

14. Белим С. В., Майоров-Зильбернагель А. О. «Алгоритм поиска повреждённых пикселей и удаления импульсного шума на изображениях с использованием метода ассоциативных правил». // Наука и Образование. МГТУ им. Н.Э. Баумана.  2014. № 12. С. 716–737.