"ЖУРНАЛ РАДИОЭЛЕКТРОНИКИ" N 2, 2015

оглавление

УДК 621.396

Компенсация краевых эффектов при восстановлении искаженных изображений с помощью модификации аппаратной функции

 

А. В. Кокошкин, В. А. Коротков, К. В. Коротков, Е. П. Новичихин

Институт радиотехники и электроники им. В.А. Котельникова РАН, Фрязинский филиал

Статья получена 24 января 2015 г.

 

Аннотация. В работе рассмотрены различные варианты компенсации краевых эффектов. Предложен способ расчета модифицированной аппаратной функции, учитывающей эти эффекты. Рассмотрен способ восстановления ограниченного искаженного изображения с помощью набора сформированных опорных изображений, состоящих из пикселов случайной яркости.

Ключевые слова: восстановление искажённых изображений, компенсация краевых эффектов, модифицированная аппаратная функция.

Abstract. Various techniques of compensation of edge effects are considered in the paper. A method for the calculation of the modified apparatus function that takes into account edge effects is provided. The way of restoring a limited distorted image formed by a set of reference images composed of pixels of random brightness is considered.

Key words: restoration of distorted images, compensation of edge effects, a modified apparatus function.

 

Введение

Формирование изображений часто можно описывать с помощью свертки [1]. Восстановление изображения, полученного с помощью уравнения свертки в отсутствии шумов и при точно известной аппаратной функции (АФ), может производиться с помощью инверсной фильтрации. Если шумы присутствуют, то их влияние можно частично скомпенсировать, применяя фильтрацию, соответствующую свойствам шума (например, по Тихонову, Винеру [1,2]) или используя свойства изображения – метод опорного изображения (МОИ) [3]. Однако изображение имеет конечные размеры, и объекты и фон, на котором они находятся, могут отображаться на изображении не полностью. В этом случае уравнение свертки не может корректно описывать изображение. Поэтому восстановить изображение с помощью уравнения свертки точно не получается. На восстановленном изображении будут присутствовать разного сорта артефакты [4-7]. Наличие этих артефактов на восстановленном изображении и является краевым эффектом.

Обычно, чтобы уменьшить краевые эффекты, стремятся изменить яркость края исходного изображения таким образом, чтобы значения яркости на краях изображения стали константой. Если нас интересует в основном центральная часть изображения, то применяют умножение наблюдаемого изображения на функцию окна, амплитуда которой плавно уменьшается от единицы в центре до нуля на краях изображения [5]. Если же нас интересует все изображение, то используется процедура экстраполяции. Эта процедура состоит в том, что двумерную функцию яркости наблюдаемого изображения продолжают с границ кадра на кадр больших размеров так, чтобы функция яркости была гладкой и на границах кадра равнялась константе [5].

Еще одним способом уменьшить влияние краев можно, если учесть ограниченные размеры наблюдаемого изображения на этапе синтеза фильтра Винера, который использует информацию о спектрально-корреляционных характеристиках изображения [4,5]. Получение изображения ограниченных размеров эквивалентно умножению бесконечного изображения на окно единичной яркости, размеры которого равны размерам кадра. Очевидно, что спектрально-корреляционные характеристики такого усеченного изображения будут отличаться от аналогичных характеристик бесконечных изображений. При таком подходе необходимо знать спектральные мощности шума, наблюдаемого и исходных изображений [4,5].

         В работах [6,7] рассматривались варианты учета краевых эффектов для случая одномерного смаза. Было показано, что решение полученных для одномерного смаза системы линейных уравнений с помощью регуляризации Тихонова эффективно учитывает влияние краев изображения [6,7].

  Таким образом решение проблемы учета влияния краев изображения при некоторых допущениях получены только для одномерного смаза и в рамках условий применимости фильтрации по Винеру. В этом последнем случае рассмотрено применение только для одномерного смаза. Кроме этого, использование фильтрации по Винеру предполагает знание исходного изображения, что является целью восстановления изображения. Изменение яркости края изображения с помощью окна или экстраполяции хотя и может уменьшить краевые эффекты, однако не решает проблему во всех случаях.

  В данной работе рассмотрены способы компенсации краевых эффектов в двухмерном варианте аппаратной функции (АФ).

Методы борьбы с краевыми эффектами

         Рассмотрим подробнее стандартные варианты приближенного решения проблемы учета влияния краев изображения. Пусть нам известно изображение , которое подобно неискаженному изображению . Согласно уравнению свертки [1] искаженное изображение  рассчитывается с помощью аппаратной функции  следующим образом:

,                                                             (1)

где  - область определяемая размерами . В спектральном представлении (1) выглядит следующим образом:

,                                                                 (2)

где ,  и  - спектры Фурье соответственно ,  и .

В силу того, что значения  известны только внутри области , а вне ее неизвестны, определить точно спектр  нельзя. Обычно значения  вне области  получают экстраполяцией с помощью АФ  [5] или интерполяцией к заданным значениям на краях [5]. Можно также значения  вне области  задать нулями, предварительно обработать изображение  с помощью функции окна, амплитуда которой плавно уменьшается от единицы в центре до нуля на краях изображения [5]. Результаты восстановления изображения (Рис.1Б) представлены на Рис.2Б, 3Б, 4Б.

                  

Рис.1. Исходное неискаженное изображение 512х512 пикселей  – А,
искаженное АФ Баттерворта (S0=20, n=5) и обрезанное изображение 472х472 пикселей – Б.

                   Рис.2. Искаженное обрезанное изображение Рис.1Б, дополненное краями с яркостью 128 – А,
восстановленное МОИ с АФ Баттерворта – Б.

 

                           

Рис.3. Искаженное обрезанное изображение Рис.1Б, дополненное краями с линейно интерполированной яркостью – А,
восстановленное МОИ с АФ Баттерворта – Б.

 

Рис.4. Искаженное обрезанное изображение Рис.1Б, обработанное окном Кайзера, дополненное краями с нулевой яркостью – А,
восстановленное МОИ с АФ Баттерворта – Б.

 

         Сравнение Рис.2-4 позволяет сделать вывод о том, что предварительная обработка искаженного изображения позволяет несколько уменьшить краевые эффекты. Однако следует отметить, что это уменьшение не столь значительное, как хотелось.

         Расчеты показали, что использование упрощенной фильтрации по Винеру [1] с подбором параметра позволяет получить не худшие результаты, не требуя при этом знания неискаженного изображения. Поэтому в дальнейшем мы приводим только такой вид фильтрации Винера (ФВ).

На Рис.5 представлены результаты восстановления искаженного изображения Рис.1Б с помощью фильтрации Винера с подбором параметра К.

Рис.5. Искаженное обрезанное изображение Рис.1Б,
дополненное краями с яркостью 128 – А,
восстановленное ФВ с АФ Баттерворта К=3*10-3 – Б.

                           

Рис.6. Искаженное обрезанное изображение Рис.1Б, дополненное краями с линейно интерполированной яркостью – А,
восстановленное ФВ с АФ Баттерворта К=3*10-5 – Б.

                           

Рис.7. Искаженное обрезанное изображение Рис.1Б, обработанное окном Кайзера дополненное краями с нулевой яркостью – А,
восстановленное ФВ с АФ Баттерворта К=3*10-6 – Б.

 

         Анализ Рис.5-7 позволяет сделать вывод о том, что за счет фильтрации высоких частот и, соответственно, исчезновения мелких деталей изображения ФВ позволила улучшить качество восстановления искаженного изображения Рис.1Б. Свою положительную роль оказывает предварительная обработка искаженного изображения. Среди рассмотренных вариантов такой обработки лучшим образом зарекомендовала себя линейная интерполяция – Рис.6Б. Поэтому далее мы рассматриваем только такой способ предварительной обработки искаженного изображения.

         Рассмотрим, как краевые эффекты проявляются в амплитудном спектре изображения. На Рис.8 приведены амплитудные спектры неискаженного и искаженных изображений.

 

Рис.9. Амплитудные спектры изображений (логарифмический масштаб). Спектр неискаженного изображения Рис.1А – А, спектры искаженных изображений соответствуют Рис2А – Б, Рис.3А – В, Рис.4А – Г.

 

         На Рис.9 видно, что краевые эффекты на спектре неискаженного изображения слабо заметны. Так как при искажении АФ Баттерворта высокие частоты подавляются, краевые эффекты в амплитудных спектрах искаженных изображений проявляются сильно главным образом в виде двух взаимно перпендикулярных бугров, пересекающихся при нулевой частоте. На Рис.9В (линейно интерполированные края) высота этих бугров наименьшая по сравнению с Рис.9Б (постоянная яркость) и Рис.9Г (интерполяция окном Кайзера). Именно поэтому при прочих равных условиях линейно интерполированные края изображения позволяют восстанавливать изображения лучшего качества.

         Если мы хотим для восстановления изображения воспользоваться инверсной фильтрацией, нам необходимо использовать такую АФ, которая учитывает краевые эффекты.

Модификация аппаратной функции

         Один из вариантов создания аппаратной функции, учитывающей влияние краев изображения, мог бы выглядеть следующим образом. Если бы мы знали отношение спектров искаженного ограниченного изображения и неискаженного изображения, то это отношение соответствовало бы спектру АФ. Однако спектр неискаженного изображения нам неизвестен. Можно взять известное нам изображение, исказить его известной АФ, обрезать полученное искаженное изображение и с помощью отношения спектров этих изображений оценить АФ с учетом краев. Однако встанет вопрос, как выбрать неискаженное изображение, чтобы эта оценка АФ была достаточно точной.

         Мы поступим следующим образом. Заполним область неискаженного изображения пикселами со случайными яркостями, распределенными равномерно в диапазоне 0-255. Это будет исходное неискаженное  опорное изображение. Затем исказим его известной АФ и ограничим в размер восстанавливаемого изображения. Добавим края с яркостью 128 и получим искаженное и ограниченное опорное изображение. Понятно, что маловероятно, что отношение их спектров даст нужную АФ, учитывающую края. В качестве примера на Рис.10 приведены полученные таким образом искаженное ограниченное изображение – Рис.10А и восстановленное с помощью его изображение – Рис.10Б.

 

Рис.10. Ограниченное искаженное АФ Баттерворта изображение пикселов случайной яркости – А,
восстановленное с его помощью изображение – Б.

         Мы знаем, что искаженное изображение получается с помощью известной нам АФ. Можно предположить, что если мы используем фазовый спектр этой АФ и модифицируем амплитудный, используя в качестве его усредненный амплитудный спектр полученных вышеуказанным способом искаженных изображений, то такой спектр будет соответствовать АФ, учитывающей края изображения. На Рис.11 представлены изображения, полученные из Рис.6А (линейная интерполяция) с помощью фильтрации по Винеру и с помощью полученной модифицированной АФ.

 

Рис.11. Восстановленные из Рис.6А изображения.
Изображение, восстановленное с помощью ФВ – А
и с помощью модифицированной АФ МОИ – Б.

 

         На Рис.12 показаны амплитудные спектры исходной АФ и модифицированной.

 

Рис.12. Амплитудные спектры аппаратных функций.
Спектр исходной АФ Баттерворта – А,
спектр модифицированной АФ, усредненной по 300 реализациям – Б.

 

         Сравнение Рис.12А и Рис.12Б  позволяет сделать вывод о том, что учет краев изображения привел к появлению на спектре модифицированной АФ таких же бугров, как и на спектре искаженного ограниченного изображения Рис.9Б. Эти бугры в амплитудном спектре АФ частично скомпенсировали спектральные бугры искаженного ограниченного изображения.

         Чтобы понять, почему на восстановленном с помощью модифицированной АФ изображении остались артефакты в виде сетки, вызванные краевыми эффектами, проделаем следующие действия. Разделим спектр искаженного и ограниченного изображения на спектр исходного неискаженного изображения. Если в качестве спектра АФ для восстановления взять это отношение, то восстановленное изображение будет совпадать с исходным неискаженным изображением. Сконструируем АФ для восстановления следующим образом – в качестве амплитудного спектра будем использовать амплитудный спектр полученного ранее отношения спектров изображений, а фазовый спектр сделаем равным фазовому спектру АФ, искажающей изображение. Результат применения такой АФ для восстановления иллюстрирует Рис.13А.

 

Рис.13. Изображения, восстановленные МОИ с помощью модифицированной АФ. Фазовая часть спектра модифицированных АФ одинакова и равна фазовой части спектра искажающей АФ. Амплитудные части спектра равны модулю отношения спектров изображений искаженного и исходного – А, усредненному модулю спектра искаженного ограниченного изображения, состоящего из пикселов случайной яркости (Рис.11Б) – Б.

 

         Сравнение изображений на Рис.13 позволяет сделать вывод о том, что оставшиеся не удаленными артефакты в виде сетки вызваны ошибками модифицированной АФ, находящиеся в фазовой части спектра АФ.

         Другим способом скомпенсировать краевые эффекты является усреднение изображений, полученных по способу, иллюстрируемому Рис.10Б.

Усреднение изображений, восстановленных с помощью набора опорных изображений.

Сравнивая восстановленные изображения на Рис.11, можно предположить, что артефакты в виде сетки вызваны использованием для восстановления АФ, фазовый спектр которой совпадал с фазовым спектром искажающей АФ и не учитывал наличия краев изображения. Чтобы получить возможность учитывать краевые эффекты не только в амплитудном спектре, но и в фазовом, воспользуемся приемом получения изображения, представленного на Рис.10Б. То есть получим опорное неискаженное изображение, состоящее из пикселей случайной яркости. Затем исказим это изображение АФ, ограничим его краями яркостью 128 (средняя яркость изображения). Получим, рассчитав отношение спектров искаженного ограниченного и неискаженного опорного изображения, оценку спектра искажающей АФ с учетом краев. С помощью этой полученной АФ рассчитаем восстановленное изображение. Конечно, это изображение будет сильно искажено, из-за явного несовпадения опорного изображения и неискаженного восстанавливаемого изображения. Однако, проделав такие расчеты несколько раз и усреднив полученные восстановленные изображения, можно надеяться на приемлемый результат. На Рис.14А представлен результат расчетов, усредненный по 300 реализациям случайных опорных изображений. На Рис.14Б для сравнения представлен результат восстановления с помощью модификации АФ.

 

Рис.14. Восстановленные изображения с помощью случайных опорных изображений. Результат восстановления МОИ путем усреднения полученных изображений – А, путем усреднения амплитудных спектров – Б. Результаты получены усреднением 300 реализаций.

 

         Сравнение Рис.13А и Рис.13Б позволяет сделать вывод о лучшей компенсации краевых эффектов с помощью усреднения изображений по отношению к усреднению спектров (модифицированной АФ) за счет уменьшения ошибок в фазовой части спектра восстановленного изображения.

Выводы

1. Краевые эффекты могут существенно влиять на качество восстановления изображения.

2. Попытки уменьшить негативное влияние краевых эффектов за счет предварительной обработки изображения перед его восстановлением не гарантируют положительный результат.

3. Известные способы [4-7] компенсации краевых эффектов в основном рассматривают случай одномерного смаза и требуют или знания спектральной мощности неискаженного изображения [4,5], или обращения матриц большой размерности [6,7] (N2 в одномерном случае или N4 в двухмерном варианте).

4. Использование для восстановления изображения модифицированной по предложенному алгоритму АФ позволяет значительно уменьшить артефакты на восстановленном изображении, возникшие из-за краевых эффектов.

5. Вычисленная модифицированная АФ не зависит от восстанавливаемого изображения и может быть использована для восстановления ряда изображений.

6. Лучшее качество восстановления изображения с учетом краевых эффектов получено за счет использования усреднения ряда изображений, восстановленных с помощью случайных опорных изображений.

 

Литература

1. Р. Гонсалес,  Р. Вудс. Цифровая обработка изображений. М. «Техносфера», 2005, 1071 стр.

2. Тихонов А.Н., Арсенин В.Я. - Методы решения некорректных задач.    М. Наука, 1979.

3. Ю. В. Гуляев, А. Ю. Зражевский, А. В. Кокошкин, В. А. Коротков,  В. А. Черепенин   Коррекция пространственного спектра, искаженного оптической системой, с помощью метода опорного изображения.
Часть 2. Адаптивный метод опорного изображения (АМОИ). // «Журнал Радиоэлектроники» [электронный журнал] . 2013.  №12. URL: http://jre.cplire.ru/jre/dec13/2/text.html.

4. Грузман  И.С.  Компенсация  краевых  эффектов  при  коррекции  линейных искажений изображений, Автометрия. -1995.- № 2.

5. И.С.Грузман, В.С. Киричук, В.П. Косых, Г.И. Перетягин, А.А.Спектор Цифровая обработка изображений в информационных системах, Новосибирк: Изд-во НГТУ, 2000. – 168 стр.

6. М. В. Дайнеко, Реконструкция смазанных и зашумленных изображений методами регуляризации и усечения в технических системах обработки информации. Автореферат диссертации на соискание ученой степени кандидата технических наук, Санкт-Петербург – 2011.

7. В. С. Сизиков, М. В. Римских; Р. К. Мирджамолов, Реконструкция смазанных и зашумленных изображений без использования граничных условий, “Оптический журнал”, 76, 5, 2009.