Восстановление изображений, на которых присутствуют фрагменты с разной степенью дефокусировки

УДК 621.396

Восстановление изображений, на которых присутствуют фрагменты с разной степенью дефокусировки

А. В. Кокошкин, В. А. Коротков, К. В. Коротков, Е. П. Новичихин

Институт радиотехники и электроники им. В.А. Котельникова РАН, Фрязинский филиал

Статья поступила в редакцию 9 октября 2015 г.

Аннотация. В работе рассмотрен способ восстановления изображений, состоящих из фрагментов с разной степенью дефокусировки. Способ заключается в разбиении изображения на фрагменты и автономной работы с каждым из них. Предложен объективный критерий определения дефокусировки фрагмента изображения.

Ключевые слова: восстановление искажённых изображений, фрагменты с различной степенью дефокусировки, объективный критерий определения дефокусировки фрагмента изображения.

Abstract. In the paper the way to restore the image consisting of fragments with varying degrees of defocusing is considered. The method consists of dividing the image into pieces and the autonomous work from each of them. We propose an objective criterion for determining the defocus of an image.

Key words: restoration of distorted images, fragments with varying degrees of defocusing, an objective criterion for determining the defocus image fragment.

Введение

Восстановление дефокусированного изображения основано, как правило, на решении уравнения свертки [1]. При этом возникающие проблемы сводятся к определению аппаратной функции (АФ) и учету влияния помех и шумов. Случаи, которые описывает уравнение свертки, соответствуют формированию изображения плоских предметов, расположенных перпендикулярно лучу наблюдения. Однако, на практике часто случается что различные объекты на одном изображении проявляются с разной степенью дефокусировки (по причине, например, нахождения на разных расстояниях от приёмного устройства). В таких случаях возникают трудности восстановления, поскольку аппаратная функция (АФ) неодинакова по всему изображению [8]. Если использовать только одну АФ, то ни Винеровской фильрацией [1], ни методом опорного изображения [2-4], или методом перенормировки с ограничением [5] не удастся улучшить качество изображения с несколькими степенями дефокусировки рис. 1 – 3.

Рис.1. Исходное неискажённое изображение.

Рис.2. Изображение с тремя различными степенями дефокусировки S0.

Рис.3. Попытка восстановить изображение с тремя различными степенями дефокусировки (рис.2) методами [1-5], используя одну аппаратную функцию (соответствующую только одной из дефокусировок S0 рис.2).

Восстановление изображений по спрайтам

Обычно оптические изображения имеют достаточно большие размеры (тысячи на тысячи пикселей), тогда, следуя элементарной логике, мы предлагаем разбить изображение с несколькими различными степенями дефокусировки на некоторое, достаточно большое количество фрагментов (спрайтов) и отработать с каждым из них отдельно. В таком случае мы разделяем задачу восстановления всего изображения на подзадачи – решения уравнений свертки для каждого спрайта отдельно.

Таким образом, перед исследователем последовательно возникают три этапа восстановления: 1) разбиение исследуемого изображения на спрайты; 2) поиск дефокусировки каждого спрайта; 3) восстановление каждого спрайта.

При выборе размера спрайта надо иметь в виду то обстоятельство, что вследствие большого влияния краевых эффектов, чем меньше размер изображения (спрайта), тем труднее определить его аппаратную функцию, и впоследствии, его восстановить. В нашем примере мы используем размер спрайта 100 на 100 пикселов.

В работе [6] предложены объективные критерии оценки качества восстановления изображений при дефокусировке, позволяющие определить величину параметра дефокусировки аппаратной функции оптической системы. Однако, там не учитываются шумы и краевые эффекты, а эти мешающие факторы могут нарушить работу как любого из методов [1-5], так и помешать определению параметра дефокусировки аппаратной функции. Рисунок 4 показывает на сколько сильно влияют краевые эффекты на амплитудные пространственные спектры фрагментов (спрайтов) изображения.

А Б

В Г

Рис.4. А – фрагмент (спрайт) дефокусированного изображения размером 100 на 100 пикселей; Б – спрайт рис.3А с добавленными полями (краями) 80 пикселей шириной, с плавно спадающими до нуля яркостями; В – пространственные амплитудные спектры в логарифмическом масштабе: голубым цветом изображён универсальный опорный спектр (УОС) [4], поверхность в градациях серого – амплитудный пространственный спектр спрайта рис.3А без добавленных краёв; Г – пространственные амплитудные спектры в логарифмическом масштабе: голубым цветом изображён универсальный опорный спектр (УОС) [4], поверхность в градациях серого – амплитудный пространственный спектр рис.3Б. спрайта с добавленными краями.

Для борьбы с краевыми эффектами используем добавление полей 80 пикселей шириной к спрайту размером 100 на 100 пикселей рис.4А и рис.4Б, вследствие этого амплитудный пространственный спектр улучшаемого фрагмента существенным образом изменяется рис.4В и рис.4Г. Спрайт, имеющий спектр типа рис.4В, не может быть улучшен существенным образом, в то время как спектр рис.4Г имеет хорошие перспективы восстановления.

Для автоматического определения S0 – параметра дефокусировки взамен процедуры из работы [6], использовавшей подсчёт количества превышений амплитуды спектра восстановленного инверсной фильтрацией над универсальным опорным спектром (УОС), можно использовать подсчёт количества превышений амплитуды спектра над УОС восстановленного методом перенормировки, но без ограничения. Этот выбор обусловлен тем, что метод перенормировки успешно работает при неизвестных параметрах шума и спектрально-локальных помех. Для вычисления преобразованного спектра используем формулу:

где и - спектры соответственно УСС (спектр усредненный по спрайту 5х5 пикселов) и УОС – (универсальный опорный спектр), и - спектры соответственно изображения с помехой и преобразованный спектр [5].

Рисунок 5 иллюстрирует вид пространственных амплитудных спектров в логарифмическом масштабе после инверсной фильтрации и после перенормировки на УОС без ограничения.

А Б

Рис.5. Пространственные амплитудные спектры в логарифмическом масштабе:
А – спектр после инверсной фильтрации; Б – спектр после переномировки без ограничения.

Проведём моделирование поиска параметра дефокусировки. Для исследуемого изображения будем варьировать параметр дефокусировки S0 от 0 до 20 (для спрайта размером 100 на 100 пикселей это весьма значительный диапазон). Проведя процедуру поиска истинного S0 в аналогичном диапазоне, получим объёмный график (рис.6А).

Рис.6. Расчёт количеств превышений над УОС в спектре после переномировки без ограничения. А – объёмный график; Б – разрез рис.6А при истинном S0 (обозначенном на графике как s_is) равном 10.

При внимательном изучении рис.6 видно, что при совпадении параметра дефокусировки с истинным возникает некая гряда (всплеск). Значит, проведя поиск резкого значительного перепада между ближайшими значениями, можно определить S0. Рисунок 7 иллюстрирует график разниц между ближайшими S0, это эквивалентно графику производных.

Рис.7. Разница между ближайшими S0, обозначенными на графике как s_is. Истинное значение S0 равно 10.

Далее проводим восстановление по каждому спрайту отдельно (с определённым для него S0). Используем для этого метод перенормировки с ограничением (МПО) по причине его успешной работы (по сравнению с фильтрацией Винера или методом опорного изображения) при неизвестных параметрах шума и возможном наличии спектрально-локальных помех [5]. Метод переномировки может быть организован по разному, например: с использованием усреднённого амплитудного спектра либо по спрайту, либо по кольцу. Практика показала, что для нашей задачи лучшее восстановление обеспечивает перенормировка с усреднением по кольцу.

Результат восстановления спрайта рис.4Б показан на рисунке 8.

А Б

Рис.8. А – пространственный амплитудный спектр после перенормировки с ограничением в логарифмическом масштабе (голубым цветом изображён универсальный опорный спектр (УОС)); Б – восстановленный спрайт рис.4Б.

Чтобы определить нулевую дефокусировку (изображение оптического качества с S0 = 0), при определении которой возникали трудности, введём на исследуемое изображение дополнительную небольшую дефокусировку (например S0 = 3) и определим S0 по спрайтам. Там, где определится 3, считаем эти спрайты с нулевой дефокусировкой. Остальные спрайты определяем обычным образом, т.е. без дополнительной дефокусировки.

Для окончательной сборки восстановленного изображения составляем спрайты каждый на своё место, убрав при этом добавленные края в каждом из спрайтов рис.9.

А Б В

Рис.9. А – исходный неискажённый спрайт; Б – искажённый спрайт S0=8 рис.4А;
В – восстановленный спрайт рис.8, но с обрезанными краями; Г – восстановленное МПО по спрайтам изображение рис.2.

В качестве метода восстановления в спрайтах можно использовать широко применимый фильтр Винера (ФВ) [1]. Рисунок 10 демонстрирует изображение рис.2 восстановленное по спрайтам с помощью упрощённого ФВ, где поэлементное деление энергетического спектра шума на энергетический спектр исходного неискажённого изображения заменяет коэффициент равный К, который подбирается таким образом, чтобы на взгляд исследователя (эксперта) обеспечить наилучшее качество восстановленного изображения. S0 определялся как описано выше, далее, используя это, подбираем варьируемый коэффициент К = 0,015, и получаем восстановление по спрайтам. Сравнивая рисунки 9 и 10 легко увидеть, что восстановление изображения рис.2 с помощью ФВ имеет больше артефактов, чем при восстановлении МПО.

Рис.10. Восстановленное ФВ по спрайтам изображение рис.2.

Рассмотрим случаи когда восстанавливаемый спрайт попадает на границу между двумя фрагментами изображения с разными дефокусировками.

Вариант 1. Один из фрагментов спрайта рис.11 дефокусирован (низ спрайта S0 = 6), а другой нет (верх спрайта S0 = 0).

А Б В

Рис.11. А – исходный спрайт, состоящий из двух фрагментов с разными дефокусировками;
Б – попытка восстановления МПО спрайта рис.11А как единого изображения с дефокусировкой нижнего фрагмента;
В – попытка восстановления ФВ спрайта рис.11А как единого изображения с дефокусировкой нижнего фрагмента.

Рис.12. Расчёт количеств превышений над УОС в спектре после переномировки без ограничения.
Истинные S0 (обозначенные на графике как s_is) должны быть как 6 и 0.

Рис.13. Разница между ближайшими S0, обозначенными на графике как s_is.
Истинные S0 (обозначенные на графике как s_is) должны быть как 6 и 0.

Таким образом, из анализа рисунков 11 – 14 видно, что если спрайт попадает на границу двух фрагментов, один из которых не дефокусирован (оптического качества), а другой дефокусирован с параметром S0, то возникают ошибки при поиске матрицы S0 для спрайтов. Кроме того, даже при точно известной дефокусировке восстановить спрайт, где часть оптического качества (S0 = 0), не представляется возможным.

Случай 2. Оба фрагмента спрайта (низ и верх) дефокусированы, но каждый в разной степени (S0 ≠ 0 ).

А Б В

Г Д Е

Рис.14. А – исходный спрайт состоящий из двух фрагментов с разными дефокусировками; Б – попытка восстановления методом перенормировки с ограничением спрайта рис.А как единого изображения с дефокусировкой верхнего фрагмента; Б – попытка восстановления фильтром Винера спрайта рис.А как единого изображения с дефокусировкой верхнего фрагмента; Г – исходный спрайт неискажённый дефокусировками; Д – попытка восстановления методом перенормировки с ограничением спрайта рис.А как единого изображения с дефокусировкой нижнего фрагмента; Е – попытка восстановления фильтром Винера спрайта рис.А как единого изображения с дефокусировкой нижнего фрагмента.

Рис.15. Расчёт количеств превышений над УОС в спектре после переномировки без ограничения.
Истинные S0 (обозначенные на графике как s_is) определяются как 6 и 8.

Рис.16. Разница между ближайшими S0, обозначенные на графике как s_is.
Истинные S0 (обозначенные на графике как s_is) определяются как 6 и 8.

Из анализа рисунков 14 – 16 видно, что определение дефокусировок возможно (автоматически обычно определяется большая S0). При подстановке одного из определённых S0 часть спрайта с совпадающей с истинной дефокусировкой восстанавливается заметно лучше.

В заключениe, в качестве иллюстрации работы метода, на рис.17 – 18 приведём примеры восстановленных по предложенной технологии цветных изображений. Изображения в формате tif вводятся из файлов и обрабатываются для каждого цвета отдельно.

Рис.17. А – Исходное цветное изображение с тремя степенями дефокусировки; Б – Восстановленное с помощью МПО по спрайтам изображение рис.17А; Б – Восстановленное с помощью ФВ по спрайтам изображение рис.17А.

Рис.18. А – Исходное цветное изображение с тремя степенями дефокусировки; Б – Восстановленное с помощью МПО по спрайтам изображение рис.18А; Б – Восстановленное с помощью ФВ по спрайтам изображение рис.18А.

Выводы

1. Для изображений с чётким фрагментом (S0 = 0) и дефокусированными частями, даже определив точные дефокусировки, восстановить изображение, использовав только одну АФ, не представляется возможным. Поэтому использован метод восстановления изображений состоящих из фрагментов с разной степенью дефокусировки. Он заключается в разбиении изображения на спрайты и автономной работы с каждым из них.

2. Для определения дефокусировки спрайтов использовался объективный критерий, в отличие от изложенного ранее в работе [6], он основан не на инверсной фильтрации, а на методе перенормировки без ограничений.

3. Восстановление изображения спрайта, в отличие от ранее изложенного в [7], где использовалось восстановление адаптивным методом опорного изображения (АМОИ) [3], производилось методом перенормировки с ограничением (МПО) [5], как более устойчивым к помехам.

4. Проведено сравнение МПО и ФВ. Использование МПО предпочтительнее, поскольку на восстановленном изображении возникает меньше артефактов.

5. В случае если спрайт попадает на границу двух фрагментов с разными S0, то частичное восстановление спрайта возможно при правильном определении дефокусировки, хотя бы одного из фрагментов и если S0 одного из них не равно нулю.

Литература

1. Р. Гонсалес, Р. Вудс. Цифровая обработка изображений. М. «Техносфера», 2005, 1071 стр.

2. А. Ю. Зражевский, А. В. Кокошкин, Е. П. Новичихин, С. В. Титов, «Повышение качества радиоизображений». «Нелинейный Мир», № 9, 2010г., с. 582-590.

3. Ю. В. Гуляев, А. Ю. Зражевский, А. В. Кокошкин, В. А. Коротков, В. А. Черепенин «Коррекция пространственного спектра, искаженного оптической системой, с помощью метода опорного изображения. Часть 2. Адаптивный метод опорного изображения (АМОИ)». // Журнал радиоэлектроники [электронный журнал]. 2013. №12. URL: http://jre.cplire.ru/jre/dec13/2/text.html

4. Ю. В. Гуляев, А. Ю. Зражевский, А. В. Кокошкин, В. А. Коротков, В. А. Черепенин «Коррекция пространственного спектра, искаженного оптической системой, с помощью метода опорного изображения. Часть 3. Универсальный опорный спектр. // Журнал радиоэлектроники [электронный журнал]. 2013. №12. URL: http://jre.cplire.ru/jre/dec13/3/text.html

5. А. В. Кокошкин, В. А. Коротков, К. В. Коротков, Е. П. Новичихин «Использование метода перенормировки с ограничением для восстановления искаженных изображений при наличии помех и шума с неизвестными параметрами.» 2015. №7 , URL:
http://jre.cplire.ru/jre/jul15/4/text.html

6. А. Ю. Зражевский, В. А. Коротков, К. В. Коротков «Объективный критерий восстановления дефокусированного изображения». // «Журнал Радиоэлектроники» [электронный журнал] . 2014. №5 , URL: http://jre.cplire.ru/jre/may14/2/text.html

7. А. Ю. Зражевский, В. А. Коротков, К. В. Коротков «Типичные проблемы восстановления изображений: дефокусировка и смазанное изображение. Результаты применения метода опорного изображения». // «Журнал Радиоэлектроники» [электронный журнал] . 2014. №4 , URL: http://jre.cplire.ru/jre/apr14/11/text.html

8. А. Г. Ягола, Н. А. Кошев «Восстановление смазанных и дефокусированных цветных изображений». // Вычислительные методы и программирование. 2008, Т.9., 207-212.