Метод прогнозирования возможного улучшения качества искажённых изображений

УДК 621.396

Метод прогнозирования возможного улучшения качества искажённых изображений

А. В. Кокошкин, В. А. Коротков, К. В. Коротков, Е. П. Новичихин

Институт радиотехники и электроники им. В.А. Котельникова РАН,

Фрязинский филиал

Статья получена 28 мая 2015 г.

Аннотация. В работе предлагается новый подход к оценке качества цифровых изображений, который позволяет сделать прогноз в отношении перспектив их возможного улучшения. Мы вводим понятие коэффициента восстановимости изображения Cri, оценивающего долю его амплитудного спектра, находящуюся в заданной окрестности универсального опорного спектра.

Ключевые слова: качество цифровых изображений, универсальный опорный спектр, коэффициент восстановимости изображения, прогнозирование возможного улучшения.

Abstract. In the paper a new approach to assess the quality of digital images is proposed, which allows to predict the prospects for their possible improvement. We introduce the notion of the coefficient of image recoverability Cri, estimating the share of its amplitude spectrum, which is in a given neighborhood universal reference spectrum.

Key words: quality digital images, universal reference spectrum, coefficient of recoverability image, predicting possible improvements.

Введение

Существует большое количество методов оценить качество цифровых изображений. Количественными оценками называют числа сопоставляемые исследуемому изображению на основе анализа этого[1 - 7]. К безотносительным количественным оценкам качества изображений относятся, например, оценка (мера) резкости изображений [8], оценка контрастности изображений [9]. Относительные методы количественной оценки качества изображений, как правило, основаны на сравнении двух изображений – одно из которых неискажённое («идеальное»), другое исследуемое (либо искажённое аппаратной функцией и шумом, либо восстановленное одним из известных методов) Из общеизвестных относительных методов упомянём среднеквадратическую ошибку (СКО) и пиковое отношение сигнал-шум (ПСКО) [10], норму Минковского [11], меру структурного подобия [7]. Существующие методы оценки качества изображений основанные на сравнении с неким образцом,(говорят на сколько изменилось изображение) но к сожалению эти методы не позволяют прогнозировать на сколько его можно ещё улучшить (степень возможного улучшения (восстановления)).

Наша работа посвящена описанию нового подхода в оценке качества цифровых изображений, который позволяет сделать прогноз в отношении перспектив их возможного улучшения.

1. Изменение пространственных спектров при искажении аппаратной функцией, воздействии шума, инверсной фильтрации и фильтрации Винера.

Рассмотрим изменение пространственного спектра изображения в процессе искажения аппаратной функцией (АФ), появлением шума, инверсной фильтрации и фильтрации Винера (ФВ). В качестве тестовых изображений используются изображения размером 256х256 пикселов [12, 13, 14], приведенные на рис.1. АФ в данной работе служит функция дефокусировки [15], шум является белым и равномерно распределенным в заданном диапазоне с нулевым средним значением. Пространственные спектры неискаженных тестовых изображений представлены на Рис.2.

Дополнительной иллюстрацией является рис.3, на котором представлены диагональные разрезы амплитудных спектров, представленных на рис.2. Цветными точками обозначены амплитудные спектры изображений на рис.1. Черные линии соответствуют УОС и границам области выше и ниже УОС на 0.6 (lg(4)).

А Б В

Г Д Е

Рис.1. Тестовые неискаженные изображения.

А Б В

Г Д Е

Рис.2. Амплитудные пространственные спектры изображений Рис.1 (синий цвет).
Серым цветом обозначены границы области выше и ниже УОС на 0.6 (lg(4)).

Рис.3 Диагональные разрезы амплитудных спектров, представленных на рис.2.
Цветными точками обозначены амплитудные спектры изображений на рис.1.
Черные линии соответствуют УОС и границам области выше и ниже УОС на 0.6 (lg(4)).

На рис.2-3 видно, что в основном значения амплитудных спектров лежат внутри области вокруг УОС.

На рис.4 представлены изображения рис.1, искаженные АФ дефокусировки [15] с S0=6.

А Б В

Г Д Е

Рис.4. Изображения Рис.1, искаженные АФ дефокусировки с S0=6.

Диагональные разрезы амплитудных спектров изображений Рис.4 представлены на Рис.5 в виде цветных точек.

Рис.5. Диагональные разрезы амплитудных спектров, представленных на рис.4.
Цветными точками обозначены амплитудные спектры изображений на рис.4.
Черные линии соответствуют УОС и границам области выше и ниже УОС на 0.6 (lg(4)).

На Рис.5 видно, что цветные точки, соответствующие амплитудным пространственным спектрам изображений на рис.4 находятся в области вблизи УОС только при низких пространственных частотах. На высоких частотах графики амплитудных спектров дефокусированных изображений рис.4 лежат значительно ниже графика УОС.

Такие свойства амплитудных спектров неискаженных и искаженных АФ позволяют предположить, что чем большая доля графика спектра лежит в области около УОС, тем меньше следует ожидать значительных улучшений в результате обработки искаженного изображения. Это предположение основано на том, что универсальный опорный спектр описывает поведение изотропной части амплитудных спектров неискажённых изображений [14].

Рассмотрим теперь поведение амплитудного спектра искаженного изображения при наличии белого шума заданной амплитуды.

Рис.6. Диагональные разрезы амплитудных спектров, изображений представленных на рис.4
при наличии белого шума с амплитудой 12.5 – цветные точки.
Цветными линиями обозначены амплитудные спектры изображений на рис.4 без шума.
Черные линии соответствуют УОС и границам области выше и ниже УОС на 0.6 (lg(4)).

Диагональные разрезы амплитудных спектров изображений рис.4 при наличии белого шума с амплитудой 12.5 представлены на рис.6 в виде цветных точек. Цветные сплошные линии на рис.6 соответствуют спектрам искаженных изображений в отсутствии шума. Сравнение рис.5 и рис.6 позволяет сделать вывод о том, что белый шум наиболее сильно сказывается на высоких частотах, где амплитуда пространственного спектра искаженного изображения мала. При этом происходит необратимая потеря информации на этих частотах. Рис.6 хорошо иллюстрирует факт увеличения доли спектра, находящегося вблизи УОС при наличии шума по сравнению со случаем его отсутствия.

Инверсная фильтрация [1, 3, 12 – 14] спектров искаженных изображений радикально изменяет поведение графиков пространственных спектров. Диагональные разрезы инверсно отфильтрованных спектров представлены на рис.7 в виде цветных точек.

На рис.7 видно, что инверсная фильтрация искаженных и зашумленных изображений увеличивает долю спектра, расположенную в окрестности УОС за счет низкочастотной части спектра. Та часть спектра, которая потеряла за счет шума полезную информацию об изображении, поднялась выше УОС. Это отображено на рис.8, показывающем долю амплитудного спектра, находящегося в заданной окрестности УОС. Здесь нами вводится понятие коэффициента восстановимости изображения Cri (аббревиатура от Сoefficient of recoverability image) (на рис.8 его значения отложены по вертикальной оси), отражающего долю амплитудного спектра, находящуюся в заданной окрестности УОС. Если Cri равен единице, то это означает что абсолютно все спектральные составляющие (100%) попадают в область заданную вокруг УОС. Если Cri равен нулю, то это означает что ни одной спектральной составляющей (0%) не попадает в область заданную вокруг УОС. При увеличении Sh (удвоенной амплитуды шума), Cri для инверсной фильтрации снижается.

Рис.7. Диагональные разрезы инверсно отфильтрованных спектров зашумленных изображений – цветные точки.
Черные линии соответствуют УОС и границам области выше и ниже УОС на 0.6 (lg(4)).

Рис.8. Зависимость Cri от Sh для инверсно отфильтрованного изображения искажённого АФ дефокусировки.

Результат применения фильтрации Винера (ФВ) [1, 3, 9] представлен на рис.9 в виде диагональных разрезов спектров изображений.

Рис.9. Диагональные разрезы спектров зашумленных изображений после ФВ(Kv=0.05) – цветные точки.
Черные линии соответствуют УОС и границам области выше и ниже УОС на 0.6 (lg(4)).

Сравнение рис.7 и рис.9 позволяет сделать вывод о том, что ФВ сильно деформирует спектр в той области, где шум доминирует. Причем амплитуда спектра в этих областях уменьшается настолько, чтобы быть в области около УОС или ниже этой области. При этом доля спектра, находящегося вблизи УОС, сильно зависит от параметра Kv (имеющего смысл отношения мощностей шума и сигнала [1, 3, 9]) и уменьшается с увеличением Kv.

Из вышеизложенного следует, что полезно рассмотреть поведение Cri в зависимости от S0 (параметр характеризующий АФ), от Sh (удвоенная амплитуда шума), воздействия инверсной и Винеровской фильтраций. Напомним, что Cri обозначена доля амплитудного спектра, находящегося в заданной окрестности УОС.

2.Зависимость Cri от ширины АФ, амплитуды шума и воздействия инверсной и Винеровской фильтраций.

На рис.10 представлены графики зависимости Cri от S0 – радиуса пятна аппаратной функции.

Рис.10. Зависимость Cri (доля спектра находящегося в окрестности ±0.6 УОС) от S0 – радиуса пятна АФ.

Рис.10 иллюстрирует быстрое уменьшение Cri с увеличением S0 вызванное уменьшением амплитуды спектра (в первую очередь амплитуды высоких частот) с увеличением величины дефокусировки. Синий график выделяется от остальных из-за индивидуальных особенностей пространственного спектра изображения (Рис.1Б).

На рис.11 представлены графики зависимости Cri искаженных изображений (S0=6) от величины шума Sh до и после инверсной фильтрации.

Рис.11. Зависимости Cri искаженных изображений (S0=6) от величины шума Sh до и после инверсной фильтрации – А и Б соответственно.

По графикам на рис.11 можно сделать прогноз о возможной степени улучшения изображений с помощью ФВ. На графике рис.11А величина Cri возрастает при увеличении уровня шума Sh. В силу того, что доля амплитудного спектра, находящегося в заданной окрестности УОС из-за шума увеличивается, следует полагать, что восстановление информации спектральным методом этой доли (добавившейся из-за шума) невозможно. Поэтому увеличение значения Cri при увеличении Sh на рис.11А дает возможность прогнозировать уменьшение качества в будущем восстановленных изображений. На рис.11Б величина Cri убывает при увеличении уровня шума Sh из-за того, что при наличии шума инверсная фильтрация дает завышенные значении амплитудного спектра. Эти завышенные значения свидетельствуют о потере информации и вызывают снижение качества в будущем восстановленных изображений.

Чтобы проверить это, вычислим зависимость QΔf от величины шума Sh. QΔf рассчитывается согласно [16]:

, (1)

где и - изображения соответственно исходное неискаженное и искаженное АФ с добавленным шумом. Критерий QΔf является характеристикой того, насколько близко восстановленное изображение к исходному изображению.

На рис.12 представлены графики QΔf исходных изображений Рис.1 и восстановленных с помощью ФВ в зависимости от величины шума Sh.

Рис.12. QΔf исходных изображений рис.1 и восстановленных с помощью ФВ в зависимости от величины шума Sh.

Сравнение рис.11-12 показывает, что величина Cri (рис.11) правильно оценивает качество восстановления выражаемое QΔf (Рис.12). При увеличении уровня шума Sh значение относительной ошибки QΔf увеличивается. Следует отметить, что величина QΔf зависит от выбора величины Kv – параметра, используемого в ФВ. Kv зависит от уровня шума и при расчетах графиков рис.12 величина Kv выбиралась исходя из экспертной оценки результатов восстановления. Поведение графиков на рис.12 интересно тем, что создается впечатление о том, что качество восстановленных изображений при изменении шума Sh от 5 до 25 меняется мало. Однако это не так. На рис.13 и рис.14 представлены восстановленные изображения при Sh=5 и при Sh=25 соответственно.

А Б В

Г Д Е

Рис.13. Восстановленные изображения с помощью ФВ при Kv=0.0008. Изображения искажены дефокусировкой при S0=6 и шуме Sh=5.

А Б В

Г Д Е

Рис.14. S Восстановленные изображения с помощью ФВ при Kv=0.02. Изображения искажены дефокусировкой при S0=6 и шуме Sh=25.

Сравнение Рис.13-14 позволяет сделать вывод о том, что увеличение шума с Sh=5 до Sh=25 приводит к значительному ухудшению качества восстановленных изображений, о чем свидетельствует значительное изменение Cri на Рис.11 при таком же изменении Sh.

Следует отметить, что при одном и том же Sh QΔf сильно зависит от изображения. В то же время визуальная оценка не свидетельствует об этом. Зависимость Cri от вида изображения слабее, чем QΔf. Это хорошо иллюстрируют графики на Рис.11.

3. Выводы

1.Предложен коэффициент Cri отражающий долю амплитудного спектра, находящегося в заданной окрестности УОС. С его помощью возможно прогнозирование о возможном улучшении качества изображений.

2.Зависимость Cri от вида изображения достаточно слабая по сравнению с зависимостью QΔf при фиксированном искажении и уровне шума. Это позволяет сделать вывод об объективном характере прогноза качества восстановления (основанном на Cri) .

Литература

1. Р. Гонсалес, Р. Вудс. Цифровая обработка изображений. М. «Техносфера», 2005, 1071 стр.

2. Ю.И. Монич, В.В. Старовойтов «Оценки качества для анализа цифровых изображений» «Искусственный интеллект» 4’2008. Стр. 376-386.

3. Pratt W.K. Digital Image Processing. – John Wiley and Sons, Inc., USA, 1978.

4. Пирогов Ю.А., Гладун В.В., Тищенко Д.А., Тимановский А.Л., Шлемин И.В, Джен С.Ф., // Сверхразрешение в системах радиовидения миллиметрового диапазона. Журнал радиоэлектроники. 2004, №3 – Март. URL: http://jre.cplire.ru/jre/mar04/3/text.html

5. Бейтс Р. Мак-Доннел М. Восстановление и реконструкция изображений. /Пер. с англ.к. ф-м н. Б.С. Кругликова и С.Л. Ярославского под редакцией д. ф-м н. Л.П. Ярославского. М.: «Мир», 1989, 487с.

6. Новейшие методы обработки изображений. / Под ред. А.А. Потапова. – М.: ФИЗМАТЛИТ, 2008, 496 с.

7. Wang Z., Bovik A.C., Sheikh H.R Image quality assessment: From error visibility to structural similarity // IEEE transaction on Image Processing. – 2004. – Vol. 13, № 4. – P. 309-12.

8. Wang X., Tian B., Liang C., Shi D. Blind Image Quality Assessment for Measuring Image Blur // Congress on Image and Signal 2008 Congress on Image and Signal Processing, 2008.

9. Журавель И.М. Краткий курс теории обработки изображений.

10. Avcibas I., Sankur B., Sayood K. Statistical evaluating of image quality measures // Journal of Electronic Imaging. – April 2002. – Vol.11, № 2. – Р. 206-223.

11. Макаров А.О. Алгоритмы увеличения пространственного разрешения и обработки мультиспектральных спутниковых изображений: Дис… к-та техн. наук: 05.13.01/ А.О. Макаров. – Минск, 2006. – 156 с.

12. А. Ю. Зражевский, А. В. Кокошкин, Е. П. Новичихин, С. В. Титов, «Повышение качества радиоизображений». «Нелинейный Мир», № 9, 2010г., с. 582-590.

13. Ю. В. Гуляев, А. Ю. Зражевский, А. В. Кокошкин, В. А. Коротков, В. А. Черепенин «Коррекция пространственного спектра, искаженного оптической системой, с помощью метода опорного изображения. Часть 2. Адаптивный метод опорного изображения (АМОИ)». // Журнал радиоэлектроники [электронный журнал]. 2013. №12. URL: http://jre.cplire.ru/jre/dec13/2/text.html

14. Ю. В. Гуляев, А. Ю. Зражевский, А. В. Кокошкин, В. А. Коротков, В. А. Черепенин «Коррекция пространственного спектра, искаженного оптической системой, с помощью метода опорного изображения. Часть 3. Универсальный опорный спектр. // Журнал радиоэлектроники [электронный журнал]. 2013. №12. URL: http://jre.cplire.ru/jre/dec13/3/text.html

15. А. В. Кокошкин, В. А. Коротков, К. В. Коротков, Е. П. Новичихин «Слепое восстановление изображений, искажённых смазом и дефокусировкой, при неизвестной форме и параметрах АФ». // Журнал радиоэлектроники [электронный журнал]. 2014. №9. URL: http://jre.cplire.ru/jre/sep14/8/text.html

16. А.Л. Тимановский. «Сверхразрешение в системах пассивного радиовидения». Диссертация на соискание ученой степени кандидата физико-математических наук. 2007.