УДК 621.396

Метод улучшения различимости объектов при наличии гидрометеоров

А. В. Кокошкин, В. А. Коротков, К. В. Коротков, Е. П. Новичихин

Институт радиотехники и электроники им. В.А. Котельникова РАН,

Фрязинский филиал

Статья поступила в редакцию 9 октября 2015 г.

Аннотация. Качество изображений объектов на открытой местности зависит от состояния атмосферы (наличия атмосферных образований, в основном гидрометеоров). В данной работе рассматривается увеличение контраста путем преобразования динамического диапазона яркостей изображения на основе оценки коэффициента поглощения атмосферы.

Ключевые слова: гидрометеоры, цифровые изображения, динамический диапазон, усиление контраста, улучшение различимости объектов.

Abstract. The quality of the images of objects in an open area depends on the state of the atmosphere (the presence of atmospheric formations, mainly hydrometeors). This study examines the increase in contrast by converting the dynamic range of the image brightness based on the evaluation of the absorption coefficient of the atmosphere.

Key words: hydrometeors, digital images, dynamic range, contrast enhancement, improved distinguishability of objects.

Введение

Качество изображений объектов на открытой местности зависит от состояния атмосферы (наличия атмосферных образований, в основном гидрометеоров).

Компенсация влияния атмосферных образований на формирование изображений рассмотрена в ряде работ [1 – 6].

Искажение изображения гидрометеорами можно описать как сумму двух коррелированных факторов – поглощение излучения, идущего от объекта и подсветка рассеянным излучением атмосферы [2, 3, 5, 6]. Компенсация этих искажений может быть основана на оценке коэффициента поглощения атмосферы - . Величина может быть получена из анализа изображений при условии выполнения некоторых предположений [5, 6]. Высокое качество восстановления изображений требует больших затрат времени на обработку изображений.

Другим способом компенсации искажения изображения гидрометеорами является увеличение контраста путем преобразования динамического диапазона яркостей изображения [1, 4]. Этот способ позволяет лишь частично компенсировать искажения изображения атмосферными образованиями.

В данной работе рассматривается увеличение контраста путем преобразования динамического диапазона яркостей изображения на основе оценки коэффициента поглощения атмосферы – .

Сравнение результатов восстановления разными алгоритмами

При наличии гидрометеоров яркость изображения (при отсутствии светящихся объектов) можно оценить по формуле [5, 6]:

, (1)

где - яркость изображения; - коэффициент пропускания атмосферы и коэффициент отражения излучения атмосферы объектом соответственно; - яркость атмосферы. Если из измерений можно определить и , то определение объекта становится несложной задачей.

В работе [4] предлагается компенсировать влияние атмосферы с помощью несложных манипуляций с гистограммой изображения. Понятно, что чем лучше эти действия описывают уравнение (1), тем лучше будет результат. Сравним результат компенсации влияния атмосферы на примере восстановления изображения рис.1, приведенного в работе [6].

А Б

Рис.1. Изображения [6] А - искаженное дымкой и Б – принимаемое за идеально восстановленное.

В работах [5, 6] предлагается для оценки считать, что в окрестности (спрайте) вокруг каждого пикселя искаженного изображения величина не меняется. Предполагая, что при определенных размерах спрайта величина в каждом спрайте может иметь значение, близкое к нулю, минимальное значение в спрайте позволяет вычислить для данного пикселя:

, (2)

где , причем максимум находится для всего изображения.

На рис.2 приведены результаты компенсации влияния атмосферы согласно работам [4, 5, 6].

Сравнение рис.2А и рис.2Б позволяет сделать вывод о том, что на рис.2А влияние атмосферы убрано меньше, чем на рис.2Б. С другой стороны наличие ореолов (гало) вокруг зданий на фоне неба несколько ухудшает результат восстановления на рис.2Б. Следует отметить, что эти ореолы практически полностью исчезают после применения процедуры soft matting [5, 6] – рис.2В, что требует дополнительных вычислительных затрат. В дальнейшем мы покажем, как небольшая модификация алгоритма [5, 6] позволяет значительно уменьшить эти ореолы.

А Б В

Рис.2. Результаты восстановления изображения рис.1А согласно алгоритму [4] – А и алгоритму [5, 6] – Б соответственно. Рис.2В приведен в работе [6] после применения процедуры soft matting.

Предлагаемый алгоритм

Одним из принципиальных моментов восстановления изображения является вычисление коэффициента пропускания атмосферы с помощью найденного минимума яркости в окрестности (спрайте) данного пикселя. На наш взгляд повышенная зависимость величины этого минимума от возможных шумов типа «соль, перец» вполне преодолима. Рассмотрим графики приведенные на рис.3. На рис.3 видно, что красная линия, соответствующая горизонтальному разрезу яркости на рис.1А лежит внутри области, ограниченной синими и зелеными линиями. Зеленые линии показывают поведение максимальной и минимальной яркости спрайта, а синие линии ограничивают область среднеквадратичного отклонения от средней яркости спрайта. Область, ограниченная синими линиями существенно меньше, чем область, ограниченная зелеными линиями. Тем не менее область, ограниченная синими линиями достаточно точно описывает поведение яркости изображения практически без исключений. Поэтому в качестве минимума яркости для определения мы будем использовать величину средней яркости уменьшенную на среднеквадратичное отклонение:

, (3)

где соответствует средней яркости по спрайту, - среднеквадратичное отклонение яркости по спрайту от .

Рис.3. График яркости рис.1А горизонтального разреза - красная линия. Зеленые линии соответствуют минимальной и максимальной яркости для спрайта. Синие линии показывают величину среднеквадратичного отклонения от средней яркости спрайта.

При этом следует отметить, что определение минимума яркости по спрайту таким способом меньше зависит от шумов типа «соль, перец». На рис.4 приведены изображения, восстановленные с помощью (1) и (2), причем рис.4А соответствует рис.2Б. Рис.4Б получен с помощью определения минимума яркости (3). Сравнение рис.4А и рис.4Б показывает, что с одной стороны рис.4Б более контрастный и насыщенный по цвету по сравнению с рис.4А. С другой стороны на фоне неба видны явно выраженные шумы в виде прямоугольников разных размеров. Анализ показал, что такое проявление шумов характерно для случаев малых величин среднеквадратичных отклонений яркости . Поэтому целесообразно при вычислениях яркости восстановленного изображения учитывать такое влияние малых величин например следующим образом:

, (4)

где

, (5)

причем, если то принимает значение . Для случая 8 битного кодирования яркости по каждому цвету можно приравнять 5. Уменьшение этой величины ведет к уменьшению яркости, контрастности, цветовой насыщенности и уменьшению проявлений шумов дискретизации.

А Б

Рис.4. Восстановленные изображения рис.1А с помощью (1) и (2) – А;

с помощью (1) - (3) – Б.

А Б

Рис.5. Восстановленные изображения рис.1А с помощью (4) и (5) – А и с помощью (4) и (6) – Б.

На рис.5 представлены восстановленные изображения с помощью (4) – (5). Сравнение рис.4Б с рис.5А позволяет сделать вывод о достаточной эффективности предложенного ограничения (5). Однако то, что цвет неба стал черным, кажется несколько непривычным, хотя и легко объяснимым. Привести изображение к привычному виду можно, изменив (4) следующим образом:

, (6)

Изображение, восстановленное на основе (6), представлено на рис.5Б.

Сравнение рис.1Б (принятого за идеального) с рис.5Б позволяет сделать вывод о достаточно высокой эффективности алгоритма, основанного на (4) – (6).

Способ уменьшения ореолов

На рис.5 ореолы вокруг зданий на фоне неба выражены значительно слабее, чем на рис.4А. Уменьшить ореолы на изображениях, полученных на основе (1) – (2) можно, если скорректировать величину минимума яркости в спрайте при расчете в (2). Для этого необходимо найти максимум яркости в спрайте и среднюю яркость в спрайте. Если задать условие, что минимальная яркость в спрайте не должна отличаться от средней яркости больше, чем максимальная яркость в спрайте отличается от средней яркости, то ореолы станут значительно меньше выражены. На рис.6 представлены графики горизонтальных разрезов яркости.

Рис.6. График яркости рис.1А горизонтального разреза - красная линия. Синие линии соответствуют минимальной и максимальной яркости для спрайта. Зеленая линия показывает скорректированную минимальную яркость по спрайту. Черная линия соответствует средней по спрайту яркости.

На рис.6 зеленая линия, соответствующая скорректированному минимуму яркости по спрайту почти всегда совпадает с синей линией – исходному минимуму. Но именно эти небольшие отличия и дают значительное ослабление ореолов. На рис.7 представлены восстановленные изображения на основе (1) – (2) до коррекции минимума яркости и после.

А Б

Рис.7. Восстановленные изображения рис.1А с помощью (1) – (2) до коррекции минимума – А и после коррекции – Б.

Сравнение рис.7А и рис.7Б позволяет сделать вывод о благоприятном влиянии такой коррекции минимума яркости.

Для сравнения качества восстановления контрастов разными методами приведем на рис.8 искаженное и восстановленные изображения.

Рис.8. Искаженное падающим снегом изображение (http://apparat.cc/news/snowstorm-juno-in-nyc/ ) – А;
восстановленные изображения: по методу [4] – Б,
по методу [5-6] и уменьшении ореолов способом, описанном выше – В,
по формуле (6) – Г.

Выводы

1.Эффективная компенсация негативного влияния гидрометеоров возможна на основе модели, описывающей формирование изображения в этих условиях (1). Некорректная задача может быть решена при наличии дополнительных условий – (2).

2.Эффективное решение задачи возможно при дополнительных предположениях и значительных вычислительных затратах [5, 6].

3.В данной работе предложен приближенный способ решения этой задачи, все расчеты в котором производятся с помощью быстрого преобразования Фурье (расчеты среднего и среднеквадратичного отклонения по спрайту).

4.Качество решения, несмотря на приближенный характер, остается достаточно высоким по сравнению с другими более сложными методами [5, 6].

5.Предложенный способ уменьшения ореолов достаточно эффективен, несмотря на незначительные по сравнению с другими методами [5, 6] затратами.

Авторы выражают благодарность инженеру Смольникову Е.Н. за содействие, ценные советы и своевременную помощь.

Литература

1. Гонсалес Р., Вудс Р. Цифровая обработка изображений. М.: Техносфера, 2005. 1072 с.

2. Halmaoui H., Cord A., Hautière N. Contrast restoration of road images taken in foggy weather // 2011 IEEE International Conference on Computer Vision Workshops. 2011. P. 2057—2063.

3. Tripathi A.K., Mukhopadhyay S. Removal of fog from images: A review // IETE Technical Review. 2012. Vol.29, № 2. P.148—156.

4. Михайлюк Ю.П., Начаров Д.В. «Метод улучшения различимости объектов на цифровых изображениях, полученных в условиях недостаточной видимости». // «Журнал Радиоэлектроники» [электронный журнал], N 6, 2015, URL: http://jre.cplire.ru/jre/jun15/4/text.html

5.Kaiming He, Jian Sun, Xiaoou Tang, Single Image Haze Removal Using Dark Channel Prior, IEEE Transaction on pattern analysis and machine intelligence, v.33, No.12, December 2011, pp. 2341-2353

, 05.08.2012.