Метод улучшения различимости объектов на цифровых изображениях, полученных в условиях недостаточной видимости.

УДК 621.397

МЕТОД УЛУЧШЕНИЯ РАЗЛИЧИМОСТИ ОБЪЕКТОВ НА ЦИФРОВЫХ ИЗОБРАЖЕНИЯХ,

ПОЛУЧЕННЫХ В УСЛОВИЯХ НЕДОСТАТОЧНОЙ ВИДИМОСТИ

Ю. П. Михайлюк, Д. В. Начаров

Севастопольский государственный университет

Статья получена 28 мая 2015 г.

Аннотация. Предложен метод улучшения различимости объектов на цифровых изображениях, полученных в условиях недостаточной видимости. Метод предполагает преобразование динамических диапазонов различных сцен обрабатываемого изображения. На примере изображений, полученных в условиях тумана, показана эффективность предложенного метода.

Ключевые слова: цифровое изображение, контраст, видимость, различимость, динамический диапазон.

Abstract: The method of objects distinctiveness improvement on digital images recorded in poor visibility conditions is presented. The method suggests transformation of dynamic ranges of different scenes of processed image. Efficiency of proposed method is shown by using examples of foggy images.

Keywords: digital image, contrast, visibility, distinctiveness, dynamic range.

1. Введение

Ухудшение условий визуального наблюдения, связанное с изменением погодных условий, снижает эффективность и безопасность применения технических средств и систем различного назначения, например, средств наземного, воздушного и водного транспортов, тяжелых строительных механизмов, систем видеонаблюдения, телевизионных систем. Актуальность задачи улучшения различимости объектов средствами обработки цифровых телевизионных изображений подтверждается повышенным интересом многих исследователей [1-5]. Ухудшение различимости объектов на изображениях, полученных в условиях недостаточной видимости, под которой, в частности, в «Правилах дорожного движения» [6] понимается «… видимость дороги менее 300 м в условиях тумана, дождя, снегопада и тому подобного, а также в сумерки», обусловлено уменьшением контраста и цветовой насыщенности.

В общем случае низкий контраст изображения является следствием несогласованности динамических диапазонов изображения и воспроизводящего устройства [7]. Снижение контраста объектов сцены на изображениях, полученных в условиях недостаточной видимости, характеризуется пространственной неравномерностью: как правило, области изображения, отображающие удаленные объекты имеют малый динамический диапазон и характеризуются малым контрастом. В свою очередь области изображения, отображающие объекты ближней сцены, имеют большие динамический диапазон и контраст. Методы контрастной коррекции [7, 8] предполагают увеличение динамического диапазона изображения и приведение его в соответствие с динамическим диапазоном воспроизводящего устройства. Таким образом, задача улучшения различимости объектов за счет контрастной коррекции может рассматриваться как задача согласования динамических диапазонов различных областей изображения с динамическим диапазоном воспроизводящего устройства.

В работе предлагается метод улучшения различимости объектов сцены, предполагающий увеличение контраста путем преобразования динамического диапазона яркостей изображения.

2. Постановка задачи

Простейшим методом увеличения контраста изображений является линейное контрастирование [7].

Представим исходное полутоновое изображение как двумерный массив яркостей пикселей

где — горизонтальные и вертикальные координаты пикселей;

— вертикальный и горизонтальный размеры изображения.

Обозначим обработанное изображение как массив

Для общности изложения будем пользоваться нормированной яркостью, принимающей значения в диапазоне . Максимальный динамический диапазон изображения при этом будет равен 1.

Линейное контрастирование является поэлементным преобразованием и описывается функцией преобразования яркости общего вида

где — яркость исходного изображения;

— яркость обработанного изображения.

Обозначим минимальную и максимальную яркости исходного изображения как и , а минимальную и максимальную яркости обработанного изображения как и , соответственно. Тогда функция линейного преобразования диапазона яркостей в диапазон яркостей описывается выражением

. (1)

При и , что соответствует максимальному динамическому диапазону, выражение (1) является уравнением прямой, пересекающей ось яркостей в точке . Увеличение динамического диапазона изображения определяется крутизной преобразования яркости , вычисляемой как

На рис. 1,а показано изображение , полученное в условиях тумана, которое имеет динамический диапазон . На рис. 1,b показаны нормированная гистограмма и линейная функция преобразования яркости .

На рис. 2 показаны обработанное по методу линейного контрастирования изображение и его нормированная гистограмма .

а) b)

Рис. 1. Изображение , полученное в условиях тумана (a), нормированная гистограмма и функция преобразования яркости (b).

a) b)

Рис. 2. Обработанное изображение (а) и его нормированная гистограмма (b).

Значение крутизны функции преобразования, показанной на рис. 1,b, составляет . Из визуального анализа рис. 2 следует, что обработанное изображение по-прежнему характеризуется низким контрастом удаленных объектов сцены, тогда как гистограмма изображения занимает весь возможный диапазон яркостей. Поскольку преобразование яркости является линейным, динамические диапазоны областей изображения, отображающих дальнюю и ближнюю сцены изображения, увеличены в одинаковое число раз, равно крутизне .

Проведем анализ изменения динамических диапазонов отдельных частей изображения. На изображении рис. 1,а объекты дальней сцены располагаются в верхней половине изображения, а объекты ближней сцены — в нижней. Рассмотрим гистограммы верхней и нижней частей изображений и , определенных как:

— верхние части изображений:

;

— нижние части изображений:

;

На рис. 3 показаны гистограммы изображений, (рис. 3,а), (рис. 3,b), (рис. 3,c), (рис. 3,d). Динамический диапазон изображения составляет 0,47, а динамический диапазон изображения — 0,26. В результате линейного преобразования яркости с крутизной динамический диапазон изображения составляет 0,99. При этом гистограмма изображения в результате преобразования занимает практически весь возможный диапазон яркостей. Динамический диапазон изображения составляет 0,56.

Таким образом, при обработке изображений, полученных в сложных метеоусловиях, линейное контрастирование не позволяет учитывать неравномерность динамических диапазонов и, соответственно, контрастов областей изображения, отображающих объекты, расположенные на различном удалении от регистрирующего устройства. В результате линейного контрастирования возможно максимальное увеличение динамического диапазона только определенной части диапазона яркостей обрабатываемого изображения.

a) b)

c) d)

Рис. 3. Нормированные гистограммы изображений (а), (b), (c), (d).

С учетом этого предлагается следующий подход к коррекции изображений, полученных в условиях недостаточной видимости.

Яркость исходного изображения разделяется на два диапазона, соответствующих ближней и дальней сценам изображения. В основе предлагаемого подхода к разделению диапазона яркости обрабатываемого изображения находится предположение о зависимости яркости объекта от его удаленности: объекты с большей яркостью считаются более удаленными, чем объекты с меньшей яркостью. На основе исходного изображения формируются два изображения: изображение, содержащее поддиапазон малых яркостей (изображение ближней сцены), и изображение, содержащее поддиапазон больших яркостей (изображение дальней сцены) (рис. 4).

Рис. 4. К пояснению разделения яркости на поддиапазоны.

Сформированные таким образом изображения подвергаются процедуре линейного контрастирования, при этом оба поддиапазона яркостей преобразовываются на весь возможный диапазон яркостей. Затем выполняется процедура совмещения двух полученных таким образом изображений. Такая обработка требует определения границы поддиапазонов малых и больших яркостей и разработки процедуры совмещения изображений.

3. Описание метода

Коррекция дальней сцены изображения

Поскольку целью коррекции изображений, полученных в условиях недостаточной видимости, является улучшение различимости объектов, наиболее важным является осуществление коррекции контраста объектов дальней сцены изображения, для которых характерно более значительное снижение различимости.

Уровни яркости изображений, полученных в условиях недостаточной видимости, располагаются в верхней части диапазона, что обусловлено наличием аддитивной составляющей рассеянного света [1,4,9]. Величина рассеянного света может оцениваться значением средней яркости изображения . Поэтому первым этапом коррекции дальней сцены изображения является вычитание средней яркости изображения. В результате формируется разностное изображение, на котором уровни яркости исходного изображения, превышающие среднее значение, будут сдвинуты в начало диапазона. Динамический диапазон разностного изображения увеличивается путем умножения на масштабный коэффициент.

Яркость разностного изображения описывается выражением

где — масштабный коэффициент.

Разностное изображение и его нормированная гистограмма показаны на рис. 5.

a) b)

Рис. 5. Разностное изображение (а) и его нормированная

гистограмма (b).

Как видно из рис. 5,а вычитание средней яркости и умножение на масштабный коэффициент приводит к увеличению динамического диапазона объектов дальней сцены. При этом объекты ближней сцены с яркостью, меньшей , на изображении отсутствуют. Таким образом, достигается селекция объектов, находящихся на разном удалении от регистрирующего устройства.

Эффективность использования всего диапазона яркостей можно повысить за счет линейного контрастирования разностного изображения. При этом входной диапазон преобразования может быть ограничен уровнями яркости, наиболее часто встречающимися на изображении. Для определения ограниченного диапазона яркостей можно использовать нормированную гистограмму , которая фактически является функцией частотного распределения яркостей изображения, и интегральную функцию распределения яркостей , определяемую как

где — число градаций яркости изображения.

Значение функции от -го уровня яркости характеризует количество пикселей, яркость которых находится в диапазоне яркостей .

На рис. 6 показана интегральная функция распределения разностного изображения.

Рис. 6. Интегральная функция распределения яркости .

На рис. 6 видно, что 99% пикселей разностного изображения имеют яркость в диапазоне . Таким образом, за счет отбрасывания редко встречающихся уровней яркости, можно значительно увеличить динамический диапазон разностного изображения.

На рис. 7,а показаны изображение, полученное в результате линейного контрастирования разностного изображения с ограничением входных уровней, и его нормированная гистограмма.

Оценим потерю информации за счет ограничения уровней яркости изображения . Двоичная информационная энтропия произвольного изображения равна

, (2)

где — нормированная гистограмма изображения .

a) b)

Рис. 7. Изображение, полученное в результате линейного контрастирования разностного изображения с ограничением входных уровней (а) и его нормированная гистограмма (b).

Энтропия в битах изображения до ограничения составляет бит/пиксель. Энтропия изображения после ограничения составляет бит/пиксель. Таким образом, потеря информации не превышает 0,1 бита/пиксель при 8-битном представлении яркости.

Использование средней яркости в качестве границы разделения диапазонов не всегда позволяет выделять объекты дальней сцены. Рассмотрим изображение, полученное в условиях тумана при меньшей дальности видимости (рис. 8,а).

а) b)

c) d)

Рис. 8. Изображение, содержащее обширную область неба (а), разностное изображении при вычитании яркости (b), подпороговая область (c), разностное изображении при вычитании яркости (d).

За счет наличия на изображении обширной слабоконтрастной области, соответствующей небу, значение окажется завышенным. Вследствие этого разностное изображение почти не содержит объектов дальней сцены (рис. 8,b). Для устранения этого эффекта предлагается при вычислении средней яркости изображения исключать из рассмотрения слабоконтрастную область неба. Это может быть достигнуто за счет исключения пикселей подпорогой области. Подпороговая область — это область изображения, контраст в которой не превышает пороговой контрастной чувствительности зрительной системы человека [10]. Обозначим среднюю яркость изображения без учета области неба как .

На рис. 8,c показана подпороговая область изображения рис. 8,а. На рис. 8,d показано разностное изображение, полученное при вычитании яркости . Таким образом, исключение из рассмотрения слабоконтрастной области неба позволяет уточнить оценку средней яркости и осуществлять выделение объектов дальней сцены на изображениях, полученных при различных дальностях видимости. При этом если область неба на обрабатываемом изображении невелика, оценки и практически совпадают.

Коррекция ближней сцены изображения

В результате коррекции дальней сцены на разностном изображении присутствуют уровни яркости в диапазоне . Коррекция ближней сцены изображения заключается в линейном контрастировании поддиапазона яркостей исходного изображения .

Линейное контрастирование динамического диапазона ближней сцены описывается выражением

На рис. 9,а,b показаны изображение ближней сцены и его нормированная гистограмма . Для повышения эффективности преобразования входной диапазон также ограничен 99% наиболее часто встречающимися уровнями яркости. Результаты линейного контрастирования с ограничением входного диапазона яркости показаны на рис. 9,c,d.

а) b)

c) d)

Рис. 9. Изображение ближней сцены (а) и его нормированная гистограмма (b),
изображение, полученное в результате линейного контрастирования изображения ближней сцены
с ограничением входных уровней (c) и его нормированная гистограмма (d).

Таким образом, в результате линейного контрастирования поддиапазонов ближней и дальней сцен исходного изображения сформированы два изображения и с динамическим диапазоном, близким к 1. Следующим этапом обработки является совмещение этих изображений.

Совмещение изображений ближней и дальней сцен

Задача совмещения изображений ближней и дальней сцен заключается в представлении диапазонов яркостей этих двух изображений в одном общем диапазоне яркостей обработанного изображения. Простейшим вариантом совмещения изображений ближней и дальней сцен является их суммирование. Однако, поскольку оба изображения имеют максимальный динамический диапазон, при их суммировании необходимо каждое из них умножить на весовой коэффициент. Таким образом, яркость суммарного изображения будет описываться выражением

, (3)

где — «глобальный» весовой коэффициент.

Коэффициент назван «глобальным», поскольку его значение одинаково для всех пикселей изображения.

На рис. 10 показаны результаты совмещения изображений ближней и дальней сцен при различных значениях коэффициента .

Согласно выражению (3), значение коэффициента определяет вклад яркостей изображений ближней и дальней сцен в яркость суммарного изображения. При вклады обоих изображений одинаковы. При суммарное изображение в большей степени определяется изображением дальней сцены, при — изображением ближней сцены.

Как видно из рис. 10, применение «глобального» весового коэффициента не позволяет учитывать пространственную неравномерность ухудшения контраста, свойственную изображениям, полученным в сложных метеоусловиях. Использование глобального весового коэффициента нивелирует выигрыш от увеличения динамического диапазона различных поддиапазонов яркости за счет усреднения с минимальными и максимальными значениями яркости изображений и .

а) b)

Рис. 10. Результаты совмещения изображений ближней и дальней сцен при значениях
«глобальных» весовых коэффициентов (а), (b) и (c).

Для наилучшего отображения обоих поддиапазонов яркости следует применять весовые коэффициенты, определяемые значениями и пространственным распределением яркости обрабатываемого изображения . В области больших яркостей следует выбирать большие весовые коэффициенты для изображения дальней сцены, а в области малых яркостей — для изображения ближней сцены.

Для учета локальных свойств изображения вместо глобального весового коэффициента может применяться массив локальных весовых коэффициентов с размерами, равными размерам . Таким образом, каждому пикселю изображения присваивается весовой коэффициент из массива .

Предлагается в качестве массива весовых коэффициентов использовать локально усредненные яркости исходного изображения , нормированные к максимальному значению

Локальное усреднение осуществляется с помощью пространственной фильтрации сглаживающим фильтром. Изображение определяется в результате свертки изображения с маской фильтра и описывается выражением

где — переменные сдвига;

— размеры маски сглаживающего фильтра.

Маска фильтра определяется выражением

Соотношение размеров маски фильтра выбирается таким же, как и соотношение размеров изображения . Для известных размеров изображения достаточно задавать только один, например, горизонтальный размер . При этом вертикальный размер определяется как

Суммарное изображение определяется выражением

. (4)

На рис. 11 показан весовой массив при и соответствующее ему изображение .

а) b)

Рис. 11. Массив при (а) и соответствующее ему изображение (b)

Сглаживающий фильтр по сути является пространственным фильтром нижних частот с частотой среза, определяемой размером фильтра. Применение сглаживающего фильтра с размерами эквивалентно снижению пространственного разрешения изображения в раз. Таким образом, массив весовых коэффициентов является изображением с подавленными верхними пространственными частотами. Выражение (4) содержит как весовые коэффициенты , так и инверсные весовые коэффициенты . Инверсия весовых коэффициентов приводит к обратному эффекту — происходит подавление нижних частот и усиление верхних частот изображения ближней сцены . При малых это проявляется в виде изменения значения постоянной составляющей и повышения резкости контуров в области ближней сцены суммарного изображения (см. рис. 11,b).

Представим изображение в виде суммы низкочастотной и высокочастотной составляющих

Массив весовых коэффициентов может быть представлен как

При , что соответствует отсутствию сглаживания, получим

Поскольку к изображениям применяются только линейные яркостные преобразования, то спектры изображений и одинаковы по составу пространственных частот. Поэтому, без учета амплитудных соотношений, можно записать

Тогда, при , получим

При , что соответствует снижению пространственного разрешения в раз, изображение содержит только постоянную составляющую, и тогда получим

;

Таким образом, при все коэффициенты массива равны между собой и применение массива эквивалентно применению глобального весового коэффициента .

Для снижения эффекта подавления нижних частот изображения и, в то же время, сохранения пространственного распределения значений коэффициентов массива , размер маски фильтра должен выбираться из интервала .

Анализ ряда изображений, полученных в сложных метеоусловиях, показал, что в силу слабоконтрастной природы таких изображений и, соответственно, небольшой ширины спектра пространственных частот, уже при обеспечивается значительное снижение эффекта ослабления нижних частот.

Массив при и соответствующее ему изображение показаны на рис. 12.

а) b)

Рис. 12. Массив при (а) и соответствующее ему изображение (b).

Для сдвига средней яркости изображения в область меньших значений может применяться пост-обработка, заключающаяся в проведении –коррекции [8]. Яркость изображения после пост-обработки описывается выражением

где — показатель степени, который выбирается большим 1.

Показатель степени может выбираться с использованием следующего выражения

; (5)

где — уровень яркости изображения , для которого значение интегральной функции распределения яркости составляет 0,01.

То есть, в результате пост-обработки динамический диапазон малых яркостей, представленный 1% пикселей изображения, будет сжат в 2 раза. За счет такого преобразования достигается сжатие динамического диапазона малых яркостей и растяжение диапазона средних и больших яркостей изображения .

Для изображения рис. 9,b показатель степени , определенный по выражению (5) равен 1,32. Результаты пост-обработки показаны на рис. 13.

Динамические диапазоны верхней и нижней частей изображения равны 0,88 и 0,99, соответственно. В результате применения предложенного метода увеличены динамические диапазоны и контрасты различных областей обрабатываемого изображения, вследствие чего улучшена различимость объектов сцены.

Энтропия исходного изображения в битах, определяемая по формуле (2), составляет бит/пиксель при 8-битном представлении яркости. Энтропия обработанного согласно предложенному методу изображения составляет бит/пиксель при 8-битном представлении яркости.

Итоговый результат применения предложенного метода улучшения различимости показан на рис. 14,b.

а) b)

c) d)

Рис. 13. Изображение (а), его гистограмма , нормированная к максимальному значению, и функция преобразования яркости пост-обработки при (b), изображение (c) и его нормированная гистограмма (d).

а) b)

Рис. 14. Исходное изображение, полученное в условиях тумана, (а) и результат применения предложенного метода улучшения различимости (b).

Обработка цветных изображений

Поскольку применение одинаковых функций преобразования яркости независимо к каждой из компонент RGB изображения не приводит к изменению цветового тона [8], предлагаемый метод коррекции непосредственно применим к цветным изображениям. Для вычисления функции преобразования линейного контрастирования и пост-обработки, а также для построения массива локальных весовых коэффициентов может использоваться яркостное изображение .

На рис. 15 показаны исходное и обработанное согласно предлагаемому методу цветные изображения.

а) b)

Рис. 15. Исходное цветное изображение, полученное в условиях тумана, (а)
и результат применения предложенного метода улучшения различимости (b).

В результате применения предложенного метода улучшения различимости помимо увеличения динамического диапазона яркостей ближней и дальней сцен изображения, происходит также увеличение цветовой насыщенности объектов изображения.

На рис.16 показаны дополнительные примеры применения разработанного метода.

а) b)

c) d)

e) f)

Рис. 16. Исходные изображения, полученные в условиях недостаточной видимости, (а, c, e)
и результаты применения предложенного метода улучшения различимости (b, d, f).

4. Выводы

В работе предложен метод преобразования динамического диапазона с целью улучшения различимости объектов, применимый к изображениям, полученным в условиях недостаточной видимости. Метод предполагает формирование на основе обрабатываемого изображения двух изображений, содержащих поддиапазоны малых и больших яркостей. Сформированные таким образом изображения подвергаются процедуре линейного контрастирования, при этом оба поддиапазона яркостей преобразовываются на весь возможный диапазон яркостей. Затем выполняются процедура совмещения этих двух изображений и пост-обработка. Предложенный метод применим как к полутоновым, так и к цветным цифровым изображениям.

На примере изображения, полученного в условиях тумана, проведены качественная и количественная оценки эффективности предложенного метода. В результате применения предложенного метода увеличиваются динамические диапазоны и контрасты областей изображения, отображающих объекты ближней и дальней сцен. Кроме того увеличивается двоичная информационная энтропия изображения.

Задачей дальнейших исследования является анализ особенностей программной и аппаратной реализаций предложенного метода улучшения различимости объектов.

Литература

1. Narasimhan S.G., Nayar S.K. Contrast restoration of weather degraded images // IEEE Transactions on Pattern Analysis and Machine Intelligence. 2003. Vol.25, № 6. P. 713—724.

2. He K., Sun J., Tang X. Single image haze removal using dark channel prior // IEEE Computer Society Conference on Computer Vision and Pattern Recognition. 2006. Vol.1. P. 1956—1963.

3. Halmaoui H., Cord A., Hautière N. Contrast restoration of road images taken in foggy weather // 2011 IEEE International Conference on Computer Vision Workshops. 2011. P. 2057—2063.

4. Tripathi A.K., Mukhopadhyay S. Removal of fog from images: A review // IETE Technical Review. 2012. Vol.29, № 2. P.148—156.

5. Ancuti C., Ancuti C.O. Effective Contrast-Based Dehazing for Robust Image Matching // IEEE Geoscience and Remote Sensing Letters. 2014. Vol.11, №11. P.1871—1875.

6. ПДД — Правила Дорожного Движения Российской Федерации 2015 [Электронный ресурс] / ГАИ РУ – информационный портал. URL: http://gai.ru/voditelskoe-udostoverenie/pddrf (дата обращения: 28.05.2015).

7. Грузман И.С., Киричук В.С., Косых В.П., Перетягин Г.И., Спектор А.А. Цифровая обработка изображений в информационных системах: учебное пособие. Новосибирск: Изд-во НГТУ, 2002. 352 c.

8. Гонсалес Р., Вудс Р. Цифровая обработка изображений. М.: Техносфера, 2005. 1072 с.

9. Mikhailyuk Y.P., Nacharov D.V. The method of correction of digital television images recorded in bad weather // Proc. of 21st International Crimean Conference «Microwave & Telecommunication Technology». 2011. P.1122—1123.

10. Михайлюк Ю.П., Начаров Д.В. Количественная оценка эффективности контрастной коррекции цифровых телевизионных изображений // Вестник СевНТУ. 2012. Вып. 131. С.160—163.