УДК 528.854

УСТРАНЕНИЕ ВЛИЯНИЯ ТЕНЕЙ НА ТОЧНОСТЬ ВЫДЕЛЕНИЯ ОБЪЕКТОВ В ВИДЕОПОСЛЕДОВАТЕЛЬНОСТЯХ

 

С. А. Кузьмин

 

Факультет радиотехники, электроники и связи СПбГУАП, кафедра электронных и телевизионных систем

 

Получена 13 апреля 2012 г.

 

Аннотация. Можно добиться повышения характеристик алгоритмов выделения и сопровождения движущихся объектов путем исключения участков теней из выделенных областей. Представлены измеренные характеристики алгоритмов выделения теней. Описаны алгоритмы коррекции границ прямоугольников, охватывающих объекты.

Ключевые слова: выделение объектов, сопровождение объектов, выделение теней.

Abstract. It is possible to improve the characteristics of the algorithms of detection and tracking of moving objects by means of excluding of shadowed areas from detected areas. The results of experimental measurement of characteristics of the shadow detection algorithms are given. The algorithms of correction of borders of rectangles which surround detected objects are described.

Keywords: object detection, object tracking, shadow detection.

 

Введение

Точное выделение подвижных объектов в видеорядах является сложной задачей. Одной из основных причин ухудшения характеристик  алгоритмов выделения и сопровождения является принятие теней за части выделенных объектов.

Тени отбрасываются неподвижными высокими предметами (деревьями, заборами, столбами) и движущимися высокими объектами (автомобилями, людьми). Тени движущихся высоких объектов представляют серьезную проблему, так как движутся с той же скоростью, что и отбрасывающие их объекты. Однако, тени от неподвижных объектов на анализируемом изображении также могут двигаться из-за смещения источника освещения (например, в случае солнечных часов) или камеры.

 

Задача выделения теней в видеопоследовательности

Принятие теней за части объектов приводит к негативным последствиям – росту вероятностей ложных тревог, срывов сопровождения, ошибок классификации объекта, соединения нескольких объектов в один.

Способы уменьшения влияния теней на результат работы алгоритма обнаружения делятся на два класса: 1) методы, в которых влияние теней уменьшается пост-обработкой результата работы алгоритма выделения (при этом местоположение теней обнаруживается на входном изображении); 2) методы, которые пытаются восстановить исходную яркость в затененных участках кадра (в этом случае тени «исчезают» из исходного изображения).

Большинство алгоритмов первого класса [1-5, 8] основано на выделении пикселей, предположительно принадлежащих теням, и исключении этих пикселей из бинарного изображения, являющегося результатом работы алгоритма выделения объектов.

Примеры алгоритмов второго класса можно найти в работах [6-7]. Важно также отметить, что причиной возникновения темных областей в кадре часто является неправильное (неравномерное) освещение. В этом случае применяют гомоморфную фильтрацию [9 c. 210-212], которая выравнивает освещенность всех участков кадра.

Благоприятной для выделения теней является ситуация, когда светлый объект движется по фону средней яркости. В этом случае тени меняют яркости пикселей рядом с объектом таким образом, что они становятся темнее яркости фона и объекта. Хорошим вариантом также является случай, когда фон настолько темен, что яркость пикселей фона, накрытых тенями, практически не отличается от яркости пикселей открытых участков фона.

Неблагоприятной ситуацией является случай малого контраста объекта с фоном (светлый объект и светлый фон). В этом случае на выходе некоторых алгоритмов выделения оказываются выделенными только пиксели, принадлежащие теням. Еще одним из сложных вариантов является ситуация движения темного объекта по светлому фону. В этом случае алгоритм выделения теней может принять объект за тень.

Большинство существующих методов выделения теней разработаны для цветных изображений (см. [1 c.139-156; 2 c.81-100; 5; 8). Например, в [5] используется переход из цветового пространства RGB в цветовое пространство HSV с анализом изменений значений компонент H и S для каждого из пикселей изображения по сравнению со значениями этих же компонент у пикселей изображения оценки фона.  

В то же время методы выделения теней в полутоновых изображениях мало исследованы (примеры алгоритмов есть в [3 с.8-13; 4]). Вместе с тем, существует широкий парк видеокамер, работающих в полутоновом режиме.

 

Исследуемые алгоритмы выделения теней

Были исследованы [10-11] два алгоритма выделения пикселей, предположительно принадлежащих теням, на основе полутоновых изображений кадра и оценки фона:

1)          алгоритм выделения теней, основанный на анализе пикселей с большой отрицательной разницей изображений кадра и оценки фона, и низкой яркостью в изображении кадра. Разница изображений кадра и фона применялась и ранее (см. обзор алгоритмов в [2]), но при этом вычислялась абсолютная разница, что приводило к низким показателям точности подобных алгоритмов. Требование низкой яркости пикселя следует из-за внешнего вида теней ­– темных областей;

2)          алгоритм выделения теней, основанный на анализе уменьшения яркости кадра в некоторое количество раз (диапазон уменьшений задается заранее) по сравнению с яркостью оценки фона. Данный подход является основой ряда зарубежных алгоритмов выделения теней (обзор алгоритмов приведен в [2]).

Способов оценки фона очень много, исследования [12, 14] показали, что в хороших условиях наблюдения следует использовать медиану или моду, а в плохих – усреднение или варианты взвешенного суммирования.

Рассмотрим подробнее первый алгоритм выделения теней.

Выделить тени сложно, если опираться только на информацию из изображения модуля разности кадра  и оценки фона

 ,

где  – высота изображения,  – ширина изображения.

В дальнейшем для более короткой записи формул будем опускать определение диапазона применения алгоритмов обработки изображений «».

На изображениях абсолютной разности  пиксели теней, как правило, имеют высокую интенсивность, которая может быть равна или даже превышать интенсивность пикселей участков кадра с движущимися светлыми автомобилями.

Вместе с тем, тени имеют характерную особенность – низкую интенсивность на исходном изображении кадра . Таким образом, в местах, соответствующих теням на изображении кадра, формируются отрицательные значения разности кадра и оценки фона.

С учетом приведенных рассуждений, алгоритм отбора участков, предположительно содержащих тени, может быть сформулирован следующим образом:

1)          сформировать изображение из значений отрицательной разности кадра  и оценки фона , взятых по модулю:

;

2)           в местах, где абсолютное значение отрицательной разности превышает заданный порог (величина минимальной разницы тени и фона по яркости), сравнить интенсивность пикселя исходного кадра, имеющего те же координаты, с порогом . Если интенсивность пикселя ниже порога (минимальная яркость объекта), то данный пиксель маркируется в массиве , размеры которого совпадают с размерами кадра, как предположительно принадлежащий тени

.                  

Исследования [11] показали, что автоматический порог T1 на отрицательную разность изображений кадра и оценки фона может быть установлен с помощью критерия Дункана (Duncan range test), формула которого приведена в [13]:

 

,

где  – минимальное, среднее и максимальное значение яркости изображения отрицательной разности кадра и оценки фона.

Рассмотрим теперь второй алгоритм, в котором рассчитывается отношение яркости оценки фона  к яркости кадра .

Если величина отношения попадает в диапазон, характерный для теней (этот диапазон может менять в течение дня по программе), то данный пиксель маркируется в некотором массиве  как предположительно принадлежащий тени:

.     

Пример выделения теней двумя алгоритмами представлен на рис. 1.

 

Рис. 1. Выделение теней на основе полутоновых изображений кадра и оценки фона. Верхний ряд: кадр и эталонное (сделанное вручную) выделение теней. Нижний ряд слева направо: результат выделения теней первым алгоритмом, результат выделения теней вторым алгоритмом.

        

Уменьшение влияния теней на выделение объектов

Результатом работы алгоритма выделения теней является бинарное (черно-белое) изображение, в котором белым цветом отмечены пиксели, которые предположительно принадлежат теням. В этом изображении интерес представляют крупные области, а отдельно стоящие пиксели и малые области следует устранить. Для устранения теней применяется последовательность из медианного фильтра с апертурой размером 9х9 в форме квадрата и бинарный процентильный фильтр «псевдонаращивание» (выбор 18-й порядковой статистики из вариационного ряда длиной 25 элементов в случае апертуры фильтра размером 5х5 [15]). Оставшиеся после шумоподавления крупные области считаются истинными тенями. Полученное бинарное изображение сегментируется, и определяются минимальные и максимальные координаты граничных пикселей каждой из теней.

Затем производится выделение объектов на основе изображений кадра и оценки фона (описание алгоритма выделения объектов есть в статье [12]). После этапа выделения объектов имеется бинарное изображение, в котором белым цветом обозначены пиксели, потенциально принадлежащие объектам. Проблемой является то, что кроме объектов выделяются и их тени. Это изображение также сегментируется и для каждой из областей этого изображения определяются минимальные и максимальные координаты граничных пикселей. На основании расчета ряда простых признаков (площадь, отношение длины к ширине, положение в кадре) производится отбор областей, которые похожи на искомые объекты (транспортные средства).

Участки, соответствующие координатам областей с выделенными тенями, как правило, находится внутри выделенных объектов и вблизи одной из границ этих объектов. Требуется скорректировать границы выделенных объектов с учетом положения теней. Для каждого из объектов проверяется наличие в нем теней (попадание тени внутрь объекта). Если в объекте содержится тень и известна её близость к одной из границ, то размер объекта корректируется (уменьшается) таким образом, чтобы после коррекции тень оказалась за пределами скорректированной области объекта. Будем называть стробом прямоугольник, охватывающий объект. Коррекция границы строба объекта не должна приводить к сильному сокращению количества правильно выделенных пикселей объекта.

Были разработаны два алгоритма коррекции границ стробов объектов:

1)                      по проекциям внутри стробов (рис. 2). В данном алгоритме не используется изображение с выделенными тенями, т.е. его можно применять в случае отсутствия детектора теней;

2)                      коррекция границ стробов объектов с учетом выделенных теней (рис. 3).

Первый алгоритм коррекции состоит в анализе проекций объекта на оси. Для текущего рассматриваемого объекта рассчитывается проекция на ось X (рис. 2). В данном случае объект рассматривается как совокупность столбцов и под проекцией объекта понимается совокупность значений, каждое из которых равно количеству белых пикселей в столбце объекта с той же координатой Х.

Таким образом, проекция столбца c координатой x=i:

                  ,      

          

где ,

       m – номер идентификатора (метки) области.

Значения проекций столбцов сравниваются с пороговым значением  и точки превышения порога, ближайшие к левому и правому краю начального строба, считаются границами скорректированного строба:

 

                             

Пороговое значение  может быть задано заранее.

Во втором алгоритме производится сравнение координат стробов объектов с координатами стробов теней. Если координаты строба тени находятся внутри строба объекта и вблизи от его границ, то можно уменьшить размер строба объекта таким образом, чтобы часть тени была исключена с одновременным сохранение всех правильно выделенных пикселей.

 

 

Рис. 2. Коррекция границ стробов – первый алгоритм. Сверху вниз: начальные границы стробов; проекция области на ось X (красная линия на графике обозначает порог, по которому определяются скорректированные границы строба); скорректированные границы стробов.

 

Рис. 3. Коррекция границ стробов – второй алгоритм. Верхний ряд: кадр и оценка фона. Второй ряд: результат работы второго алгоритма выделения теней до и после шумоподавления. Третий ряд: результаты сегментации теней и выделенных областей. Нижний ряд: результат коррекции  стробов объектов, в которых были тени; полупрозрачное наложение исходного кадра на результат коррекции  стробов объектов.

 

Для случая коррекции по высоте запишем алгоритм формулой. Если тень находится вблизи нижней границы объекта, то:

, где  - минимальная координата строба тени   в изображении по оси Y,  - максимальная координата строба объекта  в изображении по оси Y.

Аналогичные выражения можно написать и для остальных сторон строба (когда тень находится слева, справа, сверху от центра тяжести объекта).

В ряде случаев при этом будет устранена не вся тень, а только её часть, но это лучше, чем ничего.

Из рис. 3 видно, что отмеченное как тень заднее стекло микроавтобуса не повлияло на размеры строба объекта, так как находится внутри строба объекта на большом удалении от его границ.

 

Исследование алгоритмов выделения теней

Описанные алгоритмы выделения теней тестировались на видеоклипах с транспортными средствами, едущими по городским улицам. На видеозаписях автомобили, приближающиеся к камере, имели тени спереди, а автомобили, удаляющиеся от камеры, имели тени сзади. 

Пороги чувствительности алгоритмов выделения теней менялись в некотором диапазоне, что позволило построить графики зависимостей вероятности правильного выделения пикселей теней от вероятности ложного выделения пикселей теней (рис. 4).

Вероятности рассчитывались подсчетом правильно выделенных и ложно выделенных пикселей теней. Следует отметить, что при настраивании первого алгоритма выделения теней необходимо менять 2 порога, а в случае второго алгоритма – фактически необходимо менять лишь один порог (нижнее значение отношения яркости фона к яркости кадра), так как верхнее значение отношения яркости фона к яркости кадра в большинстве случаев может быть установлено равным 255.

 

 

Рис. 4. Зависимость вероятности правильного выделения от вероятности ложного выделения (умножены на 100). Красный – первый алгоритм, синий – второй алгоритм.

 

По результатам исследований был сделан вывод, что первый алгоритм имеет лучшие характеристики (показывает более высокую вероятность правильного выделения при той же вероятности ложной тревоги).

 

Заключение

В статье были рассмотрены основные подходы к устранению влияния теней на точность выделения объектов в видеорядах. Точное выделение объектов в свою очередь ведет к правильной классификации и надежному сопровождению интересующих объектов.

По результатам  исследований предложенный первый алгоритм выделения теней превосходит второй алгоритм, известный из литературы. Также описаны разработанные алгоритмы коррекции границ стробов с учетом выделенных теней  и без учета выделенных теней.

Результатом применения описанных алгоритмов является снижение вероятности ложных срывов при сопровождении объектов, вероятности ложного выделения и ложной классификации, но также эти алгоритмы могут уменьшить вероятность правильного выделения объектов.

 

Литература

1.                 A. Prati, Models, algorithms and architectures for video analysis in real-time/PhD thesis. – Italy, Universita degli Studi di Modena e Reggio Emilia, 2001. 194 p.

2.                 A. Bevilacqua, A system for detecting motion in outdoor environments for a visual surveillance application/PhD thesis. – Italy, Universita of Bologna, 2002. 153 p.

3.     R.F.K. Martin, Image segmentation and shadow handling methods for intelligent transportation systems/ Master of Science thesis. – USA, Minneapolis: University of Minnesota, June 2003. 39 p.

4.                H.-T. Chen, H.-H. Lin, T.-L. Liu, Multi-Object Tracking Using Dynamical Graph Matching //Proceedings of IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR-2001), Kauai, Hawaii, December 2001. Vol. 2, pp. 210-217.

5.                R.Cucchiara, C.Grana, M. Piccardi, A. Prati, Detecting moving objects, ghosts, and shadows in video streams//IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 25, no. 10, 2003, pp. 1337-1342.

6.                G.D. Finlayson, S.D. Hordley, M.S. Drew, Removing Shadows from Images// Proceedings of the 7th European Conference on Computer Vision-Part IV, p.823-836, May 28-31, 2002.

7.                Scanlan J.M., Chabries D.M., and Christiansen R.W. A shadow detection and removal algorithm for 2-d images//Proceedings of the IEEE International conference on Acoustics, Speech, and Signal Processing. Albuquerque, New Mexico, April 1990. Pp. 2057-2060.

8.                Гаганов В., Конушин А. Сегментация движущихся объектов в видеопотоке// Компьютерная графика и мультимедиа. Выпуск №2(3)/2004. http://cgm.graphicon.ru/content/view/67/ .

9.                Красильников Н.Н. Цифровая обработка изображений. – М.:   Вузовская книга, 2001. – 320 с.: ил.

10.           Кузьмин С.А. Обнаружение теней и подавление импульсных помех в видеопоследовательностях // Материалы Всероссийского форума студентов, аспирантов и молодых ученых "Наука и инновации в технических университетах". – СПб.: Изд-во Политехн. ун-та, 2007. C.65.

11.           Обнаружение затемненных участков в видеопоследовательностях: дипломный проект (работа)/ Е.А. Брилиантов ; рук.работы С.А. Кузьмин; С.-Петерб. гос. ун-т аэрокосм. приборостроения. – СПб., 2010. – 85 л.

12.           Кузьмин С.А. Семантическое сжатие видеоинформации в системах видеонаблюдения // Журнал Радиоэлектроники (электронный журнал), №4, 2012 http://jre.cplire.ru/jre/apr12/5/text.html.

13.           Сергунов А.А. Современные методы подавления шума с сохранением резкости изображения/ Научная сессия ГУАП: Сб. докл.: В 3 ч. Ч.II. Технические науки /СПбГУАП. СПб., 2008. С. 48-50.

14.           Кузьмин С.А. Сравнительное исследование способов оценки фона в видеопоследовательностях//Журнал Радиоэлектроники (электронный журнал), №3, 2012. http://jre.cplire.ru/jre/mar12/12/text.pdf

15.           Кузьмин С.А. Исследование помехоустойчивости ранговых операторов//Доклады 10-й Международной конференции и выставки «Цифровая обработка сигналов и её применение». – М., 2008. Т. 2.  С. 501-504. http://www.autex.spb.ru/pdf/dspa08-42.doc