УДК 681.3.07
ВЛИЯНИЕ ПОМЕХОУСТОЙЧИВОСТИ ШИРОКОПОЛОСНЫХ СИСТЕМ БЕСПРОВОДНОГО ДОСТУПА НА КАЧЕСТВО ПЕРЕДАЧИ ПОТОКОВОГО ВИДЕО
О. И. Шелухин, Ю. А. Иванов
ГОУ ВПО "Московский технический университет связи и информатики"
Получена 14 сентября 2010 г.
Аннотация. Рассматривается влияние одиночных и пакетных ошибок в каналах широкополосных систем беспроводного доступа на качество передачи потокового видео стандарта H264 AVC c помощью разработанного программно-аппаратного комплекса. Приведены численные результаты.
Ключевые слова: потоковое видео, кодеры, декодеры, качество видео, битовая ошибка, пакетная ошибка, MSE, PSNR.
Постановка задачи
Передача потоковых сервисов по различным средам (системы беспроводного доступа, Интернет) - аудио и видео становится все более популярным. Это стремительное распространение определяет новую сложную задачу по поддержанию качества обслуживания потокового видео.
Однако при трансляции по беспроводным сетям применение более совершенных методов кодирования не позволяет в полной мере избежать появления характерных искажений видео.
Одними из важнейших параметров QoS для беспроводных сетей являются вероятности появления битовых BER (от англ. Bit Error Rate) и пакетных PER (от англ. Packet Error Rate) ошибок. Одиночные потери пакетов также как и одиночные битовые ошибки не способны имитировать канал, подверженный замираниям. Как правило, ошибки часто являются пакетными, что обусловлено условиями распространения. Затухание передаваемого сигнала приводит к группированию ошибок. Группой ошибочных пакетов называют последовательность пакетов, не полученных или полученных с ошибкой при передаче по каналу связи в определенный промежуток времени. В связи с этим введено понятие длины группы ошибок BEL (от англ. Burst Error Length) [1, 2]. Длина группы ошибок определяется как число от первого до последнего ошибочного пакета, включительно в определенной группе ошибок.
Для полноценного анализа влияния ошибок на полученное качество были проведены исследования влияния помехоустойчивости беспроводной среды передачи на качество восприятия потокового видео стандарта H.264/AVC с помощью разработанного программно-аппаратного комплекса (ПАК) [3, 6]. Показатели качества видео получены с помощью субъективных и объективных методов [4, 5].
Для проведения оценки качества необходимо иметь данные видеофайла до передачи по сети (на передающей стороне) и после приема из сети (на приемной стороне). На передающей стороне необходимыми данными являются: исходное некодированное видео в формате YUV, закодированное видео в формате MPEG-4, а также время отправки и тип каждого отправленного в сеть пакета.
На приемной стороне необходимо получить следующие данные: время приема и тип каждого принятого из сети пакета, закодированное видео (возможно, искаженное) в формате MPEG-4 и декодированное видео в формате YUV для отображения.
Оценка данных производилась путем сравнения передаваемых и принятых файлов.
Структура программно-аппаратного комплекса
Обработка данных осуществляется в три этапа.
На первом этапе анализируется время приема и отправки каждого пакета с обеих сторон и его тип. В результате появляется запись о типе кадра и времени между переданным и принятым пакетами. Кроме того, файл искаженного видео на приемной стороне восстанавливается путем использования оригинального закодированного видеофайла и информации о потерянных пакетах. После чего видео декодируется для отображения зрителю. На этом этапе возникает обычная проблема оценки качества видео. Показатели качества видео всегда требуют сравнения принятого (возможно, искаженного) и соответствующего исходного кадра. В случае полной потери кадра отсутствует необходимая синхронизация кадров до и после передачи по сети.
На втором этапе обработки эта проблема решается на основе анализа информации о потерях. Синхронизация кадров восстанавливается путем добавления последнего отображенного кадра вместо потерянных. Это позволяет провести дальнейшую покадровую оценку качества.
На третьем этапе для анализа качества декодированного видео используются восстановленный и исходный видеофайл.
На рис. 1 представлена структурная схема программно-аппаратного комплекса (ПАК) для оценки качества потокового видео. В схеме отражено взаимодействие между модулями при передаче цифрового видео от источника через сеть связи к зрителю.
Рис. 1. Функциональная схема ПАК.
Взаимодействие между модулями ПАК и сетью осуществляется с помощью трасс, содержащих все необходимые данные. Таким образом, для функционирования ПАК необходимы две трассы, исходный видеофайл и декодер. Сеть является просто «черным ящиком» и вводит задержку, потери и, возможно, переупорядочивает пакеты. В качестве имитатора сети выступает программная среда NS-2 [7]. Подробное описание функциональных модулей ПАК представлено в [3].
Представление исходных данных и подготовка к имитации
Кодирование видеоизображения начинается с преобразования цветового пространства из RGB в YUV (известное также под названием YCrCb). В типичных изображениях в формате RGB имеется существенная корреляция между цветными компонентами, и с точки зрения сжатия этот формат является заведомо избыточным. В стандартах телевизионного вещания используется другое представление изображений, при котором также используются три компоненты сигнала, но при этом эти компоненты не коррелированы друг с другом. Компоненты R, G, B преобразуются в яркостную компоненту Y и две цветоразностные компоненты U и V, формата YUV. Поскольку большая информативность сохраняется в яркостной компоненте, то будет потеряно мало информации, если выполнить прореживание компонент U и V.
В качестве исходных тестовых видеопоследовательностей возможно использовать стандартные тестовые видеоклипы в формате YUV. Однако данные видеоклипы ограничены временем воспроизведения и не позволяют оценить изменение качества при долговременной трансляции видео и получить обширное количество экспериментальных данных. Таким образом, с помощью специального программного обеспечения было записано собственное видео YUV формата (send.yuv) длительностью 30 мин, разрешением 640х480 и скоростью кадров 25 кадр/с.
В первую очередь необходимо закодировать исходный видеофайл в формат H.264 (файл видеопотока). Далее происходит упаковка видеопотока в MP4-контейнеры для дальнейшей транспортировки по протоколу UDP (от англ. User Datagram Protocol). После кодирования исходного видео получают MP4-файл.
Поскольку необходимо оценить качество видео передаваемого через сеть, то нужно создать «запасной» декодированный YUV файл из только что созданного mpeg-4 файла, чтобы по нему оценивать качество видео передаваемого по сети, исключая влияние кодека. Таким образом, возможно оценить влияние беспроводной сети на полученное визуальное качество, исключая при этом потери при кодировании и декодировании.
Чтобы иметь возможность производить имитацию необходимо создать файл видеотрассы, который содержит информацию о номере кадра его типе, размере и о количестве сегментов, при котором кадр разделяется на пакеты. В файле видеотрассы содержатся следующие данные: номер кадра, тип кадра, размер и число сегментов при разделении кадра на пакеты. Данная видеотрасса подается на вход имитатора сети, где и происходит передача и прием видеоданных.
В результате передачи видео по сети необходимо получить файлы трасс передачи (табл. 2) и приема (табл. 3), которые содержат в себе следующие данные пакетов: время передачи /приема, уникальный идентификатор id (от англ. identifiers) и размер. Эти две трассы используются для определения потерянных в сети пакетов. В итоге будут получены файлы отправленных и полученных пакетов, в которых содержится подробная информация о времени отправки со стороны передатчика и времени получения со стороны приемника.
Установка моделирования и имитация передачи по беспроводной сети
ПАК позволяет производить имитацию основных типов ошибок, возникающих при передаче видеоданных по беспроводной сети:
1. Имитация битовой ошибки. Имитация передачи по беспроводному каналу c моделью "аддитивного белого Гауссовского шума" AWGN (от англ. Adaptive White Gaussian Noise). При имитации определенный бит в последовательности искажается (инвертируется) с заданной вероятностью. Используемое значение вероятности описывают показателем количества ошибочных битов BER (от англ. Bit Error Rate).
2. Имитация пакетной ошибки. Можно производить ручное удаление UDP пакетов из файла трассы приема. Это позволяет исследовать работу кодека и проанализировать изменение визуального качества при потере пакетов. При этом приемный и неискаженный файл можно получить при передаче по "идеальному" каналу с неограниченной полосой пропускания и отсутствием задержки и затем вручную удалить определенные пакеты.
Вычисление потерь и оценка полученного качества видео
Вычислить потери при рассмотрении доступности уникального id пакета весьма легко. С помощью видеотрассы каждому пакету назначается тип. Каждый пакет этого типа, не включенный в трассу приемника, считается потерянным. Потеря кадра вычисляется при рассмотрении любого кадра, если один из его пакетов был потерян. Если первый пакет кадра теряется, то кадр считается потерянным, поскольку видеодекодер не сможет декодировать кадр, у которого отсутствует первая часть. Оценку полученных трасс производит модуль оценки трассы. Далее восстановленный файл необходимо декодировать в yuv формат.
Существуют два типа методов оценки качества цифрового видео, а именно субъективные и объективные. Субъективная оценка качества всегда опирается на впечатление зрителя, но является чрезвычайно дорогостоящей, очень трудоемкой и требует специального оборудования. Традиционно субъективное качество видео определяется путем экспертной оценки и подсчетом среднего балла MOS, имеющего значения от 1 до 5 (шкала ITU), где 1 – наихудшее, а 5 – наилучшее полученное качество видео.
Объективное качество видео обычно измеряется пиковым отношением сигнала к шуму PSNR. Показатель PSNR является традиционной метрикой, позволяющей сравнить любые два изображения. Оценка объективного качества полученного видеопотока в ПАК вычисляется модулем PSNR. Результатом будут значения PSNR, вычисленные между исходными и искаженными кадрами (рис.5). Значения MOS вычисляются из показателя PSNR.
Анализ полученных результатов
С целью исследование влияния ошибок передачи на полученное качество было проведено имитационное моделирование передачи 30-минутного видео через беспроводную сеть со случайными пакетными ошибками в канале. Характеристики используемой видеопоследовательности представлены в табл. 1.
Таблица. 1 Характеристики закодированного видео
|
Формат |
mp4 |
|
Кодек |
H.264 |
|
Битрейт |
Постоянный 1150 кбит/с |
|
Частота кадров |
25 |
|
Разрешение |
640х480 |
|
Тип GOP |
IBBPBBРВВ |
Для проведения моделирования закодированный видеопоток был разбит на RTP/UDP-пакеты с помощью инструментов программно-аппаратного комплекса [6].
Имитация битовой ошибки при передаче по беспроводному каналу производилась с помощью генератора ошибок AWGN, входящим в структуру ПАК.
Имитация пакетной ошибки при передаче по беспроводному каналу производилась путем удаления пакетов из файла трассы приема [6]. Это позволило исследовать и проанализировать изменение визуального качества при потере пакетов. При этом приемный и неискаженный файл трассы приема был получен при передаче по "идеальному" каналу с неограниченной полосой пропускания и отсутствием задержки с помощью программной среды NS-2 [3], а затем производилось случайное удаление пакетов, согласно параметрам PER и BEL. Оценка качества производилась с помощью показателей PSNR и MOS, вычисленных с помощью инструментов программно-аппаратного комплекса [3]. Стандартная девиация качества по средним значениям PSNR вычислена по формуле [1]
.
Влияние битовых ошибок. На рис. 2 показано влияние показателя BER на качество потокового видео.
Рис. 2. Значения показателей качества видеопоследовательности при различных значениях BER беспроводного канала: а – гистограммы распределения значения PSNR; б – гистограммы распределения значения PSNR при некоторых значениях BER; в – девиация качества по средним значения PSNR; г – градация качества по значениям MOS.
Анализируя результаты передачи потокового видео по имитируемой беспроводной сети с различными значениями BER, можно сделать следующие выводы:
1) При имитации беспроводного канала моделью аддитивного «белого» гауссовского шума (АБГШ) число битовых ошибок BER ≤ 3*10-5 не влияет на качество видеопотока. При BER ≥ 4*10-3 потери пакетов в сети достигают максимального значения и составляют не менее 99,9%.
2) Можно гарантировать объективное превосходное качество видеопотока при передаче по каналу с вероятностью появления битовой ошибки не более 1*10-4, хорошее качество в диапазоне от 1*10-4 до 4*10-4, удовлетворительное качество в диапазоне от 4*10-4 до 8*10-4, плохое качество в диапазоне от 8*10-4 до 1*10-3 и очень плохое при более 1*10-3.
3) Гистограммы распределения значений PSNR как при имитации, так и при трансляции по реальной сети в общем случае имеют двухгорбую форму. Один из максимумов характеризует значение PSNR видеопотока при отсутствии ошибок (декодер способен исправить битовые ошибки при их незначительном количестве в кадре). Второй максимум характеризует ухудшение PSNR вследствие большого числа искаженных видеокадров в моменты замираний (декодер неспособен исправить большое количество битовых ошибок). По мере увеличения числа ошибок этот максимум возрастает за счет уменьшения второго. В процессе передачи, в зависимости от уровня ошибок значения того или иного максимума возрастает. Если ошибками в канале связи можно пренебречь распределение PSNR имеет один максимум.
Эмпирические значения BER переходов от приемлемого качества к плохому, согласно таблице соответствия PSNR и MOS, представлены в табл. 2.
Таблица. 2 Соответствие показателей качества и BER
|
PSNR, дБ |
MOS, % |
BER |
Качество по шкале ITU |
Ухудшение изображения |
|
Более 37 31 – 37 25 – 31 20 – 25 Менее 20 |
81 – 100 61 – 80 41 – 60 21 – 40 0 – 20 |
Менее 1*10-4 1*10-4 – 4*10-4 4*10-4 – 8*10-4 8*10-4 – 1*10-3 Более 1*10-3 |
5 Прекрасное 4 Хорошее 3 Удовлетворительное 2 Плохое 1 Очень плохое |
Незаметно Заметно, но не раздражает Слегка раздражает Раздражает Сильно раздражает |
Однако модель АБГШ не позволяет адекватно имитировать канал, подверженный замираниям. Как правило, ошибки часто являются долговременными, поскольку высокая вероятность потери битов происходит в специфический период передачи, например при плохом распространении. Затухание передаваемого сигнала приводит к пакетированию (группированию) ошибок. Также причиной группирования ошибок могут быть физические дефекты и сбои в системе хранения информации. При использовании VLC возникновение битовых ошибок приводит к возникновению групповых ошибок или к пакетированию.
Влияние пакетной ошибки. На рис. 3 показано влияние показателя PER на качество потокового видео. Показаны диапазоны значений PER, в границах которых полученное качество было максимальным, т.е. практически равнялось исходному, и минимальным. Показано, что при PER ≤ 1*10-4 ошибка не влияет на полученное качество и может быть легко устранена декодерами и существующими способами защиты от ошибок. Дальнейшее изменение качества носит ступенчатый (последовательный) характер и уменьшается при увеличении PER.
Рис. 3. Значения показателей качества видеопоследовательности при различных значениях PER беспроводного канала: а – гистограммы распределения значения PSNR; б – гистограммы распределения значения PSNR при некоторых значениях PER; в – девиация качества по средним значения PSNR; г – градация качества по значениям MOS.
Анализируя результаты передачи потокового видео по имитируемой беспроводной с заданной вероятностью пропадания пакетов сети можно сделать следующие выводы:
1) При имитации беспроводного канала число пакетных ошибок PER ≤ 1*10-4 не влияет на качество видеопотока. При PER ≤ 1*10-3 влияние ошибок на качество незаметное и не оказывает раздражающего воздействия при просмотре. При PER ≥ 0,1 потери пакетов в сети оказывают наихудшее влияние на визуальное качество.
2) Можно гарантировать объективное превосходное качество видеопотока при передаче по каналу с вероятностью появления пакетной ошибки не более 1*10-3, хорошее качество в диапазоне от 1*10-3 до 3*10-3, удовлетворительное качество в диапазоне от 3*10-3 до 1*10-2, плохое качество в диапазоне от 1*10-2 до 5*10-2 и очень плохое при более 5*10-2.
3) Гистограммы распределения значений PSNR при PER ≤ 6*10-4 в общем случае имеют бимодальную форму. Один из максимумов характеризует значение PSNR видеопотока искаженных кадров вследствие потери "своих" пакетов. Второй максимум характеризует ухудшение PSNR зависимых кадров (как правило, их количество больше). По мере увеличения числа ошибок один из максимумов возрастает за счет уменьшения второго.
Эмпирические значения PER переходов от приемлемого качества к плохому, согласно таблице соответствия PSNR и MOS, представлены в табл. 3.
Таблица. 3
Соответствие показателей качества и PER
|
PSNR, дБ |
MOS, % |
PER |
Качество по шкале ITU |
Ухудшение изображения |
|
Более 37 31 – 37 25 – 31 20 – 25 Менее 20 |
81 – 100 61 – 80 41 – 60 21 – 40 0 – 20 |
Менее 1*10-3 1*10-3 – 3*10-3 3*10-3 – 1*10-2 1*10-2 – 5*10-2 Более 5*10-2 |
5 Прекрасное 4 Хорошее 3 Удовлетворите 2 Плохое 1 Очень плохое |
Незаметно Не раздражает Слегка раздражает Раздражает Сильно раздражает |
Влияние длины группы ошибок. Для изучения влияния длины группы ошибок на полученное качество повторено имитационное моделирование передачи 30-минутного видео через беспроводную сеть при значениях PER от 1*10-3 до 5*10-2, поскольку в этом диапазоне наблюдается визуальное изменение качества. Имитация группирования пакетных ошибок при передаче по беспроводному каналу производилась путем случайного удаления группы пакетов из файла трассы приема с заданным значением BEL. При этом, например, значение BEL = 100 означает, что общее случайное число подряд удаленных пакетов за один раз не превышает 100. Кроме того, общее количество ошибочных (удаленных) пакетов в видеопоследовательности во всех экспериментах при PER = const сохранялось одинаковым, независимо от значения BEL. На рис. 4 показано влияние показателя BEL на качество потокового видео на примере PER = 1*10-3.
Рис. 4. Значения показателей качества видеопоследовательности при PER = 1*10-3 и различных значениях BEL беспроводного канала: а – гистограммы распределения значения PSNR; б –значения PSNR и распределение RTP/UDP пакетов (черные участки соответствуют потерянным пакетам) при некоторых значениях BEL; в – девиация качества по средним значения PSNR; г – градация качества по значениям MOS.
Анализируя результаты передачи потокового видео по имитируемой беспроводной сети с заданной величиной группирования ошибочных пакетов, можно сделать следующие выводы:
1) При PER ≤ 1*10-3 влияние одиночных пакетных ошибок на качество незначительно и не оказывает раздражающего воздействия при просмотре.
2) Гистограммы распределения значений PSNR имеют двухгорбую форму. Один из максимумов характеризует значение PSNR видеопотока искаженных кадров вследствие потери "своих" пакетов. Второй максимум характеризует ухудшение PSNR зависимых кадров (как правило, их количество больше). По мере увеличения величины BEL один из максимумов уменьшается, поскольку число зависимых кадров также уменьшается, тогда как второй максимум остается неизменным. Это объясняется тем, что при одиночных рассредоточенных по всей видеопоследовательности ошибках число искаженных кадров велико за счет распространения ошибок на зависимые кадры.
3) Увеличение длины группирования ошибок ведет к увеличению среднего качества видеопоследовательности.
4) Влияние группы ошибок на качество более сильное за счет локальной сосредоточенности ошибок. Однако среднее качество видеопоследовательности при этом увеличивается по мере увеличения длины группирования при неизменном значении вероятности появления пакетных ошибок.
5) При значении BEL ≥ 60 среднее качество практически идентично оригинальному видео.
Взаимосвязь показателей PER и BEL. Среднее качество экспериментальной видеопоследовательности при различных показателях PER и BEL показано на рис. 5.
Рис. 5. Значения показателей качества видеопоследовательности при PER = 1*10-3 и различных значениях BEL беспроводного канала.
Таким образом, показано, что при оценке влияния ошибочных пакетов на полученное качество необходимо анализировать не только вероятность появления ошибок, но также их структуру и длину группирования. Кроме того можно сделать следующие выводы:
1) Увеличение длины группирования ошибок ведет к увеличению среднего качества видеопоследовательности. Это происходит за счет ухудшения качества небольшого участка видео, где сосредоточена группа ошибок, тогда как при одиночных ошибках ухудшение качества видео может наблюдаться во всей видеопоследовательности;
2) При увеличении длины группы ошибочных пакетов BEL ≤ 6 изменение качества незначительное и идентично влиянию одиночных пакетных ошибок (BEL = 1);
3) При BEL ≥ 60 среднее качество практически идентично оригинальному (PSNR< 90 дБ). Логично предположить, что значение BEL у более длинных видеопоследовательностей при том же среднем значении качества может иметь большее значение.
4) Наибольшая динамика изменения PSNR = 60 дБ наблюдается в двух случаях: при фиксированном значении PER = 1*10-3 и изменяющихся значениях BEL; при BEL ≥ 80 и изменяющихся значениях PER. В остальных случаях динамика не существенна и минимальна при отсутствии группирования ошибок (BEL = 1).
5) С увеличением PER влияние показателя BEL на качество уменьшается за счет увеличения "густоты" одиночных ошибок.
Анализ результатов показателей PER и BEL, показывает, что для оценки влияния ошибок передачи на полученное качество необходимо проанализировать не только вероятность появления ошибок, но также их структуру и длину группирования. Наиболее реалистичным и точным способом моделирования статистики ошибок в канале связи является использование данных вероятностей, полученных из реальной сети
Таким образом, показано, что при BER ≤ 3*10-5 битовые ошибки не влияют на качество принимаемого видео и легко устраняются известными, реализованными в WiMax способами защиты от ошибок. При BER ≥ 4*10-3 потери пакетов в сети достигают максимального значения и приводят к неприемлемому качеству принимаемого видео. Гарантировать объективное превосходное качество видеопотока при передаче по каналу можно при величине вероятности битовой ошибки не более 1*10-4, хорошее качество в диапазоне т 1*10-4 ….. 4*10-4, удовлетворительное качество в диапазоне 4*10-4 …… 8*10-4, плохое качество в диапазоне 8*10-4 …… 1*10-3 и очень плохое при BER≥ 1*10-3
Использование в системах беспроводного доступа видео H.264/AVC с кодами переменной длины VLC приводит к нарушению синхронизации декодированных видеопоследовательностей и возникновению дополнительного группирования ошибок, влияние которых на качество при декодировании видео значительно сильнее битовых ошибок, поскольку приводит к потере больших сегментов информации.
Показано, что на качество видеопотока влияет не только вероятность появления ошибок, но также структура и длина группы ошибок. Анализ одиночных ошибок показал, что при PER ≤ 1*10-4 пакетные ошибки не влияют на качество принимаемого видео и легко устраняются известными, реализованными в беспроводных сетях способами защиты от ошибок. При PER ≤ 1*10-3 влияние ошибок на качество незаметное и не оказывает раздражающего воздействия при просмотре. При PER ≥ 0,1 потери пакетов в сети приводят к неприемлемому качеству принимаемого видео. Гарантировать объективное превосходное качество видеопотока при передаче по каналу с вероятностью появления пакетной ошибки не более 1*10-3, хорошее качество в диапазоне 1*10-3 … 3*10-3, удовлетворительное качество в диапазоне 3*10-3 … 1*10-2, плохое качество в диапазоне 1*10-2 … 5*10-2 и очень плохое при более 5*10-2.
Для оценки влияния на качество воспроизведения видео в условиях пакетирования ошибок предложено использовать регулярную (детерминированную) модель - влияние группы ошибок BEL. Показано, что влияние группы ошибок на среднее качество более сильное за счет локальной сосредоточенности ошибок. Среднее качество видеопоследовательности при этом увеличивается по мере увеличения длины группирования при неизменном значении вероятности появления пакетных ошибок. При длине группирования BEL ≥ 60 среднее качество практически идентично оригинальному видео. С увеличением PER влияние показателя BEL на качество уменьшается за счет увеличения "густоты" одиночных ошибок.
Увеличение показателя BEL ведет к увеличению среднего качества видеопоследовательности независимо от показателя PER. Наибольшая динамика изменения PSNR наблюдается при фиксированном значении PER = 1*10-3 и изменяющихся значениях BEL; при BEL ≥ 80 и изменяющихся значениях PER. В остальных случаях динамика не существенна и минимальна при отсутствии группирования ошибок.
Для оценки качества видео в условиях пакетирования ошибок в реальных условиях необходимо исследовать реальное распределение пакетирования ошибок в канале связи.
Список литературы
[1] John J. Lemmon, Wireless link statistical bit error model, NTIA Report. 02-394, U.S. Department of Commerce, June 2002
[2] Cornaglia B., Spini M. New statistical model for burst error distribution // European Transactions on Telecommunications, Torino – Italy, John Wiley & Sons, 1996
[3] Шелухин О.И., Иванов Ю.А. Оценка качества передачи потокового видео в телекоммуникационных сетях с помощью программно-аппаратных средств // Электротехнические и информационные комплексы и системы, 2009, т.5, №4, С.48–56.
[4] Иванов Ю.А., Лукьянцев С.А. Методика оценки качества декодирования видео стандарта H.264/AVC/SVC в беспроводных сетях // Электротехнические и информационные комплексы и системы, 2009, т.5, №4, С.35–48.
[5] Шелухин О.И., Иванов Ю.А. Оценка качества передачи потокового видео в телекоммуникационных сетях с помощью программно-аппаратных средств // Электротехнические и информационные комплексы и системы, 2009, т.5, №4, С.48–56.
[6] Иванов Ю.А., Пряников В.С. Имитационные модели беспроводных сетей в структуре программно-аппаратного комплекса для оценки качества видеопотока // Вестник Чувашского университета, №1, 2010 С.35–48
[7] http://www.isi.edu/nsnam/ns/ns-documentation.html (дата обращения 29.06.2010 г.)