Объективные метрики для оценки качества видеокодеков.

В ПОИСКАХ ТОЧКИ ОПО-РЫ
Одной из тенденций рынка охранного теле-видения является многообразие присутствующих на нем видекодеков. Чуть ли не каждый разра-ботчик программно-аппаратных средств CCTV стремится разработать свои уникальные алго-ритмы сжатия видео и провозгласить их превос-ходство над остальными. Так как заявления раз-работчика могут не всегда соответствовать дей-ствительности, то потребитель нуждается в неза-висимой экспертной оценке качества видеокоде-ков. Проведение экспертной оценки обычно вы-полняют известные лаборатории, научные сооб-щества на основе двух основных методов: субъ-ективное тестирование и использование объек-тивных метрик качества.
При субъективном тестировании группе экс-пертов предъявляются фрагменты видео, сжатые различными кодеками, и они выставляют качест-ву этих фрагментов оценки по некоторой шкале. Далее экспертные оценки обрабатываются тем или иным образом, и получается интегрирован-ный показатель качества, например MOS (mean opinion score).
Достоинством данного способа является про-стота интерпретаций полученных оценок, так как они непосредственно связаны с человеческим восприятием. Существенными недостатками яв-ляются зависимость результатов от опыта экс-пертов, а также принципиальная невоспроизво-димость результатов. Последний недостаток оз-начает также и то, что результаты тестирования, проведенные в двух фирмах-конкурентах, будут диаметрально противовоположными. Поэтому вопрос о достоверности субъективных оценок является открытым.
Конечно, потребителю хотелось бы иметь более надежные оценки качества видеокодеков. При этом желательно, чтобы эти оценки облада-ли свойством повторяемости. И здесь на сцену выступают объективные метрики качества видео, в случае которых не только другие эксперты, но и сам потребитель может повторить все экспе-рименты. Сам процесс тестирования также весь-ма технологичен: нажал на кнопку – получил ре-зультат.
В данной статье будут рассмотрены приме-няемые для оценки качества видео объективные метрики, показаны их достоинства и недостатки, возникающие при использовании данных метрик проблемы. Но прежде чем перейти к самим мет-рикам, необходимо сказать несколько слов про особенности человеческого восприятия видео, так как эти особенности влияют как на построе-ние алгоритмов сжатия, так и объективных мет-рик оценки качества.

ОСОБЕННОСТИ ЧЕЛОВЕЧЕСКОГО ЗРЕНИЯ
Знание особенностей человеческого зрения позволяет строить объективные метрики оценки качества видео, наиболее близко коррелирующие с субъективными оценками.
К наиболее важным свойствам человеческого зрения отнесем следующие.
Чувствительность к изменению яркости изображения. Зрение человека способно адаптироваться к широкому диапазону яркостей, и в каждом диапазоне человек способен разли-чить определенные уровни яркостей. Эта разре-шающая способность зависит не от разности уровней яркости, а от отношения этой разности к среднему значению яркости, т. е. от контраста.
Частотная чувствительность чело-веческого зрения проявляется в том, что человек гораздо более восприимчив к низкочастотному, чем к высокочастотному шуму. Это связано с не-равномерностью амплитудно-частотной характе-ристики системы зрения человека.
Особенностью цветового восприятия человека является то, что некоторые цвета могут сосуществовать в его восприятии (например, красноватый желтый ощущается как оранже-вый), а другие – не могут (противоположные цвета). Именно эта особенность используется при представлении изображений различными цветоразностными схемами.
Эффект маскирования в пространствен-ной области заключается в увеличении поро-га обнаружения видеосигнала в присутствии другого сигнала, обладающего аналогичными характеристиками. Поэтому, аддитивный шум гораздо заметнее на гладких участках изображе-ния, чем на высокочастотных, то есть в послед-нем случае наблюдается маскирование. Наиболее сильно эффект маскирования проявляется, когда оба сигнала имеют одинаковую ориентацию и местоположение.
Эффект маскирования во временной об-ласти заключается в том, что из-за инерци-онности зрения человек не сразу обнаруживает изменение яркости сцены видеопоследователь-ности.

ТРЕБОВАНИЯ К ОБЪЕКТИВНЫМ МЕТРИКАМ КАЧЕСТВА ВИДЕО
Можно предъявить несколько требований к метрикам. В работе [1] приведены следующие требования:
1. Релевантность метрики: «лучшим» субъективно видеофрагментам должно соответ-ствовать «лучшее» значение метрики. Эту харак-теристику можно измерить количественно, на-пример, с помощью коэффициента корреляции Пирсона либо оценить графически, как это пока-зано на рис

2. Монотонность метри-ки: в идеальном случае разность между двумя объективными оценками видеофрагментов должна иметь тот же знак, что и разность между двумя субъективными оценками этого материа-ла. Оценивается ранговым коэффициентом кор-реляции Спирмана.
3. Согласованность метрики: «откло-нение» ее значений от предсказанных на основе субъективных метрик значений не должно быть большим. Вычисляется следующим образом. Вначале выполняется ряд субъективных оценок видеофрагмента. Результаты статистически об-рабатываются, и находится СКО оценок. Затем вычисляются значения объективных метрик, и находится их количество, которые отстоят от субъективных оценок на расстоянии более чем удвоенное значение СКО.

ОБЪЕКТИВНЫЕ МЕТРИКИ КАЧЕСТВА ИЗОБРАЖЕНИЙ
В диссертации [2] рассмотрено шесть клас-сов метрик качества изображений:
1) Пиксельные.
2) Корреляционные.
3) Контурные.
4) Спектральные.
5) Контекстные.
6) Учитывающие систему человеческого зре-ния.

1. Пиксельные метрики
К пиксельным метрикам относятся, во-первых, различные вариации метрики Минков-ского, например, пиковое отношение сиг-нал/шум, которое вводится как логарифм отно-шения максимально возможной энергии сигнала к квадрату среднеквадратической ошибки (СКО).
К этой метрике справедливо предъявляются претензии относительно ее несоответствию трем вышеприведенным требованиям. Несмотря на это, она широко используется, но не все знают, что в ее применении есть один нюанс: сначала необходимо вычислить СКО по отдельным об-ластям (цветовым каналам, различным кадрам видео и т. д.), а затем уже брать логарифм от среднего значения СКО.
Другая возможная пиксельная метрика – максимальная разность между пикселами. Здесь рекомендуется вычислять несколько значений максимальной разности и находить их средне-квадратическое значение.
Рассмотренные выше метрики имеют то ог-раничение, что при их применении сравниваются только изображения целиком. Может оказаться полезным проводить сравнение изображений, представленных при разных масштабах. Извест-но, что система человеческого зрения вначале оценивает низкочастотную копию изображения, затем уже вникает в детали. Таким образом, раз-нице между изображениями, взятыми с грубым разрешением, можно придать большие веса, а разнице высокочастотных деталей – малые веса. Такая метрика находит применение в системах машинного зрения.

2. Корреляционные метрики
Корреляционные меры взаимосвязаны с ме-рами расстояния: если два изображения иден-тичны, коэффициент корреляции будет равен 1, если квадрат ошибки равен энергии изображения (например, значения пикселов другого изобра-жения равны нулю), то корреляционная мера бу-дет равна нулю.
Корреляцию можно вычислять как между пикселами изображений, так и между образован-ными ими векторами (например, корреляция уг-лов между векторами).

3. Контурные метрики
Во многих работах показано, что контуры являются наиболее информативной частью изо-бражения. Именно контуры выделяет в первую очередь система человеческого зрения, анализ контуров используется в машинном зрении. Зна-чит, качество контуров говорит о качестве изо-бражения. Примеры деградации контуров вклю-чают в себя разрыв линий, размытие линий, сме-щение линий, ложные контуры и т. д.
Для того чтобы выполнить сравнение изо-бражений на основе контуров необходимо ка-ким-то образом выделить контуры на исходном изображении (оконтурить его), затем тем же ме-тодом выделить контуры на восстановленном изображении и сравнить их (например, вычис-лить корреляцию).

4. Метрики в спектральной области
После вычисления преобразования Фурье изображения имеется возможность сравнивать амплитуду и фазу получившегося спектра. Из-вестны предложения по построению на этой ос-нове метрик оценки качества изображений.

5. Контекстные метрики
В контекстных метриках используется нали-чие корреляционных связей между соседними пикселами изображения и их ослабление в иска-женном изображении.
Для получения метрики необходимо уметь вычислять многомерную функцию распределе-ния вероятности значений пикселов из некоторой окрестности и научиться уметь определять изме-нение этой функции.
Другим подходом к локальной оценке иска-жения изображения является вычисление и срав-нение для исходного и искаженного изображе-ний локальных гистограмм, например, для бло-ков размером 16 х 16. Сравнение может быть выполнено путем применения, например, ранго-вого корреляционного критерия Спирмана.

6. Метрики, учитывающие свойства чело-веческого зрения
Одной из возможностей построения метрик данного класса является предварительная фильт-рация изображений полосовыми фильтрами, имитирующими их восприятие человеком.
Другой возможностью построения метрик, учитывающих свойства зрения, является выпол-нение вейвлет-преобразования исходного и ис-каженного изображений, в результате чего изо-бражения будут представлены на нескольких масштабах. Далее для каждой субполосы вейв-лет-области надо выбрать масштабный вес, на который будет умножаться та или иная метрика, вычисленная локально для этой области. В зави-симости от задачи эти веса могут варьироваться. Например, если важен учет высокочастотных со-ставляющих (четкость линий и т. д.), то веса для высокочастотных областей могут быть увеличе-ны.
Метрика может вычисляться как для всей субполосы, так и локально, для ее блоков с по-следующим усреднением тем или иным образом.
В работе [2] было изучено множество метрик рассмотренных классов и изучена их «самостоя-тельность». Близкое размещение метрик на рис. означает их коррелированность (и избыточ-ность).

ЭКСПЕРИМЕНТЫ ПО ОЦЕНКЕ КАЧЕСТВА ВИДЕОКОДЕКОВ. ПЕРСПЕКТИВНАЯМЕТРИКА
Специалистами факультета ВМиК МГУ раз-работано программное обеспечение и на протя-жении лет проводится тестирование различных видеокодеков как на основе субъективных, так и объективных метрик качества. С результатами можно ознакомиться на сайте, посвященном сжатию [3]. Там же можно скачать и соответст-вующее программное обеспечение.
В процессе экспериментов наилучшие ре-зультаты показала новая метрика SSIM (Struc-tural Similarity Image Measure). Как следует из названия, эта метрика оценивает структурную схожесть изображений. Подробное изложение теории этой метрики приведено в работе авторов [4], здесь же приведем общую схему ее вычисле-ния

ЧТО ДАЛЬШЕ?

Мировым сообществом предпринимаются значительные усилия по разработке новых, более эффективных объективных метрик оценок каче-ства видео. Основные направления исследований сосредоточены на следующих направлениях:

• разработка адекватных моделей человече-ского зрения;
• построение адаптивных моделей человече-ского зрения;
• построение метрик, почти совсем или пол-ностью не требующих для оценки качества ори-гинала видеопоследовательности.

Ведущим сообществом в данных исследова-ниях является Video Quality Experts Group (VQEG), материалы которой можно получить через Интернет, также как и источники, ссылки на которые приведены по тексту статьи.

Литература
1. Winkler S. Digital Video Quality. Vision models and metrics. Wiley, 2005. 192 p.
2. Avcibas I. Image Quality Statistics and their use in steganalysis and compression. PhD The-sis.Bogazichi Univ., 2001. 113 p.
3. http://compression.ru
4. Wang Z., Bovik A., Sheikh H., Simoncelli E. Image Quality Assessment: From Error Visibility to Structural Similarity // IEEE Trans. On Image Proc., Vol.13, № 4, 2004.