Высокоэффективное кодирование видео HVC

Для лучшей оценки методов и поддержки развития в качестве базового программного обеспечения группой VCEG была разработана ключевая техническая область (KTA), взявшая за основу стандарт JM11 и непрерывно интегрирующая перспективные средства кодирования. В KTA в настоящее время приняты следующие методы:

- Предсказание с компенсацией движения (MCP) с высоким разрешением. Разрешение вектора движения увеличено от обычно используемого 1/4-пиксела до 1/8-пиксела, что особенно эффективно для видеопоследовательностей с низким разрешением.

- Адаптивный выбор матрицы квантования (Adaptive Quantization Matrix Selection - AQMS). Матрица квантования формируется в процессе работы или выбирается из заранее определенной группы вариантов на уровне макроблока. Выбор основан на критерии R-D (Rate-Distortion, сжатие- ошибка) и помечается в битовом потоке.

- Адаптивное кодирование ошибки предсказания (Adaptive Prediction Error Coding - APEC). При повышении точности предсказания корреляция остаточных сигналов уменьшается, поэтому преобразование иногда становится неэффективным для уплотнения энергии. APEC позволяет кодировать остаточные данные в области преобразования или в пространственной области с принятием решения и сигнализацией вниз на уровень блока преобразования.

- Увеличение размеров блока для предсказания с компенсацией движения (MCP) и преобразования. Размер макроблока увеличивается до 32х32 или 64х64, размеры MCP масштабируются соответственно. Принято также 2D-преобразование 16 порядка для остаточных блоков, формируемых блоком компенсации движения, большим или равным 16х16.

- Конкурентное предсказание векторов движения. Вместо одного отдельного модуля предсказания вектора движения (как в стандарте H.264/AVC), наборы пространственных, временных и пространственно-временных модулей предсказания конкурируют друг с другом; выигрывает модуль предсказания с наилучшими характеристиками R-D.

- Адаптивный интерполяционный фильтр (AIF). Коэффициенты AIF (его импульсная характеристика) уточняются на уровне изображения и кодируются как дополнительная информация.

- Направленное преобразование, зависящее от режима (MDDT, Mode-Dependent Directional Transform). Для режимов внут- рикадрового предсказания с сильно выраженной направленностью, например, вертикального и горизонтального режима, соответствующие преобразования MDDT вычисляют с помощью сверхточного (wavelet) или KLT (Карунена-Лоэва) преобразования для обозначения высокого уровня энергии вдоль указанных направлений. Тип преобразования MDDT привязывается к выбранному режиму внутрикадрового предсказания, поэтому он не помечается явно.

Кодирование 3D-видео

Требование увеличения числа пикселов в телевидении сверх- и ультравысокой четкости будет постепенно дополнено требованием увеличения количества ракурсов. Таким образом, происходит переход от пиксельных систем с одним наблюдаемым ракурсом к системам обработки лучей от многоракурсных изображений (см. рисунок 35). Технологии захвата и отображения световых лучей быстро развиваются, создавая гигантские возможности для продвижения 3DTV/FTV на массовый потребительский рынок в ближайшем будущем. Система обработки многоракурсных изображений откроет путь к построению изображений на основе прогрессивных технологий обработки лучей по отдельности.

Поправка MVC к стандарту H.264/AVC дает снижение скорости битового потока по сравнению с многоракурсным одновременным вещанием всех видов (Simulcast), но скорость битового потока увеличивается пропорционально росту числа ракурсов, поскольку нужно кодировать все требуемые виды в приемнике. Следовательно, поддерживаемое максимальное число ракурсов ограничено возможностями обработки и передачи информации.

Группа MPEG предполагает, что мультимедийные 3D-приложения, предоставляя зрителям чувство реального погружения, станут реальностью в течение нескольких ближайших лет. Зрители будут воспринимать видео с произвольной точки наблюдения, используя автостереоскопические дисплеи, шлемы-дисплеи (HMD) или виртуальную камеру с отслеживанием движения головы. Эти приложения требуют получения большого количества ракурсов для отображения, превышающего возможности поправки MVC к стандарту H.264/ AVC. В апреле 2007 года группа MPEG начала исследование нового формата показа многоракурсного видео под названием 3D-видео» (3DV), содержащего подробную 3D-информацию, то есть глубину и несколько каналов видео, и поддерживающего синтез ракурсов высокого качества для непрерывно изменяемых точек наблюдения. Таким образом, скорость передачи, которая является почти постоянной, не зависит от числа отображаемых ракурсов. Автостереоскопические устройства одновременно показывают пользователям до 9...16 ракурсов, которые формируют стереопары, дающие 3D-восприятие, в то время как пользователь перемещается в пределах заданного угла обзора. Например, из трех ракурсов с соответствующими картами глубины можно получить еще шесть ракурсов для отображения, которые будут сгенерированы с помощью просчета на основе глубины изображения (DIBR - depth image based rendering). В общей архитектуре 3DV-группа MPEG рассматривает три конфигурации для стандартизации, а именно формат данных 3DV, декодер и интерполяцию.

Данные 3DV (включая многоракурсное видео, параметры видеокамеры, данные глубины и дополнительную информацию) поступают на выход декодера и на вход модуля интерполяции ракурса. Формат данных 3DV должен быть аппаратно-независимым для обеспечения широкой применимости и функциональной совместимости. Декодер восстанавливает формат данных 3DV заданным способом.

Модуль интерполяции формирует ракурсы для отображения в соответствии со стандартизованным алгоритмом, декодированными данными 3DV и некоторыми параметрами, полученными от модуля отображения, например, размером изображения, числом ракурсов и точек наблюдения.

На данный момент официальная деятельность по стандартизации еще не началась; группа MPEG исследует соответствующие методы с помощью четырех экспериментальных исследований (EE - exploration experiment), сосредоточенных на оценке генерации глубины, синтезе видов, определении формата данных 3DV и экспериментах по кодированию, соответственно[5]. В особенности, четвертое EE нацелено на получение представления о том, каким образом кодирование карт глубины влияет на качество синтезируемых ракурсов. Предварительные результаты сравнения поправки MVC со стандартом H.264/AVC показывают, что использование информации о глубине до некоторой степени улучшает качество синтеза, но этот результат довольно сильно зависит от конкретной последовательности.

Дата добавления: 2013-12-13