Уменьшение статистической избыточности за счет межкадрового сжатия видеоинформации

Дискретное косинусное преобразование, устраняя избыточные высокочастотные колебания (составляющие), тем самым уменьша­ет в два-семь раз количество внутрикадровой информации и позво­ляет сохранить хорошее качество изображения. Но при этом коли­чество цифровых данных, оставшихся после внутрикадрового сжа­тия на базе ДКП, довольно еще значительно, что требует при пере­даче высокой скорости, а значит, занятия широкой полосы частот (порядка нескольких сотен мегагерц), что не совсем приемлемо. Однако более высокую степень сжатия видеоданных этим спосо­бом не применяют, так как могут быть заметны снижения четкости и контрастности контуров изображения при приеме. Поэтому до­полнительно к внутрикадровому безвозвратному устранению избы­точных составляющих видеосигнала на базе ДКП применяется межкадровое сжатие видеоинформации, восстанавливаемое на приемной стороне.

На рисунке 11.22 условно показана структура кадра с точки зрения цифровой обработки видеоинформации: блок, макроблок, ломтик и изображение.

Блок (основной объект, к которому применяется ДКП) является базовой структурной единицей, над которой осуществляются все основные операции кодирования. Матрица блока состоит из 8x8 = 64 пикселей, т.е. имеет 64 отсчета. В теле­визионном кадре по вертикали размещается 576/8 = 72 столбцов матрицы, а по горизонтали 704/8 = 88 строк матрицы. В итоге пол­ное телевизионное изображение формируется из (72x88) = 6336 блоков, т.е. матриц яркостных данных, на которых возможно про­вести ДКП. Блок цветоразностных данных в формате изображения 4:2:2 отсутствует.

Макроблок (основной объект для предсказания с компенсацией движения) состоит из матрицы 16x16 пикселей, т.е. из четырех блоков яркостных данных. Кроме того, он имеет по два блока (по две матрицы 8x8 пикселей) цветоразностных данных, которые соответ­ствуют этим же блокам яркостных данных (для формата 4:2:2).

Ломтик (является основным объектом для синхронизации и при вос­становлении данных, формирующих изображение) имеет 44 макроблока, т.е. содержит 44х(16х16) пикселя данных яркости и имеет «толщину» в один макроблок. Представление телевизионной информации ломтиками удобно и необходимо для приемной стороны.

Рисунок 11.22 - Показаны условно: а – блок (матрица 8x8 пикселей); б – макроблок (матрица 16x16 пикселей) и область поиска; в – ломтик (44 макроблока); г – изображение

Так, когда появляется ошибка в общем потоке цифровых данных, декодер обращается к началу следующего макроблока, входящего в ломтик, что улучшает эффек­тивность восстановления и качество изображения. Очередность обработки макроблоков в ломтике такая же, как и при обычном ходе строчной развертки, т.е. слева направо и сверху вниз.

В области поиска осуществляется поиск «своего» макроблока в текущем кадре, смежном с опорным. Область поиска включают в себя 64x64 пикселей, т.е. ограничена размерами в 4x4 макроблока.

Изображение – это конечная цель преобразования цифровой информации при приеме. Оно формируется одним яркостным и двумя цветоразностными сигналами. Состоит из 6336 блоков, или из 1584 макроблоков, или из 36 ломтиков яркостных данных. Коли­чество цветоразностных данных в изображении зависит от форма­та, который определяет качество цветного изображения.

Идея, лежащая в основе межкадрового сжатия видеосигнала, предельно проста. Суть ее в следующем: в общей последователь­ности кадров соседние, в основном, мало отличаются друг от друга. Например, события развиваются на фоне неба, футбольного поля, леса и т.п., которые мало изменяются от кадра к кадру и различия между соседними кадрами очень незначительны.

В большинстве случаев, зная распределение яркостных и цветоразностных данных одного кадра, можно с высокой вероятностью предсказать их распределение в ближайшем соседнем кадре

Если изображения соседних кадров очень похожи, то передавать по каналу связи всю информацию, содержащуюся в каждом отдель­ном кадре, нет необходимости. Объем цифрового потока можно уменьшить и передавать данные только одного кадра, предвари­тельно подвергнув его изображение ДКП, получив так называемый опорный кадр. После этого, сравнивая соседний кадр с опорным, пе­редается только разностная информация, указывающая на то, чем соседний текущий кадр отличается от опорного. Опорный кадр эпи­зодически заменяется через определенное количество промежуточ­ных кадров новым в соответствии со сменой деталей сюжета.

Межкадровое сжатие информации базируется на применении импульсно-кодовой модуляции (ИКМ) в разных ее вариантах.

При дифференциальной ИКМ (ДИКМ) по каналу связи передается разность между текущим дискретным значением аналогового сигнала и предшествующим (опорным). Для этого требуется меньшее количество бит, чем для передачи его полного дискретного значения.

Часто применяется, так называемая дельта-модуляция. Она представляет собой вариант ДИКМ, при которой для кодировав каждого дискретного значения аналогового сигнала используется только один разряд (бит), показывающий изменение выходного си нала на единичную величину при увеличении или уменьшена входного сигнала.

При ДИКМ на основе нескольких предшествующих дискретных значений аналогового сигнала прогнозируется следующий дискретный сигнал. По каналу связи передаются только разностные значения между ними.

Последовательность кадров при межкадровом сжатии видеоданных. Для межкадрового сжатия видеоданных выбирается групп кадров (группа изображений GOP - Group of Pictures), которая ее стоит из нескольких последовательных кадров, объединении вместе и обеспечивающих возможность условного доступа к кал дому ее кадру.

I-кадры. Группа кадров всегда начинается с опорного I-кадр (Intra Fra­mes), т.е. с изображения, которое подвергается только внутрикадровому сжатию – ДКП. Изображение I-кадра кодируется автономно, независимо от других кадров, и внутрикадровое сжатие видео данных здесь относительно небольшое. Это нужно для того, чтобы на приемной стороне изображение 1-кадра меньше подвергалос изменениям, ошибкам и обеспечивало бы тем самым высокую точность восстановления В- и Р-кадров, что очень важно. При наличи ошибок и искажений в опорных кадрах они автоматически переносятся на следующие кадры. Количество I-кадров, входящих в групг GOP, может быть самым разным – все определяется возможностям кодера и может изменяться. I-кадры играют также решающую роль при синхронизации видеопоследовательностей и звуковых последовательностей. Структура группы кадров показана на рисунке 11.23.

Как видно из рисунка 11.14, после определенного количества Р- и B кадров снова следует опорный I-кадр. Группа кадров должна быт достаточно большой, если необходимо получить высокую степей сжатия информации. С другой стороны, чем чаще следуют I-кадры, тем выше качество изображения, но тем больший объем информа­ции в реальном масштабе времени нужно передать по каналу свя­зи, т.е. тем шире должна быть его частотная полоса. Считается оп­тимальным, если на один I-кадр приходится в среднем от 7 до 15 Р- и В-кадров.

Рисунок 11.23 - Структура группы кадров (изображений) при передаче по каналу связи

Р-кадры (Predicted Frames). Текущие кадры Р-типа кодируются или на основе предыдущего опорного I-кадра, или предыдущего опорного Р-кадра предсказанием вперед. Сравнение и получение разностной информации между кадрами происходит по макробло­кам. В текущих Р-кадрах информация сравнивается макроблоками с опорным I-кадром до тех пор, пока в любом макроблоке текущего кадра не появится новый фрагмент. С этого момента кодирование переключается на внутрикадровое, т.е. применяется ДКП и форми­руется новый Р-кадр, но уже как опорный. В опорных Р-кадрах со­кращается пространственная (за счет ДКП) и временная избыточ­ность (за счет межкадрового сжатия относительно опорных I-кадров) и они сами используются в качестве опорных для В-кадров. В этом случае необходима высокая точность их восстанов­ления. В Р-кадрах по сравнению с I-кадрами достижимое сжатие информации в три раза выше.

В-кадры (Bidirectional Interpolated Frames) кодируются в зависи­мости от характера передаваемых сюжетов телевизионного изо­бражения следующими способами:

§ Предсказанием следующего ближайшего В-кадра на основе предыдущего опорного I- или Р-кадра (предсказанием вперед с компенсацией движения).

§ Обратным предсказанием (предсказанием назад с компенса­цией движения). Опорным служит следующий, соседний I- или Р-кадр. Такое предсказание реализуется при появлении больших площадей в изображении (в кадре), которых не было в предшествующем кадре.

§ Двунаправленным предсказанием на основе предыдущего и следующего I- или Р-кадров, т.е. используется комбинация двух предсказаний – предсказание вперед и обратное предсказание – предсказание назад с компенсацией движения (рисунок 11.24). Опор­ными служат два кадра – один из них ближайший предыдущий I-или Р-кадр, а другой ближайший следующий I- или Р-кадр. Следует отметить, что изображение (точнее информация, содержащаяся в кадре) предварительно восстанавливается в кодере точно так же, как и в декодере на приемной стороне. Для этого кодер имеет все узлы декодера: инверсный квантователь, инверсный ДКП и т.п. По­добная структура кодера позволяет реализовать двунаправленное предсказание: на основе предыдущего и следующего I- или Р-кадров определяется текущий кадр.

Рисунок 11.24 - Структура строения кадров с предсказанием вперед и обратным предсказанием назад с компенсацией движения

§ Внутрикадровым предсказанием без компенсации движения только на основе I -кадров. При этом в текущем кадре информация сравнивается по макроблокам с опорным I-кадром и выделяется разностная информация между ними. Такое предсказание исполь­зуется при резкой смене сюжета или при больших скоростях пере­мещения объекта изображения.

Следует отметить, что в В-кадрах достигается самое высокое сжатие, цифровой информации – в 4,5 раза по сравнению с l-кадрами (рисунок 11.25).

Поскольку степень сжатия снижает точность восстановления, то В-кадры не используются в качестве опорных.

Рисунок 11.25 - Внутрикадровое сжатие в В-кадрах без компенсации движения

Вектор движения * и компенсация движения. Телевизионное изображение всегда содержит движущийся объ­ект или элемент. Поэтому дискретные значения, принадлежащие однотипным пикселям в текущем кадре, будут смещаться относи­тельно опорного кадра. Очевидно, чем элемент быстрее движется в макроблоке, тем значительнее разность между макроблоком опор­ного кадра и таким же макроблоком текущего соседнего В- или Р-кадра, что приводит к увеличению количества обрабатываемой ин­формации и снижению точности предсказания. Точность предска­зания можно повысить (уменьшить ошибку предсказания) путем нахождения (вычисления) вектора движения и его компенсацией.

Вектор движения определяется для каждого макроблока, нахо­дящегося в области поиска.

Область поиска должна быть достаточно большой, чтобы быстро движущийся элемент в макроблоке опорного кадра не вышел в со­седнем кадре за пределы этой области. С другой стороны, размеры области поиска ограничивают из-за большого объема необходимых вычислений, которые должны выполняться в реальном масштабе времени. Ее размеры 64x64 пикселей, т.е. в четыре раза превосходят размеры макроблока. В одном кадре, таким образом, создается 576/64 = 9 зон поиска по вертикали и 704/64 = 11 зон по горизонтали. Следовательно, кадр содержит 99 областей поиска. При этом конфи­гурация области поиска выбирается не произвольной, а в соответст­вии со структурой дискретизации кадра, т. е. ортогональной.

Определение вектора движения. Пусть имеется какой-то мак­роблок в опорном кадре и определены числовые значения его пикселей. Необходимо найти подобный макроблок в текущем соседнем кадре. Для этого первоначально суммируются значения пикселей в каждом макроблоке, относящиеся к области поиска в соседнем кадре, затем вычисляется межкадровая разность каждого макро­блока относительно суммы пикселей макроблока опорного кадра. Тот макроблок, у которого межкадровая разность наименьшая, при­нимается за искомый, и его положение в области поиска описыва­ется вектором движения - скалярным значением и координатами смещения (как по вертикали, так и по горизонтали) – так как векторы движения являются двумерными. Вектор движения отражает вели­чину смещения объекта (элемента) по вертикали и по горизонтали в кодируемом макроблоке текущего кадра относительно его положе­ния в опорном кадре. Это дает возможность скомпенсировать его перемещение и уменьшить количество обрабатываемых данных и, таким образом, повысить точность предсказания. Вектор движения определяется для каждого макроблока в текущем В-кадре. Если, оп­ределяя вектор движения, кодер не может обнаружить в области по­иска текущего кадра подходящий макроблок, то он автоматически переходит от межкадрового кодирования к внутрикадровому (не к ДКП) с предсказанием без компенсации движения (рисунок 11.26).

Рисунок 11.26 - Принцип определения вектора движения элемента изображения в макроблоке.

Дата добавления: 2014-01-07