Описание и синхронизация потоков данных для медийных объектов

Медиа-объектам может требоваться поток данных, который преобразуется в один или несколько элементарных потоков. Дескриптор объекта идентифицирует все потоки ассоциированные с медиа-объектом. Это позволяет иерархически обрабатывать кодированные данные, а также ассоциированную медиа-информацию о содержимом (называемом “информация содержимого объекта”).

Каждый поток характеризуется набором дескрипторов для конфигурирования информации, например, чтобы определить необходимые ресурсы записывающего устройства и точность кодированной временной информации. Более того, дескрипторы могут содержать подсказки относительно QoS, которое необходимо для передачи (например, максимальное число бит/с, BER, приоритет и т.д.) Синхронизация элементарных потоков осуществляется за счет временных меток блоков данных в пределах элементарных потоков. Уровень синхронизации управляет идентификацией таких блоков данных (модулей доступа) и работой с временными метками. Независимо от типа среды, этот слой позволяет идентифицировать тип модуля доступа (например, видео или аудио кадры, команды описания сцены) в элементарных потоках, восстанавливать временную базу медиа-объекта или описания сцены, и осуществлять их синхронизацию. Синтаксис этого слоя является конфигурируемым самыми разными способами, обеспечивая работу с широким спектром систем.

Доставка потоков данных

Полученные в результате кодирования элементарные потоки необходимо доставить к декодеру. Для этого MPEG-4 предлагает двухуровневый механизм мультиплексирова­ния, показанный на рис. 13. Элементарные потоки поступают на мультиплексирова­ние, пройдя уровень синхронизации SL (Sync Layer), где в заголовки пакетированных элементарных потоков (ПЭП) вводятся временные метки.

Рисунок 13 - Модель системного слоя MPEG-4

Первый уровень, названный FlexMux, играет вспомогательную роль в мультиплек­сировании, он объединяет низкоскоростные потоки с одинаковыми требованиями к качеству передачи, чтобы уменьшить их число в сложных сценах и сократить время передачи. Использование FlexMux не является обязательным, и он может быть пустым, если следующий уровень обеспечивает все необходимые функции.

Второй уровень, TransMux (Transport Multiplexing), предлагает транспортные услу­ги по передаче потоков с заданным качеством обслуживания. Условия передачи пред­полагают необходимую пропускную способность, допустимый уровень ошибок, макси­мальное время задержки, приоритет и т.д. TransMux не является транспортным протоколом как таковым, он представляет собой скорее интерфейс между кодером MPEG- 4 и стандартным транспортным протоколом. В качестве такового могут использоваться протокольные стеки RTP/UDP/IP, AAL5/ATM, транспортный поток MPEG-2.

Взаимодействие с транспорт­ной средой управляется прото­колом DMIF (Delivery Multimedia Integration Framework — мультимедийная интегрированная система достав­ки). DMIF, как его определяет стандарт, — сеансовый прото­кол для управления потоковой передачей в произвольных сре­дах. После запуска он устанав­ливает соединение с удаленным абонентом, выбирает подлежа­щие передаче потоки и посыла­ет запрос на их передачу. Порт DMIF посылает отметки к тем точкам, откуда будут передавать­ся потоки, и устанавливает со­единение.

На приемном конце индивидуальные ЭП выделяются из пришедшего транспортного потока путем демультиплексирования (рис. 9). Выделенные после демультиплексирования пакеты ПЭП обрабатываются с целью из­влечения из них информации о синхронизации. Эта информация переносится в заго­ловках пакетов, генерируемых на уровне синхронизации.

Рис. 14 показывает, как потоки, приходящие из сети (или запоминающего устройства), или потоки TransMux, демультиплексируются в потоки FlexMux и передаются соответствующим демультиплексорам FlexMux, которые извлекают элементарные потоки. Элементарные потоки (ES) анализируются и передаются соответствующим декодерам. Декодирование преобразует данные в AV (аудио-визуальный) объект и выполняет необходимые операции для реконструкции исходного AV-объекта, готового для рэндеринга на соответствующем аппарате. Аудио- и визуальные объекты представлены в их кодированной форме. Реконструированный AV-объект делается доступным для слоя композиции при рэндеринге сцены. Декодированные AVO, вместе с данными описания сцены, используются для композиции сцены. Пользователь может расширить возможности, разрешенные автором, взаимодействовать со сценой, которая отображается.

Рисунок 14 - Структура терминала MPEG-4

Дата добавления: 2013-12-13