Теоретичні відомості. Мета роботи: вивчити принципи запису, редагування та збереження цифрової аудіо та відеоінформації, ознайомитися з програмою обробки відеофайлів VirtualDub

ЦИФРОВА ОБРОБКА ВІДЕО ТА ЗВУКУ. ВИВЧЕННЯ ПРИКЛАДНОЇ ПРОГРАМИ VIRTUALDUB

Мета роботи: вивчити принципи запису, редагування та збереження цифрової аудіо та відеоінформації, ознайомитися з програмою обробки відеофайлів VirtualDub, вивчити її основні можливості та навчитися застосовувати її на практиці.

Цифрове зберігання і обробка відеоінформації мають кілька переваг: по-перше, якість цифрового відео не погіршується при багаторазовому відтворенні; по-друге, досить просто отримати копію відеоматеріалу, абсолютно ідентичну оригіналу; по-третє, для редагування цифрової відеоінформації не потрібно дорогого професійного обладнання, а досить сучасного персонального комп'ютера. Особливого розповсюдження цифрова обробка відео отримала в останні роки у зв'язку з бурхливим розвитком комп'ютерної техніки.

У зв'язку з великою кількістю відеоінформації розміри файлу виходять дуже великими, тому існує кілька шляхів зменшення розмірів файлу: зменшення основних параметрів відеозапису та стиснення (компресія). Основними параметрами незакодованого відеозапису є: розмір кадру (роздільна здатність), кодування кольорів, частота кадрів.

Для стиснення відео- і аудіопотоку використовують кодеки (від слів "кодер"-"декодер") - набір алгоритмів реалізованих програмними засобами, які застосовують для кодування вихідного аудіо-відеопотоку з метою зменшення об'єму і наступного декодування при відтворенні.

Всі кодеки, призначені для стиснення відео можна розділити на два типи: з усуненням просторової надлишковості та усуненням часової надлишковості (рекурсивні). До першого типу можна віднести M-JPEG кодеки. До другого типу можна віднести всі Mpeg (AVI) кодеки.

Суть першого типу кодеків зводиться до стиснення у кожного кадрі, по JPEG алгоритму (або подібному). При цьому кожен кадр стискується незалежно від іншого, вони кодують без втрати якості, але й ступінь стиснення невисока.

Другий тип кодеків виконує порівняння двох сусідніх кадрів. При точному збігу кадрів, вважається, що записувати другий кадр не потрібно. При якихось незначних змінах, записується тільки частина, що змінилася, інша частина береться з попереднього кадру. По цьому алгоритму працюють всі Mpeg кодеки і їхні клони: XVID, Div, WMV, Quick Time. Ці кодеки працюють із втратою якості - виникають так звані артефакти, але й ступінь стиснення дуже висока.

Артефакти - це видимі порушення якості відеопослідовності, що виникають у процесі стиснення із втратами. Найбільш поширений артефакт стиснення - розбивка картинки на квадратні блоки. У "рекурсивних" алгоритмів стиснення також часто спостерігається "сміття" поруч із контрастними межами і рухомими об'єктами, а також „хвилясті” і „розпливчасті” кольори. Кількість і інтенсивність артефактів залежить від алгоритму стиснення, відношення отриманого бітрейту до вихідного і характеру зображення, що піддається стиснення.

Існують спеціальні алгоритми фільтрації типових артефактів стисненого відео. Зазвичай, будь-який програвач зжатого відео містить у собі обробку декомпресованого відео такими фільтрами.

У зв'язку з тим, що Mpeg кодеки (і їхні клони) працюють по одному й тому ж алгоритму, всі вони мають однакові спотворення. Можна вивести закономірності, що впливають на якість результуючого відео. Фактори, що впливають на якість стисненого відео кодеками другого типу: роздільна здатність, бітрейт, B-фрейми, фільтри, інтенсивність руху на відеозаписі, яскравість зображення.

Формати відеофайлів. На сьогоднішній день найпоширеніші два формати: AVI, MPEG.

Найбільше часто використовується AVI (Audio-Video Interleaved - формат з перемежованими блоками аудіо- і відеоінформації). По своїй структурній будові цей формат відноситься до "чанкових": як і в WAV або MIDI, вся інформація впаковується в заголовки, котрі називаються chunks - чанки. Це дозволяє записувати в AVI файл як нестиснений, так і підданий будь-якому виду стиснення відеопотік.

Формат MPEG (назва утворена від Motion Picture Experts Group - групи фахівців зі стиснення відеопослідовностей), на відміну від AVI, використовує один із двох стандартних алгоритмів стиснення: MPEG1 й MPEG2. MPEG1 використовується для стиснення відео з невеликим розміром кадру (менше ніж 288 по вертикалі) і бітрейтом порядку 1-2 Мбіт/с, а MPEG2 - для відео з великим розміром кадру (більше ніж 288 по вертикалі) і бітрейтом порядку 5-10 Мбіт/с. Як основне застосування MPEG1 можна назвати формат VideoCD. MPEG2 застосовується в цифровому телебаченні та на DVD.

Розрізняють також методи представлення складової кольору. Color format (метод кодування кольорів) - це стандарт представлення колірної інформації про один піксель зображення в цифровому виді. Найбільш відомими стандартами є: палітровий метод (вказується індекс кольорів у масиві стандартної палітри), RGB представлення (вказується інтенсивність адитивних компонент кольорів), CMYK (вказується інтенсивність субтрактивних компонент кольорів), HUE (вказуються більш зрозумілі людині тон, насиченість і чистота кольору).

Досить часто також використовують метод, при якому інформація про піксель ділиться на дві частини - яскравість (luminance, Y) і кольоровість (chrominance, U/V). По-перше, такий метод кодування кольорів дозволяє отримати чорно-білу картинку простим відкиданням кольоровості. По-друге, відомо, що людське око сприймає зміни кольору гірше, ніж зміни яскравості. Тому кольоровість можна зберігати з гіршою роздільною здатністю, ніж яскравість, зберігаючи видиму якість картинки незмінною. Такий прийом використовується в аналоговому телемовленні, а також для більшості методів стиснення (наприклад, MJPEG, MPEG, Intel Indeo).

Вплив деяких параметрів відеозапису на якість. Роздільна здатність (або розмір картинки) при стисненні відео відіграє дуже важливу роль. Чим більше роздільна здатність, тим краще якість відеозапису, але при збільшенні роздільної здатності потрібно більший потік для кожного кадру і потрібно більше апаратних ресурсів для обробки відеофрагмента. Мінімальна зміна роздільної здатності картинки, спричиняє значні зміни потоку. Для узагальнення поняття достатності якості, звичайно, вводять таку величину:

де – бітрейт, вимірюється в біт/с (1 bps – 1 bit-per-second);

– кількість пікселей в одному кадрі, розраховується множенням висоти на ширину відеокадру;

– число кадрів в секунду і воно не повинне бути нижчим певного граничного значення.

Середній бітрейт - це розмір відеопослідовності в бітах, віднесений до його тривалості в секундах.

По великому рахунку, – це потік, що приходиться на один піксель. При зниженні цього параметра нижче 0,2 якість отримується низька, це показує що ступінь стиснення неприйнятно висока. Практичним шляхом було встановлено, що при , ми отримуємо цілком непогану картинку. Для одержання максимальної якості повинен бути більшим або дорівнювати 0,8.

Проблема вибору роздільної здатності при стисненні стоїть досить гостро. З одного боку, з більшою роздільною здатністю набагато краще промальовуються дрібні деталі, але при цьому потрібно збільшувати бітрейт кодека, - це не завжди прийнятно, тому що досить часто ми орієнтуємося на розмір файлу, який нам треба отримати. При збільшенні роздільної здатності відео, поліпшується деталізація картинки, але при обмеженому бітрейті кодера, ми вже не будемо отримувати поліпшення деталізації. Виходить, що для певного бітрейта маємо визначену роздільну здатність, при якій деталізація максимальна (на конкретному відеозаписі).

Розрахунок необхідного бітрейту при заданому об'ємі файлу:

де b - бітрейт відеопотоку (кбіт/с),

C - необхідний об'єм відеофайлу (кбіт),

t - тривалість відеофрагменту (с),

ba - бітрейт аудіопотоку (кбіт/с).

Аналізуючи формулу для Q, можна сказати, що якість зображення визначає бітрейт, роздільна здатність і кількість кадрів в секунду. Бітрейт = const (максимум для нашого розміру файлу, якщо він заданий); кількість кадрів за секунду = const; роздільна здатність = variable. Отримуємо, що змінюючи роздільну здатність (або бітрейт, якщо він жорстко не фіксований), ми можемо підвищити або понизити якість картинки в цілому.
Зміна якості підбором бітрейта проводиться в тому випадку, коли роздільна здатність фіксована. Але може вийти така ситуація, що при збільшенні бітрейту розмір файлу відео не буде зростати. Це буде позначати одне: ви досягли максимальної якості для даної картинки і роздільної здатності.

Також досягнути підвищення якості стиснення можна включенням згладжуючих фільтрів (за рахунок зниження рівня деталізації), включенням B-frames. При виборі всіх цих параметрів варто враховувати фактори, що не залежать від кодера: інтенсивність руху на відеозаписі й темноту фону, на якому відбувається дія.

Стадії цифрової обробки відеозапису. Обробку відео на комп'ютері звичайно поділяють на три стадії: захват, монтаж і стиснення. Розглянемо їх послідовно.

У першій стадії - захопленні - основною метою являється оцифровка всіх відеофрагментів, необхідних для складання кінцевого продукту, з максимально можливою якістю. При захопленні не застосовують рекурсивні алгоритми стиснення. На це є кілька причин: по-перше, ці алгоритми вносять у зображення невидимі спотворення, які проявляються при обробці фрагментів фільтрами; по-друге, при використанні таких алгоритмів монтаж без декомпресії можливий з точністю до ключового кадру; по-третє, деградація якості відео від стиснення "рекурсивним" методом досить висока, і навіть при однократній декомпресії зниження якості впадає в око.

Друга стадія - монтаж - складається із двох основних процедур. По-перше, саме на цій стадії відбувається обробка відео різними фільтрами, а також перевіряється і відновлюється синхронність аудіо й відео потоків. По-друге, на цій стадії здійснюється нелінійний відеомонтаж оцифрованого матеріалу.

Нелінійний відеомонтаж (НВМ) - це метод редагування й суміщення декількох відеофрагментів в один фінальний продукт, при якому в будь-який момент часу можливе використання будь-якої частини вихідного відеоматеріалу. Найвідомішими застосуваннями НВМ є плавні переходи з різними ефектами між різними відеокліпами, змішування методом "розчинення" двох відеокліпів і метод "синього екрана". НВМ став стандартом в області обробки цифрового відео завдяки двом комерційним програмним пакетам: Adobe Premier й Ulead MediaStudio.

Фільтри відео - це загальна назва для програм нанесення різних графічних ефектів на кадри відеопотоку. Їх можна розділити на дві основних групи: фільтри постобробки захопленого відео і фільтри нанесення спецефектів.

Третя стадія – стиснення – досить часто сполучається із другою у якості її останнього етапу. На цій стадії змонтована відеопослідовність піддається остаточному стисненню. Змонтований і стиснутий у такий спосіб відеопотік вважається остаточним результатом, придатним для перегляду і зберігання у відеоархіві.

Програма обробки відео VirtualDub

VirtualDub це одна із великої кількості різноманітних програм, призначена для монтажу і редагування відео потоку. Існують і більш складні професійні редактори, наприклад, такі як Adobe Premier, MGI Video Wave, Ulead Video Studio та ін.). Але VirtualDub відрізняється, тим, що має великий вибір інструментів, починаючи від накладень звукових доріжок і закінчуючи накладенням фільтрів на відео потік при відносній простоті користування. Щоб працювати із цією програмою, не обов'язково бути професіоналом. Досить запам'ятати мінімальний набір функцій і користуватися ними. До того ж, програма має невеликий розмір (приблизно 800 кБ), не вимагає інсталяції, являється абсолютно безкоштовною, існує кілька варіантів реалізації (тому що вихідний код програми відкритий, наприклад NanDub, VirtualDub-MPEG2, VirtualDubMod, VirtualDVR), до неї існує величезна кількість внутрішніх і зовнішніх фільтрів від різних виробників.

За допомогою програми VirtualDub можна провести всі три стадії обробки відеосигналу (крім нелінійного монтажу відеозапису, для цього існують більш складні професійні програми).

Захоплення відео в VirtualDub. Захопленням називають процес перетворення аналогового відео в цифровий вигляд з наступним його збереженням на цифровому носії інформації. Так як, для цієї стадії потрібна спеціальна апаратура - плата відеозахвату, плата нелінійного монтажу, TV-тюнер або відеокарта з відеовходом, то на цьому особливо зупинятися не будемо. Відзначимо лише, що VirtualDub переводиться в цей режим за допомогою пункту меню "Файл"-"Захват AVI... ", де в підменю можна буде вибрати джерело відеозображення, параметри вихідного зображення (яскравість, контрастність, роздільна здатність, кількість кадрів, глибину кольорів, формат, бітрейт і частоту дискретизації звукового потоку, кодек для відеопотоку, прив'язку відеопотоку до звуку, також при бажанні й запасі продуктивності комп’ютера можна підрізати нерівні краї й накласти фільтри). Натисканням функціональної клавіші F6 починається процес захоплення й перервати його можна натисканням ESC.

Монтаж та обробка відеозображення. Тепер перейдемо до монтажу відеозображення в програмі VirtualDub. Для цього коротко розглянемо головне вікно програми VirtualDub (рисунок 4.1), воно складається з головного меню – 9, вікна перегляду вихідного відеофайлу, 10 – вікно перегляду результатів роботи програми, 1-8 – панелі керування. Панель керування складається з групи клавіш керування переглядом – 1 (стоп, відтворення вихідного і отриманого потоку), 2 – групи клавіш керування повзунком (3) на часовій осі (8) - в початок треку, перемотування назад, вперед, в кінець треку, 4 – керують переміщенням по ключовим кадрам, натискання на ці кнопки спричинить переміщення від одного ключового кадру до іншого в прямому або зворотному напрямку, 5 – включають відтворення й зупиняють його при зміні сцени, їхня дія досить ефективно й добре допомагає в пошуку зміни сюжету, 6 – встановлюють початкову й кінцеву точки відеоматеріалу при його підрізуванні, в інформаційному рядку відображається інформація про поточне положення повзунка на часовій осі в одиницях часу і в кадрах (фреймах). Для установки початкової й кінцевої точки відеоматеріалу при його підрізуванні, потрібно увімкнути відтворення і, зупинивши в потрібному місці, натиснути на "<", для встановлення початкової точки відеофрагменту. Зупинити відео в місці, де відеофрагмент повинен закінчитися й натиснути ">", лінія редагуємого відеоматеріалу, забарвиться в синій колір, і з вихідного відео буде використаний тільки виділений фрагмент. Для фрагментів існують цікаві пункти меню "Правка": "Скрыть выделенные кадры" - перетворює виділену область у фрагмент. Тобто, мітки виділення зникнуть, але на них можна буде потрапити переходом по фрагментах і "Показать выделенные кадры" - знімає всі виділення фрагментів.

Рисунок 4.1 – Оболонка програми VirtualDub

Для пошуку початкової й кінцевої точок зручно використовувати повзунок і кнопки "2". Це ідеальний спосіб, коли треба, наприклад, відрізати частину з відеофрагмента, або вибрати з відеофільму тільки потрібні моменти. При цій операції необхідно встановити в опціях "Видео" й "Аудио" галочку на пункті "Прямое копирование потока". Ця опція необхідна при монтажі без зміни потоку фільтрами за умови, якщо вирізка буде відбуватись по ключовим кадрам або вихідний потік буде стиснутий кодеками з усуненням тільки просторової надлишковості. Початок і кінець відрізка обов'язково повинен бути ключовим кадром, якщо початок і кінець обраний не ключовим кадром, то при збереженні програма обрізає відео до найближчого ключового кадру. У цьому режимі ні зберегти відкритий MPEG файл, ні змінити кодек, ні вставити фрагмент із іншого файлу не вийде. З переваг цього режиму можна назвати швидке збереження результатів без погіршення якості відеофрагмента (рекомпрессії відбуватися не буде). Також у цьому режимі можливе додавання нової аудіодоріжки до відеофрагмента і змінити частоту кадрів для відео.

Опишемо інші режими роботи з відеопотоком.

"Быстрая рекомпрессия" - відео передається на кодер у тім же форматі кольору, що і видав декодер відео. Тобто, кодер повинен розуміти вихідний колірний формат декодера. Використовується для декомпресії відеопотоку без застосування фільтрів.

"Нормальная рекомпрессия" - у цьому режимі VirtualDub буде приймати від декодера відео в RGB форматі. Від попереднього режиму роботи його буде відрізняти більша сумісність приймаючого декодера й видаючого кодера (формати RGB розуміють практично всі кодеки), але в цьому режимі програма працює трохи повільніше, і в деяких випадках можлива незначна втрата якості. У цьому режимі можлива зміна формату кольору, що робиться за допомогою підменю "Видео"-"Глубина цвета... ".

"Режим полной обработки"- цей режим роботи стоїть за замовчуванням і дозволяє включати будь-які настройки VirtualDub. Для роботи фільтрів в VirtualDub потрібний формат RGB32. VirtualDub робить конвертування вхідного формату в RGB32 і після цього видає на фільтри. Вмикання цього режиму необхідно, коли ви збираєтеся робити повну обробку відео в VirtualDub.

Обробка зображення фільтрами. Обробка відео фільтрами може проводитися безпосередньо при захопленні, але більшість фільтрів, дуже вимогливі до ресурсів і тому мало придатні для обробки в реальному часі. Тому найчастіше фільтрами доводиться обробляти вже захоплене відео. Саме цей випадок ми й розглянемо докладно.

VirtualDub запущений і AVI файл, що вимагає обробки відкритий, зроблений монтаж. Переходимо до вибору фільтрів за допомогою підменю "Видео" - Фільтри... ". У вікні, що відкрилося, список спочатку порожній, для додавання в нього фільтра, натискаємо кнопку "Добавить... ". Завжди програма VirtualDub уже містить у собі деяку кількість фільтрів, вони вбудовані і у списку значаться як "Internal". Але вбудованих фільтрів часто буває недостатньо, тому зовнішні фільтри скачуються з Інтернету додатково. Безпосередньо сам фільтр (зовнішній) являє собою файл із розширенням.vdf, що б підключити такий фільтр до VirtualDub необхідно просто помістити його в каталог "VirtualDubPlugins". Вибравши один з фільтрів, натискаємо "ОК". Таким чином, ми вибираємо необхідну кількість фільтрів, обов'язково проводимо їх налагодження. Настроїти фільтр можна, натиснувши кнопку "Изменить... ". Потрібно не забувати, що в якому порядку розташовані фільтри в цьому списку, у тім порядку вони й будуть накладатися на зображення. При необхідності можна рухати фільтри нагору або вниз - кнопки відповідно "Вверх" й "Вниз". Також можна включити обрізку країв кадру - пункт "Урезания... ". Вибравши і настроївши необхідні фільтри - натискаємо "ОК" і повертаємося до нашого AVI файлу. Тепер, для того що б всі ці фільтри остаточно накласти на вихідний AVI файл його необхідно зберегти. Але попередньо обов'язково переконатися, що для відеопотоку обраний "Режим полной обработки".

"Компресия... " є дуже важливим пунктом меню "Видео", за допомогою його задається кодек, яким буде зберігатись вихідний відеопотік. Вибір кодека пов'язаний з поставленими завданнями, і їхній опис виходить за рамки лабораторної роботи. Відзначимо лише те що, після вибору потрібного кодека потрібно натиснути на кнопку "Изменить", і настроїти опції кодека, кількість і зміст яких сугубо індивідуальний. Найважливіші опції з них, це: бітрейт, якість, частота кадрів, формат кольору, кількість ключових кадрів. Ключовий кадр несе в собі повну інформацію з кадру, а всі інші кадри містять у собі зміни картинки щодо ключового (дельта кадри), тому розмір ключового кадру більше розміру інших кадрів і збільшення їхнього числа, звичайно, збільшує розмір вихідного файлу і якість одержуваного зображення. Інші опції сугубо індивідуальні і використовуються тільки для професійної обробки, для їхнього налагодження потрібно ознайомиться зі спеціалізованою документацією.

Пункт меню "Видео"-"Частота кадров... " дозволяє змінити частоту кадрів відео. Є 3 види зміни частоти кадрів: зміна індексу частоти кадрів (приведе до сповільнення або прискорення відео, відповідно змінюється тривалість відео), реальна зміна кількості кадрів у секунду (досягається викиданням або дублюванням кадрів, не приводить до зміни тривалості) і зниження частоти кадрів викиданням полів. Тут присутні також настройки для синхронізації аудіо- і відеопотоку. Пункт меню "Видео"-"Глубина цвета... " дозволяє настроювати вхідний і вихідний формат представлення кольору. При використанні двох останніх пунктів меню варто проявляти обережність, тому що некоректна робота із частотою кадрів і форматами кольору може спотворити відеозапис, тому застосовувати їх без особливої необхідності не потрібно.

Підпункти меню "Видео": "Скопировать входной кадр в буфер" і "Скопировать выходной кадр в буфер" - копіюють поточний кадру в буфер. Копіюється оригінальний кадр із відкритого відео або кадр після обробки в VirtualDub. Після цієї операції, кадр з буфера можна вставити в якусь іншу програму (наприклад, у програму Photoshop).

"Видео"-"Выбрать область" - дозволяє виділити те відео, яке буде оброблятися в VirtualDub. Для кожної опції є два поля, у першому виставляється час у мілісекундах (1 секунда = 1000 мілісекунд), у другому виставляється номер кадру, на який припадає цей час. Окремо виставляються "Начальное смещение", "Длина смещения", "Конечное смещение", також є опції для синхронізації відеопотоку з аудіопотоком, а саме: "Сместить аудио для синхронизации с видео", "Обрезать аудио при окончании видеопотока".

"Сканировать видеопоток на ошибки" - робить перевірку джерела відео на помилки. Помилки можуть виникати при передачі AVI файлу по мережі, копіюванні AVI файлу з погано читаємого диска за допомогою програм, призначених для копіювання збійних ділянок та інших варіантів, коли можлива невірна передача інформації. Після виконання перевірки відео в інформаційному рядку буде видана кількість зіпсованих кадрів, а самі зіпсовані кадри будуть виділені, як фрагмент.

У меню "Аудио" знаходяться опції режиму аудіопотоку "Без аудио" - зберігає AVI файл без звуку, "AVI аудио" - бере аудіотрек з відкритого AVI файлу, за допомогою пункту "WAV аудио... " можна до файлу приєднати зовнішній WAV аудіофайл. Також можна вибрати одну із двох опцій "Прямопотоковое копирования" або "Режим полной обработки", їх значення таке ж як і для відеопотоку. Підпункт меню "Файл"-"Сохранить WAV... " дозволяє зберегти окремо аудіотрек з AVI файлу, наприклад для наступної обробки зовнішнім аудіоредактором.

У меню "Аудио" знаходиться пункт "Чередования" - ця функція відповідає за те, яким способом звук буде впроваджений в AVI файл, "Сжатия" - здійснюється вибір кодека для компресії аудіо - в основному використовуються два аудіокодеки: MP3 (MPEG Layer-3) і "Без преобразования" (PCM). У настройках кодеків бажано вибирати режим у відповідності до тієї частоти дискретизації і рівнями квантування, при яких зроблений оригінал звукозапису. Пункти "Громкость" і "Преобразования" дозволяють відповідно виставити гучність аудіопотока і перетворити формат (частоту дискретизації, число рівнів квантування, кількість каналів (моно, стерео)). Є можливість використовувати фільтри для фільтрації аудіопотока - як внутрішні, так і зовнішні.

У меню "Параметры" знаходяться різноманітні параметри, які необхідні для настроювання програми на оптимальну продуктивність, настроювання інтерфейсу програми, настроювання пріоритету виконання програми, і інші важливі параметри. Також існує меню "Инструменты", і деякі неописані підпункти інших меню, їх опис виходить за рамки даної лабораторної роботи й користувач може самостійно ознайомиться з ними, використовуючи додаткові матеріали.

Дата добавления: 2014-11-20