Лекция 4. Тема: Мультимедийные системы

Тема: Мультимедийные системы.

План.

1. Основные определения мультимедиа.

2. Требования к мультимедийному компьютеру.

3. Компьютерные средства обеспечения звуковых технологий. Звуковые и акустические системы.

4. Системы распознавания и синтеза речи.

5. Компьютерные средства обеспечения видео-технологий.

6. Области применения мультимедиа.

Ключевые слова

Мультимедиа, виртуальная реальность, звуковые системы, персональный компьютер, компьютерные средства, интерфейс, синтезатор, аудиоэффект, акустическая система, видеотехнология, видеоплата, видеозахват, препроцессор, компаратор, экстратор, интерпретатор, видеоблатер, синтез речи, мультимедийная обработка.

1. Основные определения мультимедиа

Существуют несколько определений мультимедиа. Под мультимедиа понимают совокупность визуальных и аудиоэффектов, воспринимаемых с помощью компьютера и управляемых интерактивными программами.

Мультимедиа (multimedia – многосредовость) – область компьютерной технологии, связанная с обработкой информации, имеющей различное физическое представление (текст, графика, рисунок, звук, анимация, видео и т.п.) и существующей на различных носителях (магнитные и оптические диски, аудио и видеоленты и т.д.).

Мультимедиа – средства – это комплекс аппаратных и программных средств, позволяющих человеку обращаться с компьютером, используя самые разнообразные естественные для себя среды: звук, видео, графику, тексты, анимацию и т.д.

Мультимедиа представляет пользователю потрясающие возможности в создании фантастического мира (виртуальной реальности), интерактивного общения с этим миром, когда пользователь выступает не в роли стороннего пассивного созерцателя, а принимает активное участие в этих событиях на языке звуковых и видеообразов.

Рассмотрим понятие виртуальная реальность. Виртуальная реальность – это некий иллюзорный мир, в которым взаимодействуют человек. Система виртуальной реальности - это совокупность имитационных, программных и технических средств, обеспечивающих эти погружение и взаимодействие. Для реализации виртуальной реальности используются разнообразные звуковые и видеотехнологии, в частности, объемные звуковые и видеосистемы (стереодисплеи, стериомыши), а также головные дисплеи-шлемы и очки-телевизоры, управляющие перчатки, кибернетические силовые жилеты и другие экзотические устройства, уже существующие сегодня. И все это в совокупности с беспроводными интерфейсами.

К средствам мультимедиа можно отнести:

· устройство аудио – (речевого) и видеоввода и вывода информации;

· высококачественные звуковые (sound) и видео - (video) платы;

· платы видеозахвата (video grabber), снимающие изображение с видеомагнитофона или видеокамеры и вводящие его в ПК;

· высококачественные акустические и видеовоспроизводящие системы с усилителями, звуковыми колонками, большими видеоэкранами;

· видеобластеры – карта ввода-вывода телевизионных сигналов;

· сканеры, автоматически вводящие в компьютер печатные тексты и рисунки.

К средствам мультимедиа можно отнести внешние запоминающие устройства большой емкости на оптических и цифровых видеодисках (CD-ROM, DVD-ROM и др.). На компакт дисках (CD) организуются обширные базы данных, словари, справочники, энциклопедии, программы по общеобразовательным и специальным предметам. CD – широко используется, например, при изучении иностранных языков, правил дорожного движения, бухгалтерского учета, законодательства и др.

2. Требования к мультимедийному компьютеру.

В настоящее время существует стандарт МРС (Multimedia Personal Computer) на характеристики мультимедийного ПК. В соответствии с МРС для мультимедиа необходимы процессор с тактовой частотой не ниже 300 МГц, кэш-память второго уровня объемом 128 Кбайт, оперативная память объёмом не менее 64 Мбайт, два порта USB, порт AGP, ТВ – выход и вход, внутренний модем с пропускной способностью 56 Кбит/с, внешний накопитель с интерфейсом 1394.

Ряд компаний разрабатывают программы для реализации мультимедиа. Например, компанией Microsoft создано программное обеспечение API DirectX для обработки 3D – графики и звуковых эффектов.

Кроме обычных функций ПК мультимедийный компьютер должен выполнять следующие дополнительные функции:

· ввод звуковой информации от аналоговых микрофонов и магнитофонов;

· ввод видеосигналов от телевизионных устройств, видеокамер, магнитофонов;

· воспроизведение звуковой информации с помощью внешней акустической системы, в том числе с компакт-дисков;

· сохранение видеосигналов в памяти, воспроизведение видеосигналов в реальном времени на экране монитора;

· смешивание (микширование) звуковых сигналов от нескольких источников;

· редактирование звуковой информации для стереофонического звучания;

· генерирование звуковой информации.

3. Компьютерные средства обеспечения звуковых технологий. Звуковые и акустические системы.

Для выполнения выше перечисленных функций в состав мультимедийного компьютера включают специальные звуковую и видеосистемы.

Звуковые системы. Звуковая система ПК включает:

· модуль записи / воспризведения;

· синтезатор;

· модуль интерфейсов;

· микшер;

· акустическую систему;

Компоненты звуковой системы (исключая акустическую систему) конструктивно оформляются в виде отдельной звуковой платы или частично реализуется в виде микросхем на материнской плате компьютера.

Сигналы на входе и выходе модуля записи / воспроизведения имеют аналоговую форму, но обработка звуковых сигналов приходит в цифровой форме. Поэтому основные функции модуля записи воспроизведения сводятся к аналого-цифровому (АЦП) и цифро-аналоговому (ЦАП) преобразованиям. Для этого входной аналоговый сигнал подвергается импульсно-кодовой модуляции, суть которой заключается в дискретизации времени и измерении амплитуд аналогового сигнала в дискретные моменты времени в виде двоичных чисел. Необходимо так выбрать частоту дискретизации и разрядность двоичных чисел, чтобы точность АЦП соответствовала требованиям, предъявляемых к качеству воспроизведения звука. Для снижения требований как к емкости памяти для хранения информации, так и к пропускной способности каналов передачи данных применяют сжатие информации.

Модуль интерфейсов используются для передачи оцифрованной звуковой информации к другим устройствам ПК (памяти, акустической системе) через шины компьютера. Пропускной способности шины ISA, как правило, недостаточно, поэтому используют другие шины: PCI(Peripheral Component Interconnect – шина расширения), специальный интерфейс музыкальных инструментов MIDI или некоторые другие интерфейсы.

С помощью микшера можно смешивать звуковые сигналы, создавая полифоническое звучание, накладывать музыкальное сопровождение на речь, сопровождающую мультимедийные фрагменты, и т.д. Синтезатор предназначен для генерирования звуковых сигналов, чаще всего для имитации звучания различных музыкальных инструментов. Для синтеза используют частотную модуляцию, таблицу волн, математическое моделирование. Исходные данные для синтезаторов (коды нот и типов инструментов) предоставляют в форме MIDI(расширение MID в имени файлов). Так, при применении метода частотной модуляции управляют частотой и амплитудой суммируемых сигналов от основного генератора и генератора обертонов. Согласно методу таблиц волн результирующий сигнал получают, комбинируя оцифрованные образцы звуков и от реальных музыкальных инструментов. При математическом моделировании вместо экспериментально полученных образцов используют математические модели звуков.

Компьютерные средства обеспечения звуковых технологий делятся на:

· звуковые карты (системы).

· акустические системы.

Звуковые карты (платы) используются для создания, записи и воспроизведения различных звуковых сигналов: музыки, речи, шумовых эффектов. Содержание функциональной платы (модуль для записи и воспроизведения звука, модуль синтезатора, интерфейсы) мы рассмотрели выше.

Рассмотрим акустические системы. Акустическая система (колонка) является не обязательным, но желанным компонентом мультимедийной системы – при её использовании восприятие звуковой информации существенно улучшается. Акустические системы бывают пассивными и активными.

Пассивные не содержат встроенного усилителя и могут подключаться к звуковым платам, имеющий собственный усилитель (УВТ, по 2 Вт на канал) и регулятор громкости.

Активные акустические системы оборудованы усилителем и могут подключаться как к линейному выходу звуковой платы, так и к выходу её усилителя. Источником питания для встроенного усилителя является внутренний аккумулятор или блок питания.

3. Системы распознавания и синтеза речи.

Существуют две технологии речевого общения с компьютером:

· системы распознавания речи;

· системы синтеза речи.

В системах распознавания речи выполняются оцифровка звуковой информации, её идентификация с кодами, содержащимися в электронных тезаурусных словарях, необходимая коррекция кодов и генерация соответствующих им символов, слов и предложений, возможный вывод текстов и др.

По характеру распознаваемой речи системы речевого ввода можно разделить на:

· системы, ориентированные на распознавание отдельных слов, команд и вопросов (применение: автоматические телефонные службы);

· системы распознавания предложений и связной речи (есть ПП – Word Word Perfect);

· системы распознавания предложений и связной речи;

· системы идентификации по образу речи (применение: - биотехнические технологии).

Механизм распознавания речи

Механизмраспознавания речи включает в себя обычно четыре основных блока:

· препроцессор;

· экстрактор;

· компаратор;

· интерпретатор.

Препроцессор или модуль сбора данных обеспечивает приведение речевого сигнала к более качественному виду (производится автоматическая регулировка усиления, подавление Эхо-сигнала и др.).

Экстрактор выполняет спектральный анализ сигнала. Акустико-фонетический поток звуков разбивается на короткие кадры (t=10 мкс) и выявляются спектральные характеристики каждого кадра.

Компаратор выполняет акустическое сравнение выявленных характеристик каждого кадра с имеющимися акустико-фонетическими образами.

Интерпретатор решает задачу наилучшего разбиения полученного от компаратора «алфавитного» потока на слова и фразы

Системы речевого вывода информации базируются либо на выборе из словаря готовых оцифрованных звуковых последовательностей, либо на синтезаторах речи. Среди программ синтеза речи можно назвать шведскую систему Infovox, Monologue английской фирмы и др.

4. Компьютерные средства обеспечения видео-технологий.

К компьютерным средствам обеспечения видеотехнологий можно отнести: видеоплату и плату видеозахвата.

Видеоплата – это собственно контроллер, но для поддержки «живого видео» на ней должна быть микросхема графической акселерации, ускоряющая выполнение огромного числа видеопераций.

При выборе видеоплаты необходимо учитывать требуемые разрешающую способность, количество цветов и наличие акселерации.

Плата видеозахвата (Video grabber) выполняет захват кадров видео, их преобразование (в том числе и оцифровку) и запись в память компьютера.

Платы видеозахвата бывают двух типов:

· «граберы» кадров предназначены для захвата неподвижных изображений;

· платы захвата могут монтировать целые видеофильмы. Они позволяют получать в компьютере с видеокамеры или видеомагнитофона, а при наличии тюнера – и с антенны, отдельные телевизионные кадры и вывода на принтер или обратно на видеоустройство.

Платы видеозахвата второго типа открывают широкие перспективы по созданию и обработке изображений в реальном масштабе времени – живого видео.

В этом аспекте интересна технология INDEO позволяющая эффективно работать с видео на ПК. Она обеспечивает захват, сжатие и запись видеоизображения в файл на жестком диске на один шаг. INDEO – технология автоматически адаптирует качество, скорость и разрешение видеоизображения с тем, чтобы полностью использовать возможности компьютера. Она может менять размер кадра в переделах форматов 160х120, 240х180 и 320х240 (в пикселях) при обеспечении до 16,7 млн. различных цветовых оттенков.

Достоинства и особенности мультимедиа

· Возможность хранения большого объема.

· Возможность увеличения информации на экране изображения.

· Возможность осуществления непрерывного музыкального или любого другого аудиосопроваждения.

· Возможность использования видеофрагментов из фильмов, видеозаписей.

· Возможность включения анимации.

· Возможность подключения к глобальной сети Internet.

· Возможность работы с различными приложениями (текстовыми графическими и звуковыми редакторами).

6. Область применения мультимедиа

· Образование и обучение.

· Презентации и реклама.

· Живое видео на ПК.

· Мультимедиа в учреждениях.

· Моделирование на компьютере и кибернетические пространства.

Контрольные вопросы и задания

1. Поясните понятия «мультимедиа», «виртуальная реальность».

2. Дайте краткую характеристику средств мультимедиа.

3. Какие требования предъявляются к мультимедийному компьютеру?

4. Какие функции выполняет мультимедийный компьютер?

5. Перечислите основные устройства входящие в звуковые системы.

6. Объясните принцип работы модуля записи / воспроизведения.

7. Что такое микшер и синтезатор?

8. Дайте краткую характеристику компьютерных средств обеспечения звуковых технологий.

9. Определите две технологии речевого общения с компьютером.

10. Какие основные блоки включает механизм распознавания речи? Что такое экстратор?

11. В чем достоинство технологии INDEO?

12. Назовите основные области применения мультимедиа.

13. Что такое видеоплата?

14. Какую функцию выполняет препроцессор?

Литература: 5, 9, 7.

Дата добавления: 2014-01-11