Відео- та аудіо-технології мультимедіа. 2. Технології гіпермедіа в комп\
1. Відео- та аудіо-технології мультимедіа
Відеотехнології мультимедіа. У процесі змішування сиг¬налів основні проблеми виникають з відеозображенням. Застосу¬вання різних TV-стандартів (NTSC, PAL, SECAM), моніторів та відеоконтролерів вимагає різних підходів до вирішення цих проблем. Але в будь-якому випадку потрібна синхронізація зобра¬жень. Пристрій genlock дозволяє сумістити на екрані монітору зображення, згенероване комп'ютером (текст, титри, анімована або нерухома графіка) та "живе" відео. Пристрій encoder (кодер) дозволяє перетворити комп'ютерне зображення в форму TV-сигналу та записати його на відеоплівку.
Настільні відеостудії, що є одним із прикладів застосування систем мультимедіа, дозволяють готувати суміщені відео-комп'ютерні кліпи, титри для відеофільмів та допомагають в процесі монтажу кінофільмів. Але вони не дозволяють обробляти та,5 редагувати аналогове зображення.
Для того, щоб обробка та редагування аналогового зобра¬ження стали можливими, його необхідно оцифрувати та ввести до пам'яті комп'ютеру. Для цього призначені плати захоплення (capture board, frame grabbers).
Оцифрований кадр можна змінювати в процесі інтерактивної екранної обробки (в межах дозволу відеоадаптеру), наприклад, редагувати графічним редактором (видаляти або додавати деталі, змінювати кольори та масштаби, додавати спецефекти мозаїки та інверсії тощо). Оброблені кадри можна записати на диск у графічному форматі, а потім взяти за реалістичний нерухомий фон для комп'ютерної анімації. Можлива покадрова обробка початко¬вого зображення та виведення його назад на відеоплівку для створення псевдореалістичного мультфільму.
Оцифровування аналогових сигналів або породжує величезні масиви даних, або призводить до втрати якості зображення.
Запис послідовності кадрів у цифровому вигляді потребує великих обсягів зовнішньої пам'яті: оскільки частота кадрів у NTSC - 30 кадрів/с, а в PAL/SECAM - 24 кадри/с, то для запам'ятовування 1 с повнокольорового екранного відео потрібно 20-30 Mb. До того ж послідовність кадрів потрібно вивести на екран у відповідному темпі - близько ЗО Mb/s. А такої швидкості передавання інформації не має жодний з існуючих зовнішніх запам'ятовуючих пристроїв. Щоб виводити на екран комп'ютеру оцифроване відео, доводиться йти на зменшення обсягу переданих даних (виведення зменшеного зображення в невеликому вікні, зниження частоти кадрової розгортки до 10-15 кадрів/с, зменшення кількості біт/піксель), тобто - на погіршення якості зображення.
Більш радикально проблеми пам'яті та пропускної здатності розв'язують за допомогою методів стискання/розгортання даних, які дозволяють стискати інформацію перед записом на зовнішній пристрій, а потім зчитувати та розгортати в реальному режимі часу при виведенні на екран.
Для рухомих відеозображень існуючі адаптивні різничні алгоритми можуть стискати дані з коефіцієнтом 100:1-160:1, що дозволяє розмістити на CD-ROM біля години повноцінного озвученого відео. Робота цих алгоритмів основана на тому, що як правило наступний кадр відрізняється від попереднього лише декотрими деталями: обираючи деякий кадр за базовий, для наступних кадрів можна зберігати тільки відносні зміни. При значних змінах кадру (монтажному склеюванні, наїзді або панорамуванні камери) автоматично обирається новий базовий кадр. Для статичних зображень Коефіцієнт стискання є нижчим -20:1-30:1. Для аудіоданих застосовують свої методи компресії. Існують такі базові схеми стискання даних. Асиметрична, коли інформацію стискають в автономному режимі. Одну секунду відео стискають на протязі декількох секунд або хвилин потужними паралельними комп'ютерами та поміщають На зовнішній носій. На машинах користувачів встановлюють дешеві плати декодування, що відтворюють мультимедіа-інформацію в реальному часі. Це збільшує коефіцієнт стискання та покращує якість зображення, але користувача, позбавлено можливості розробляти власні продукти мультимедіа.
Симетрична, коли стискання та розгортання здійснюють у реальному часі на машині користувача, що може виробляти власну комерційну продукцію, не виходячи з дому. При цій схемі падає якість зображення (з'являються "змазані" кольори, розфоку-сованість), але з розвитком технології ця проблема відходить.
Змішана, коли розробник готує, відлагоджує та випробовує мультймедіа-продукт на своїй машині з симетричною схемою. Цей напівфабрикат у стандартному форматі надсилається до фірми, де його піддають стисканню на Потужному комп'ютері з вико¬ристанням досконаліших алгоритмів та поміщають на CD*ROM. Через проблеми симетричної схеми, іноді обирають змішану схему. Багато фірм веде розробку алгоритмів стискання відео з більшим коефіцієнтом. В їх основу покладено різні адаптивні варіанти: DCT {Discrete Cosine Transform), DP CM (Differential Pulse Code Modulation), а також фрактальні методи. Алгоритми реалізують апаратно (в вигляді мікросхем), як "firmware" (програми, записаної до ПЗП) або чисто програмно.Різничні алгоритми стискання можуть бути застосовані до комп'ютерної графіки, що дає можливість реалізувати на звичайних ПЕОМ покадровий запис рисованих мультфільмів великої тривалості. їх можна зберігати на диску, а при відтворенні -зчитувати, розпаковувати та видавати на екран у реальному часі, забезпечуючи 24-30 кадрів/с, необхідні для плавного зображення.