Его Величество MPEG II

Стандарты MPEG. Зачем? Почему? Для кого?

Видеоинформация оказалась, пожалуй, единственным из всех типов данных, изначально потребовавшим обязательной компрессии для обеспечения приемлемого соотношения качества и полосы сигнала.

Уже в середине 50-х создателям цветного телевидения пришлось пойти на разного рода ухищрения, чтобы упаковать цветной телевизионный сигнал в стандартную 8-мегагерцовую полосу. Тогда к чересстрочной развертке, использовавшейся в черно-белом телевидении, в SECAM добавили еще и попеременную передачу сигналов цветности.

Активная разработка методов и стандартов сжатия видеоданных началась с появлением цифровых видеосистем. Ведь для качественной оцифровки телевизионного сигнала с граничной частотой 6 МГц необходимо делать как минимум 12 млн. отсчетов в секунду. Поэтому при восьмибитном кодировании сигнала создается поток 100-120 Мбит/с. Для компьютерных систем - это трудно перевариваемый поток (если учесть уровень компьютерной техники 80-х). Поэтому многие фирмы и организации взялись за разработку стандартов сжатия цифрового видео. Так были созданы и H.263, и M-JPEG, и многие другие. Но когда речь идет о современном цифровом телевидении, то здесь подразумевается стандарт MPEG-2, который позволяет при высоком коэффициенте сжатия передавать качественное изображение и звук.

Стандарты MPEG созданы и продолжают создаваться одноименной организацией Motion Picture Expert Group (далее в тексте MPEG означает и название стандартов, и название организации). MPEG входит в подкомитет Международной организации по стандартизации (ISO). Эта группа, как и большинство других современных мировых институтов стандартизации, весьма виртуальна. Работу над стандартами проводят эксперты, находящиеся в самых разных странах, и повседневным средством общения служит электронная почта. Основные решения и постановка новых задач проводятся на заседаниях (уже реальных) MPEG, на которые эксперты собираются обычно три раза в год (иногда чаще).

О стандарте MPEG-2 как основе цифрового телевидения и пойдет речь. Для понимания тенденций развития методов сжатия живого изображения небезынтересны и стандарты MPEG-1 и MPEG-4,7, о которых мы тоже расскажем.

MPEG-2: Success Story

Весьма интересна и поучительна история создания MPEG-2. В 80-х годах шли активные дебаты по принятию стандарта аналогового телевидения высокой четкости (ТВЧ, HDTV), который, хотя и был принят, распространения не получил. Одна из главных причин этого заключалась в том, что разработчики не могли отказаться от совместимости с обычным телевидением и не хотели переходить к цифровым технологиям.

Тем временем, интересы многих компаний стали сосредотачиваться вокруг цифровых видеотехнологий. И малоизвестный, но напористый итальянец по фамилии Черильоне убедил Хироси Ясуду, возглавлявшего тогда JPEG (Joint Photographic Experts Group, входящая в тот же подкомитет ISO, что и MPEG), помочь в создании группы, которая бы занималась разработкой стандартов сжатия подвижного изображения.

JPEG к этому моменту уже приняла одноименный стандарт сжатия неподвижных изображений и собиралась распространить его на подвижные изображения. Сделать это предполагалось очевидным образом: сжимать "по JPEG" каждый отдельный кадр видео. Так появился стандарт M-JPEG (Motion JPEG). Но два его существенных недостатка - невысокий коэффициент сжатия (не более 40:1) и отсутствие стандарта для компрессии звука - не дали ему получить широкое распространение.

Итак, группа Черильони под эгидой ISO была сформирована в 1988 году. В 1990 году на нее была возложена официальная миссия разработки стандартов для кодирования подвижного видеоизображения и сопутствующей информации для записи и считывания с цифровых носителей. С этого же времени она получила название MPEG, в котором подчеркивались и общность, и противоположность с родственной JPEG. Отметим, что MPEG во многом опиралась на разработки JPEG. Так, метод кодирования I-кадров в MPEG-1 и 2 практически совпадает с методом сжатия JPEG.

Почему же MPEG смогла победить конкурентов и утвердить свой стандарт? Ведь в то время кроме M-JPEG параллельно продвигались еще не менее интересные методы компрессии видео.

Скорее всего, своей победой стандарты MPEG обязаны грамотной политике руководства группы и личным качествам самого Черильоне. Во-первых, MPEG сразу начала искать альянсы с крупнейшими мировыми компаниями, которые могли бы поддержать будущие стандарты. Во-вторых, MPEG взяла курс на создание независимых стандартов.

На первый взгляд, эти два стремления несколько противоречат друг другу, но их сочетание дало свои плоды. Так, к моменту окончательного утверждения MPEG-1 ряд производителей уже предлагали на рынке программные и аппаратные средства для его реализации. Другой пример: уже в начале 1998 года японская Toshiba объявила о выпуске чипа-кодека для еще не утвержденного (!) MPEG-4.

Кстати, еще одним секретом успешной деятельности MPEG является строгое следование графикам работы над стандартом. Но вернемся к началу.

В 1988 году молодая и немногочисленная группа экспертов взялась за разработку формата хранения видеоинформации на CD-ROM и ее воспроизведения со скоростью около 1,5 Мбит/c. Поддержку оказала голландская фирма Philips (создавшая ранее технологию цифровых оптических дисков), которая и впоследствии играла в деятельности MPEG немалую роль. Постепенно MPEG из небольшой группы экспертов стала влиятельной организацией, в которой были представлены интересы десятков компаний. Среди них - производители телевизоров, компьютеров и микросхем, телевизионные и телекоммуникационные компании. Принятие MPEG-1 прошло успешно. В 1996 году стандарт получил престижную премию "Эмми". В том же году в Китае было продано 2 млн. декодеров MPEG, в следующем - 4 миллиона.

Вслед за MPEG-1 группа приступает к работе над MPEG-2, который задумывался как стандарт для передачи (а не хранения и воспроизведения, как MPEG-1) в цифровом виде телевизионного изображения. Примерно в это же время начинает прорабатываться и MPEG-3, который предназначался для кодирования сигналов HDTV. Позже он вошел в MPEG-2.

MPEG-2 в основном сформировался в 1992-1993 годах. Очень важной оказалась победа, которую одержал MPEG-2 над разработкой, предложенной AT&T. По признанию экспертов, хотя качество варианта AT&T в чем-то даже превосходило MPEG-2, все-таки последний был более прост и дешев в реализации. Отчасти, победе группы MPEG сопутствовал тот факт, что некоторые ее члены участвовали и в проекте AT&T. Поэтому наиболее рациональные идеи американского проекта перекочевывали в MPEG. Если до 1994 года MPEG имела влияние в основном в Европе и Азии, то победа над AT&T, а также над интересными разработками отдельных изобретателей (Woo Paik из General Instrument, Jae Lim из Массачусетса) открыла для MPEG богатый американский рынок. Немаловажным фактором стало и удачное подключение MPEG-2 к созревавшей технологии DVD. Хотя весьма странным может показаться тот факт, что для кодирования звукового сопровождения в DVD-ROM предпочтение почему-то отдается Dolby AC-3 вместо популярного MPEG Layer 3.

После утверждения MPEG-2 как стандарта ISO во второй половине 90-х были инициированы разработки MPEG-4 и MPEG-7. Работа над MPEG-4 началась, скорее всего, по той причине, что MPEG-2 все-таки мало приспособлен для использования в Интернете. К тому же в секторе "видео для Интернета" активно стали напирать молодые "стартапные" компании типа RealNetworks. В борьбу ввязалась и старушка Apple, агрессивно продвигающая в качестве интернетовского стандарта в целом неплохой QuickTime. Появление идеи MPEG-7 также продиктовано желанием занять нишу в "осетеняющемся" мире. Ведь если технологии поиска текстовой информации в Интернете уже стали повседневностью, то как искать в Сети нужные аудио- и видеоматериалы - пока не ясно.

Сейчас MPEG-7 только начинает прорабатываться, а принятие MPEG-4, хотя и поддержанного производителями, несколько затянулось, возможно, он будет окончательно утвержден в декабре нынешнего года.

Надо заметить, что MPEG с утверждением своих методов передачи изображения (то есть начиная с MPEG-2) формально нарушила устав ISO, так как он не разрешает разработку стандартов на передачу информации - это компетенция других авторитетных организаций (например ITU). Но победителей не судят.

Анатомия MPEG-2

Когда MPEG-1 был создан, группа приняла решение разработать более мощный стандарт, который можно было бы использовать для передачи полноценных телевизионных программ. Это означало в первую очередь повышение разрешающей способности: MPEG-2 должен был обеспечить разрешение по крайней мере 720х486 точек.

Как и при разработке MPEG-1, большое внимание уделялось преодолению полувекового разрыва между европейской (625 строк, 50 полей [полукадров] в секунду) и американской (525 строк, 60 полей в секунду) телевизионными системами. MPEG-2 не только успешно интегрирует любые системы телевидения (в том числе и HDTV), но и преодолевает разрыв между принципами телевизионного и компьютерного изображения. А это не меньшая пропасть, чем между NTSC и PAL. Главное отличие в принципе развертки: чересстрочная в телевизоре - и прогрессивная (1) в мониторе. Плюс такие мелочи, как разные методы кодирования цвета и разная геометрическая форма пикселя.

Не углубляясь в проблемы перехода от аналогового телевизионного сигнала к цифровому (над чем изрядно пришлось потрудиться экспертам MPEG), будем считать, что на вход MPEG-кодера поступает цифровой поток цветных кадров. Его скорость - 30 или 25 кадров в cекунду для США и Европы/Азии соответственно.

Кадры решают все

Основная идея сжатия MPEG состоит в том, что из всего потока полностью передаются только избранные (опорные) кадры, для остальных же передаются их изменения по отношению к опорным.

На самом деле в подвижном изображении от кадра к кадру в большинстве случаев меняется только его часть. Например, при выступлении диктора в новостях меняется только его мимика. Полная же смена кадра, когда очередной кадр нельзя восстановить как изменение предыдущего (в этом случае проще передать сам кадр), происходит относительно редко. Например, в американских фильмах это обычно 4-5 секунд, в европейских (и особенно советских) - значительно больше.

По этой причине в MPEG-2 определено три типа кадров:

• I-кадры (intra frames);
• P-кадры (predicted frames);
• B-кадры (bi-directional frames).

I-кадры несут полноценное неподвижное изображение и вдобавок используются для построения P- и B-кадров. P-кадры, то есть "предсказуемые", строятся на базе последнего (с точки зрения приемника) принятого I- или P-кадра. Правда, если он сильно от него отличается (например, произошла смена плана), то P-кадр кодируется как I-кадр.

Наиболее сложно восстанавливаются B-кадры или "интерполируемые". Такой кадр может строиться либо как продолжение предыдущего I(P)-кадра, либо как предшественник следующего за ним I(P)-кадра, либо как интерполяция между обоими. Опять же, если B-кадр значительно отличается и от первого, и от второго, то он кодируется как I-кадр.

Все типы кадров группируются в последовательности, показанной на рисунке. Группа из 12 кадров образует так называемую GOP (Group of Pictures). Таким образом, при частоте 25 кадров в секунду, новый I-кадр приходит максимум через 12х(1/25)=0,48 секунды. Вместе с ним восстанавливается полная (в известном смысле) идентичность передаваемого и принимаемого изображения). В связи с тем, что при декодировании для получения B-кадров необходимо уже иметь следующий за ним P-кадр, то при передаче последовательность кадров должна быть такой, как показано на рис. 2.

Рис.2. Типы кадров в MPEG-2.

Кодирование кадров

Рассмотрим более подробно, как кодируются отдельные кадры (рис. 1). Для кодирования цветного изображения используется схема YUV, применяемая в обычном телевещании. То есть изображение раскладывается не по трем каналам цветности (схема RGB), а по двум каналам цветности (2) (U, V) и по каналу яркости (Y).

Рис.1. Последовательность преобразований в MPEG-2.

Изображение в канале яркости - это, по существу, черно-белое изображение (3). Подмечено, что одна из особенностей восприятия изображения человеческим глазом состоит в том, что он обладает большим разрешением (рис. 3) по каналу яркости (Y), чем по каналам цветности (U, V). Поэтому, расслаивая цветной кадр на эти три составляющие, мы можем подвергнуть слои U и V большему сжатию, чем слой Y. Как было сказано в начале, этот принцип был использован еще при создании цветного аналогового телевидения, где U, V передаются не одновременно, а поочередно.

Рис.3. Разрешающая способность человеческого глаза.

I-кадр кодируется как статическое изображение следующим образом. Каждый слой кадра разбивается на блоки размером 8х8 точек и повергается дискретному косинус-преобразованию (ДКП, DCT). ДКП является полностью обратимым преобразованием. По сути ДКП - это частный случай преобразования Фурье для четной функции, когда функция раскладывается только на косинусные гармоники.

Итак, при ДКП вместо значения пикселя (то есть уровня цветности и яркости) в ячейке блока ставится коэффициент ДКП (рис. 4). То есть блок преобразуется в свой двумерный спектр. Как правило, энергетический спектр изображения сосредотачивается в низкочастотных гармониках, поэтому коэффициенты, расположенные ближе к верхнему левому углу, имеют большие значения, чем остальные. Чем меньше соседние пиксели отличаются друг от друга в исходном блоке, тем ближе к нулю значения большинства коэффициентов ДКП.

Рис.4. Дискретное косинус-преобразование (ДКП).

Для пикселей монотонного изображения коэффициенты ДКП равны нулю, за исключением коэффициента в левом верхнем углу, который задает интенсивность изображения.

Полученные коэффициенты квантуются (то есть округляются до некоторой степени 2). Главная задача при этом - увеличить количество нулевых коэффициентов. По сути отбрасываются высокочастотные гармоники. Как показывает опыт, обычно это практически не влияет на качество изображения.

Полученный набор двоичных векторов (коэффициентов) сжимается известным кодом Хаффмана (4). Так формируется сжатый I-кадр, который с известной потерей качества можно восстановить независимо от других кадров.

P- и B-кадры кодируются с учетом их отличия от опорных I- и P-кадров. Поэтому они поддаются более сильному сжатию, чем I-кадры.

При кодировании P-кадра (B-кадры кодируются практически аналогичным образом), он также разбивается на блоки 8х8 и сравнивается с исходным кадром (будем считать, что это I-кадр, хотя может быть и предшествующий P-кадр). Если некоторый блок в кодируемом P-кадре совпадает с аналогичным блоком в опорном кадре, то достаточно указать, что он тот же самый. Другим случаем является нахождение точно такого же блока в опорном I-кадре, но в другой позиции, поэтому вместо блока P-кадра можно указать лишь ссылку на другой блок I-кадра в виде вектора смещения. Остальные блоки кодируются так же, как в случае I-кадра.

Заметим, что если в подвижном изображении часть объектов будет двигаться поступательно (а это бывает часто), то несколько блоков будут закодированы одним и тем же вектором смещения. При последующем сжатии по методу Хаффмана это даст дополнительное увеличение степени компрессии P-кадра.

Звуковое сопровождение

Для кодирования звукового сопровождения может использоваться несколько методов. Это MPEG Layer 3 (наследство MPEG-1), MPEG AAC или Dolby AC-3. Об этих методах сжатия (в первую очередь, о MPEG Layer 3) неплохо рассказано в статье Дмитрия Симаненкова ("Компьютерра" #260). Напомним лишь, что основная идея сжатия, по крайней мере, в MPEG Layer 3, построена на упрощении формы звукового сигнала, которое производится с учетом свойств человеческого слуха и практически не влияет на качество закодированного звука. Это позволяет при потоке оцифрованного и сжатого сигнала 128 кбит/с получить качество звука, близкое к CD Audio.

Надо только добавить, что в MPEG-2 предусмотрено использование не одного (как в MPEG-1), а нескольких звуковых сигналов. Благодаря этому возможно создание эффектов объемного звучания, а также многоязычного сопровождения фильмов.

Мозаика MPEG

Если заглянуть более подробно в MPEG-2, то оказывается, что это целое семейство стандартов. Например, MPEG-2 позволяет использовать в качестве исходных телевизионные сигналы разных систем. Для этого в стандарте введены понятия уровней (level) и профилей (profile).

Табл. 1. Характеристики уровней MPEG-2.

Профиль определяет набор операций по сжатию данных. Различают шесть профилей (5):

• профессиональный (4:2:2 profile, 422P) - высокий с кодированием 4:2:2;
• высокий (high profile, HP) - масштабируемый пространственно и по отношению сигнал/шум;
• пространственно масштабируемый (spatially scalable profile);
• масштабируемый по отношению сигнал/шум (SNR scalable profile);
• главный (main profile, MP) - без масштабирования;
• простой (simple profile, SP) - без B-кадров.

Для каждого из профилей определено до пяти наборов операций. Все профили, кроме профессионального, используют кодирование сигналов цветности по схеме 4:2:0, при котором число отсчетов сигналов U, V по сравнению с сигналом яркости (Y) уменьшено в два раза по вертикальному и в два раза по горизонтальному направлениям. Лишь в профессиональном профиле используется схема 4:2:2, где число отсчетов сигналов цветности в два раза реже, чем для яркости только в горизонтальном направлении.

Кроме профилей, определены четыре уровня:

• высокий (HL);
• высокий 1440 (H1440);
• главный (ML);
• низкий (LL).

Каждый уровень соответствует тому или иному классу телевизионных систем. Например, уровни HL и H1440 предусмотрены для HDTV. Уровень ML соответствует обычному телевидению, а LL так называемому телевидению ограниченной четкости.

Табл. 2. Профили и уровни MPEG-2.

MPEG-2 предусматривает ограниченное число вариантов профиль-уровень (таблица 2), всего их 12. Каждый вариант обозначается сокращением типа MP@ML (главный профиль, главный уровень). Вариант 422P@ML, например, удовлетворяет требованиям к системам доставки сигнала на телецентры и стал основой принятого в 1996 году цифрового телевещания.

Вариант профиль-уровень является основной характеристикой конкретного декодера. Все декодеры MPEG-2 должны быть совместимы вверх, то есть декодер должен декодировать не только "родной" поток, но все потоки с меньшим уровнем и/или профилем.

MPEG-2 включает синхронизацию изображения, передачу сопровождающей текстовой информации, помехоустойчивое кодирование, защиту телепрограмм от нелегального просмотра и др. Благодаря этому MPEG-2 в первую очередь стал активно использоваться в спутниковом телевидении.

К MPEG-2 от MPEG-1

Исторически MPEG-1 - одна из первых удачных попыток создания стандарта сжатия видеоданных. Он используется до сих пор, а появившаяся спецификация Layer 3 сжатия звукового сигнала - сегодня один из самых хитовых стандартов в Интернете.

Именно в MPEG-1 были впервые использованы 12-кадровые группы GOP. Только Y-слой изображения, в отличие от U, V-слоев, разбивался на блоки не 8х8, а 16х16 точек. Однако и те, и другие блоки подвергались дискретному косинус-преобразованию и квантованию. Вообще, ДКП, несмотря на то, что использовалось еще в системах связи американской армии во время вьетнамской войны, переживало в середине 80-х подлинный бум. Такая же судьба позже постигла и вейвлет-преобразование, так что его даже предполагалось использовать в MPEG-2. Однако в MPEG-2 сохранили ДКП.

MPEG-1 обеспечивал разрешение 352х240 точек, что по качеству близко к VHS, используемому в бытовой видеотехнике. Таким образом, при переходе от MPEG-1 к MPEG-2 надо было не просто повысить качество изображения (в первую очередь, его разрешение). MPEG-1 работал с идеальным цифровым видеопотоком (стандарт цифрового телевидения CCIR-601). А для использования в цифровом телевидении требовалось кодировать чересстрочный сигнал, который использовался почти во всех телевизионных студиях. Это означает, что сначала приходят нечетные строки одного кадра, а затем - четные. Как кодировать такое изображение?

Можно совместить в один кадр четные и нечетные строки соседних полукадров, но для подвижного изображения идеально их совместить невозможно. Более того, нечетные строки могут принадлежать одному кадру (в смысле съемки), а четные - другому. Другой путь - кодировать отдельно поля четных и нечетных строк - также неприемлем: добиться высокой степени сжатия будет невозможно. Поэтому разработчики MPEG-2 все-таки создали адаптивный к движению объектов метод построения кадров из полей (так называемая компенсация движения).

MPEG: продолжение следует

После принятия и распространения MPEG-2, группа MPEG приступила к работе над MPEG-4. Это скорее не развитие MPEG-2, а расширение сферы влияния самой MPEG. О технических подробностях MPEG-4 говорить нет смысла, так как он еще не утвержден в качестве стандарта (утверждение намечено на декабрь 1998 года). Укажем только его основные черты.

MPEG-4 предназначен в основном для использования в мультимедийных приложениях, использующих для коммуникации узкие каналы связи, к примеру, видеоконференции, проводимые при помощи Интернета или мобильной связи. Требования к качеству изображения здесь ниже, главное - достичь большой степени сжатия изображения и звука. Поэтому MPEG-4 оперирует с небольшими кадрами: 352х288 (формат SIF) и 176х144 (формат QSIF). Частота смены кадров также невысока: от 0 до 15 кадров/с.

Для повышения степени сжатия разработчики сделали упор на объектную идеологию. Видеопоток расслаивается на объекты, в качестве которых могут выступать фон, подвижные объекты на экране, текст, звук. Каждый объект кодируется отдельно, за счет чего, кстати, достигается не только высокая степень сжатия, но и привносится интерактивность. Пользователь получает возможность манипулировать объектами, например, изменять фон изображения, щелчком мыши получать информацию об объектах и т. д.

Еще одна изюминка, благодаря которой возможна высокая степень сжатия, - так называемое гибридное кодирование (SNHC = Synthetic/Natural Hybrid Coding). То есть в зависимости от структуры объекта (аудио или видео), он может либо кодироваться таким, какой он есть (natural), либо описываться идеальными примитивами (например, геометрическими фигурами для изображения). В итоге аудиовизуальный сигнал в MPEG-4 можно передавать в реальном времени потоком не более 48-64 кбит/с. При этом звук возможно уместить в 2-4 кбит/c!

Наконец, в MPEG-4 для сжатия кадров вместо ДКП, вероятно, будет использоваться вейвлет-преобразование (см. "Компьютерра" #236). Оно имеет ряд преимуществ, главное из которых - возможность более сильного сжатия при отбрасывании высокочастотных составляющих.

В принципе MPEG-4 может быть использован и для передачи в широкополосных каналах. Качество изображения, безусловно, будет выше. Однако вряд ли MPEG-4 вытеснит MPEG-2, так как перед ним ставились совсем другие задачи.

Только начинает обсуждаться стандарт MPEG-7. Его основная цель - введение некоего метаязыка для описания аудиовизуального контента. Если этот проект будет успешно реализован, то в Интернете станет возможным поиск не только текстовой, но и мультимедийной информации.

Кстати, забавные дебаты возникли о том, какой номер должен получить новый стандарт. Так как созданные к этому моменту стандарты имели номера 1, 2, 4, то следующим, по двоичной логике, должен быть номер 8. Однако, после споров, логику решили отбросить и назвать новый стандарт MPEG-7. Просто так!

Табл. 3. Стандарты MPEG.

Заключение

Знакомство с MPEG-2 дает много информации к размышлению. Стандарт не является каким-то принципиально новым открытием в науке и технике. Основное его достоинство не в новизне, а в стройности и логичности. MPEG-2 является результатом совместной деятельности сотен специалистов из самых разных стран. Тем не менее, MPEG-2 удержался от крайностей. Он объединил, а не разделил интересы промышленных групп.

Сегодня открытые стандарты MPEG-2 приняты не только на идейном, но и на промышленном уровне, уже несколько лет используются в реально выпускаемой продукции. Поэтому без MPEG-2 едва ли мыслимо будущее (по крайней мере, ближайшее) цифрового телевидения.

5 Существует также Multiview profile (MVP).