Хранители мгновений

АрхивМультимедиа

Миллиарды кадров выходят из телекамер, собираясь в десятки секунд, сотни минут и миллионы часов исходного материала. До того как нарезанные из них фильмы, новости, телепрограммы попадут к зрителю, мириады гигабит нужно где-то хранить.

Миллиарды кадров выходят из профессиональных и любительских телекамер, собираясь в десятки секунд, сотни минут и миллионы часов исходного материала. До того как нарезанные из них фильмы, новости, телепрограммы и "кино про Кипр" попадут на наши глаза, мириады гигабит нужно где-то хранить. К тому же и будущее не за горами, а где будущее, там и архив, в котором хранится прошлое.

Домашнее видеохранилище представляет собой полку с кассетами или дисками. А чем отличается от неё профессиональное решение? С какими вызовами приходится сталкиваться компьютерным системам, взаимодействуя с телевидением и цифровым кино? Почему современная индустрия производства контента не может напрямую использовать методы организации хранения и работы с данными, с успехом применяемые в офисной или промышленной сфере?

На входе

Что же всё-таки попадает в качестве контента в "молотилку" телекомпании?

• Приобретенные у стороннего производителя готовые или подлежащие языковой адаптации фильмы и программы.
• Исходные материалы для программ собственного производства.
• Программы собственного производства.
• Программы, сделанные по заказу производителем.
• Оперативные материалы для выпусков новостей.
• Элементы графического оформления телеканала.
• Анонсы новых телепрограмм.
• Реклама.

У каждого типа телеконтента - своя производственная и архивная судьба, и даже исходный формат может быть различным. Мы знаем, что случайная съёмка на камеру мобильника вполне желанный гость новостных выпусков. Высококачественные фильмы, приобретенные у голливудского киномонстра, могут быть удалены из хранилища, а все их копии - что предусматривается условиями контракта - стерты сразу по его завершении. Собственная продукция, наоборот, хранится долго, так как может ещё продаваться другим телекомпаниям.

Снято!

При производстве профессиональной продукции (кроме новостной) каждая сцена снимается за несколько дублей, чтобы потом можно было выбрать самый удачный из них. Для новостей тоже снимают много материала, из которого потом делают короткие сюжеты. В результате количество отснятого в несколько раз превышает хронометраж будущего продукта. Соотношение между ними может варьировать от 5 к 1 для видеопрограмм и новостей до 10 к 1 для музыкальных клипов. Весь этот материал должен быть отсмотрен, из него выбирают качественные дубли и перемещают их в систему монтажа. Часто загоняют сразу всё, тогда предварительный отсмотр и черновой монтаж совмещаются, но это требует больше места на дисках.

Храним для монтажа

На этапе монтажа к системе предъявляются особенно жесткие требования: большое количество материала хранится в полном разрешении, доступ к нему должен осуществляться в реальном масштабе времени и в несколько потоков. Редактор или монтажёр постоянно обращаются к данным, причём должна обеспечиваться покадровая точность воспроизведения и стопроцентная синхронизация видео и звука. Здесь начинает проявляться существенная разница между подходами к хранению данных ТВ-индустрии и стандартными офисными схемами, требующими централизации и единообразия. Попытка хранить весь контент на одном сервере, к которому открыт доступ нескольким системам монтажа, да ещё и с использованием этого сервера в качестве основного офисного и редакционного ресурса, обычно не приводит ни к чему хорошему.

При видеопроизводстве работа ведется с файлами больших размеров: час DV-видео занимает около 12 Гб. В течение десятков минут короткий фрагмент программы, содержащий несколько слоев видео и звука, может многократно воспроизводиться с целью уточнения монтажного решения, проигрываться замедленно в прямом и обратном направлении. Естественно, современные монтажные системы предусматривают разнообразные алгоритмы кэширования с использованием оперативной и дисковой памяти рабочей станции, и, конечно, можно переместить всё необходимые для монтажа материалы на монтажную станцию, но "бутылочное горлышко" общего сервера даже в этих случаях будет время от времени давать о себе знать, парализуя работу.

Чтобы избежать перегрузки основного хранилища, можно оборудовать каждую монтажную станцию быстрым и ёмким носителем, не служащим архивным целям, а ориентированным на нужды именно монтажа. В этой роли обычно используются системы DAS (Direct Attached Storage) - устройства, содержащие от 4 до 16 дисков и контроллер, соединенные с компьютером через интерфейсы FireWire или SATA.

В домашних условиях на монтажной станции для комфортной работы с несколькими проектами одновременно стоит выделить минимум 1,5 Тб. Для программного кэширования данных и для хранения исходных видео- и аудиоматериалов целесообразно отвести отдельные диски.

Храним для эфира

Компания, только производящая контент, не формирует программы передач для своих потребителей. Как только появляется короткое и пьянящее слово "эфир" - ситуация меняется. "Эфиром" при этом может быть и кабель, и Интернет, и спутник, и антенна передатчика. Возникает новая сущность - эфирный сервер, с которого последовательность материалов в реальном времени отправляется в эфир.

В принципе, эфирным сервером может стать и простой ПК, оборудованный соответствующим софтом и интерфейсом. Программные решения для организации эфирного сервера плавают в очень широком ценовом диапазоне. Профессиональный софт, помимо собственно воспроизведения, обеспечивает функции оцифровки, каталогизации, учёта прав¹, учёта размещаемой рекламы, выводит дополнительную информацию на экран (логотип вещателя, например), а также помогает автоматизировать смену плейлистов для осуществления беспрерывного 24-часового вещания.

Серьёзные вещательные компании могут использовать "тяжёлые" специализированные решения вроде Omneon MediaDeck GX. Это интегрированный сервер, включающий хранилище, управление системой и видеомодули ввода-вывода. В компактном корпусе помещается до 6 Тб дискового пространства, а видеомодули ввода-вывода и источники питания могут быть заменены без остановки сервера. MediaDeck поддерживает до шести каналов ввода-вывода SD-видео, одновременно обеспечивая файловую передачу по IP-протоколу как для записи, так и для выдачи.

Долго храним

Побывав в монтажных аппаратных, посетив эфирный сервер и засветившись на телеэкранах, материалы отправляются на длительное хранение. Из всех составляющих системы хранения эта - самая медленная.

Одновременно в хранилище могут находиться огромные бобины с широкой лентой для аналоговой системы и мелочь цифровых DV-кассет. В таком архиве огромные средства тратятся на поиск материала и его копирование на современный носитель. Поэтому чаще всего используются специализированные архивные системы на базе ленточных картриджей или кассет². Системы архивного хранения такого типа производят IBM, HP, Quantum, Rorke Data, Sony, StorageTek и Spectra Logic. К примеру, роботизированная архивная система Sony S-PetaSite может хранить от 300 Тб до 1,5 Пб.

Продуманная архивная система не только значительно упрощает работу, но и позволяет сэкономить. Например, в 2007 году телекомпания НТВ, совершенствуя инфраструктуру, приобрела систему хранения IBM 3584, в которой используются картриджи LTO третьего поколения ёмкостью 400 Гб. По оценкам экспертов, за истекшие два года НТВ должна была пополнить свой архив двадцатью тысячами часов видеоматериалов. Хранение такого количества контента на кассетах формата DVCam обошлось бы почти в три сотни тысяч долларов. Картриджи LTO аналогичной общей емкости стоят 80 тысяч долларов, при гарантированной сохранности видеоматериалов до тридцати лет.

По данным Калифорнийского университета в Беркли, в мире работают больше 30 тысяч телекомпаний, чье эфирное время превышает 30 млн. часов в год. Сохранить такую тьму материала раньше не представлялось возможным, поэтому большая часть исчезала в небытии. Сегодняшние технологии уже позволяют вести разговор о сохранении максимального количества контента для будущего, хотя до окончательной реализации этих планов, конечно, ещё далеко.

Собираем систему

Что ж, все исходные элементы у нас есть. Настала пора собирать систему.

Пост оцифровки, или Ingest, представляет собой компьютер с программным обеспечением, позволяющим загонять материал с кассет по интерфейсу FireWire и превращать в файлы, с которыми потом будут работать монтажёры. Ingest-сервер для компании, работающей с DV-качеством, вполне может быть собран на базе быстрого ПК и, например, пакета CaptureBox от PlayBox. Работа с HD-разрешением скорее всего потребует покупки специализированного решения вроде Creator Ingest Server от Optibase. Ещё один вариант - запись при съёмке на карту памяти или на съёмный HDD (а не кассету), тогда мы сразу получаем файлы, готовые для монтажа.

Оцифрованный и каталогизированный материал, в зависимости от назначения, может быть направлен в архив или на станцию монтажа. Здесь мы опять столкнёмся с различиями в требованиях к компьютерным системам по сравнению с обычными, офисными технологиями. Последние, как правило, подразумевают хранение и обработку большого количества небольших файлов. ТВ-технология в фазе производства требует работы с файлами размером от сотни мегабайт до десятков гигабайт и непрерывными потоками видео/аудио от 25 до 400 Мбит/с. В фазе отправки плейлиста в эфир потоки более скромные - от 4 до 6 Мбит/с (SD). Но остановки и задержки воспроизведения категорически недопустимы, так как будут сразу же заметны зрительской аудитории. Рассинхронизация воспроизведения плейлиста может привести к смещению во времени рекламных окон (что чревато немалыми штрафами), которые используют региональные партнеры телекомпании, врезая в них свою рекламу. Добавление на сервер нового материала из архивного хранилища тоже не должно влиять на выдачу программ в эфир.

Концентрация вычислительных ресурсов предприятия в единой точке часто рекомендуется как эффективный способ сокращения расходов на управление системой. В случае ТВ-производства во главе угла должны стоять технологические процессы производства программ и обеспечения бесперебойного эфира, при сохранении надежности системы в целом, ее управляемости и дальнейшего расширения.

В нашем же конкретном случае мы поступим так: разделим систему на три сегмента - производственный, эфирный и архивный.

Если нужно организовать монтажные группы с единым производством (например, при монтаже сериалов), используют решения типа SAN (Storage Area Network), представляющие собой специализированную высокопроизводительную сетевую структуру (к примеру, на основе 10-гигабитного Ethernet), рассчитанную на одновременную интенсивную работу с видеоданными десятков и даже сотен пользователей. В домашних условиях увлечённому "кинопромышленнику" могут оказаться полезными устройства NAS (Network Attached Storage), получающие всё большую популярность благодаря простоте подключения к локальной сети и настройки. Производительность массовых устройств NAS недостаточна для серьёзной профессиональной работы, но ситуация быстро меняется.

Если в телекомпании есть отдел, производящий графическую продукцию, можно создать отдельный файл-сервер и для этого участка. Эти работы можно совместить с организацией рендер-фарм (кластера для просчёта больших проектов 3D-графики) для ускорения просчёта сложных задач.

Подразделения, отвечающие за эфир, живут своей жизнью. При подготовке программ сотрудники обращаются к базам данных, проверяют наличие программ, поступление запланированных материалов. Им нужен доступ ко всем хранящимся в компании материалам в режиме чтения. Здесь нет никакого монтажа, это просто воспроизведение готового материала с сервера, причем большая часть работы делается заранее, за несколько дней, недель, месяцев до эфира.

Самая большая суета - у группы новостей. Неиссякаемый поток нового материала, поиск в архиве, повторное использование одних и тех же кадров для анонсов и перекрестных упоминаний определяет повышенные требования к надежности системы. Зачастую новостной сюжет может формироваться в режиме онлайн - сервер уже начал воспроизводить его начало, а конец сюжета ещё не собран. Так что не стоит удивляться, если в эфир попадает сюжет без звука, графики или видео - не успели. У новостей есть свое качество, помимо технического, - качество своевременности, вовлечённости. Срок, отпущенный на подготовку материалов, крайне мал, в изготовлении сюжета может участвовать несколько человек или производственных групп: одни работают с архивными материалами, другие монтируют свежее видео, третьи быстро создают оперативную графику, четвертые пишут закадровый текст, а читать этот текст может кто-то ещё. В наиболее "горячих" случаях материал может появиться в эфире в упрощённом варианте и лишь постепенно, к вечеру, обрастет "красивостями". Именно для таких случаев создаются системы вроде Avid HD News line (совместная разработка Avid и Sony), которые поддерживают формат XDCAM в SD- и HD-версиях и будут работать с видеокамерами XDCAM EX.

Чтобы оптимизировать работу всей телекомпании, создают подсистему, изготавливающую и хранящую копии низкого разрешения архивных и новых материалов. Работать с такими легкими копиями можно на любом офисном компьютере, по любой сети и даже организовывать доступ извне через Интернет. После подготовки листов монтажных решений редактор отправляет их на отдельную машину, где автоматически (или с участием монтажёра) происходит сборка сюжетов в полном разрешении.

В чем преимущество такого, казалось бы, нелогичного "дробления" ресурсов? Для подготовки качественной графики могут потребоваться материалы Full HD или даже разрешения 2К. Это объёмные материалы, но их немного, работа с ними идёт относительно медленно. Для монтажа собственных программ или новостей используется DV, HD-видео и другие форматы, этого контента много, и обрабатывается он быстро. Готовые фильмы и передачи для эфира могут быть упакованы с применением тяжелой компрессии MPEG4 и относительно небольшим потоком (5–8 Мбит/c). Таким образом, разные подразделения решают задачи, технологически и идеологически иногда противоречащие друг другу. Разделение специализированных ресурсов хранения контента между структурными подразделениями повышает надежность системы и позволяет каждому работать в своём ритме, не мешая коллегам. Фактически мы создали несколько взаимодополняющих друг друга сетей и хранилищ, рассчитанных на разные скорости передачи данных, на разные типы данных и использующих разные технические решения для хранения данных, но объединённых одной многосоставной целью - накоплением, учетом, обработкой и долговременным хранением контента.

Контроль качества

Помимо художественной, исторической или научной ценности добытого контента, у него есть ещё и техническое качество. Вопрос контроля качества по всей цепочке - один из важнейших. Аналоговая эра подходит к концу, и многочисленные автоматизированные системы сегодняшнего дня, встроенные как в железо, так и в софт, помогают загонять параметры видео и звука в требуемые рамки.

Цифровая технология гораздо более критична к превышению предельных уровней сигнала. Цифровое копирование "один в один" позволяет не беспокоиться: копия будет точно соответствовать оригиналу. Но если в процессе участвует некое редактирующее ПО, достаточно чуть превысить уровень звука, и перегруженный оцифровщик выдаст сплошной хрип, так как для него не существует сигнала, чей уровень превышает 100%. Известным феноменом цифрового времени стало постепенное снижение уровня звука от записи к записи из-за того, что некоторые не уверенные в своих силах операторы боятся перешагнуть 100-процентный порог и получить искажения сигнала. Каждый "чуть-чуть" снижает уровень звука с помощью ПО, что со временем может привести к невосполнимым потерям. Интересно, что в аналоговые времена случалось обратное: зная о способностях магнитной ленты переносить перегрузки, каждый оператор "чуть-чуть" добавлял громкости, чтобы использовать весь диапазон, что приводило к накоплению неустранимых искажений. Цифровые индикаторы и требования, предписывающие ограничивать уровень звука величинами –3 дБ для профессиональной техники и –6 дБ для бытовой, помогают придерживаться оптимальных значений.

Как и полвека назад, только человеческий глаз, вместе с мозгом, в состоянии понять, является ли черный кадр видео браком или творческим решением режиссера. Поэтому до сих пор контент при поступлении в телекомпанию контролируется людьми, а затем многократно проверяется по мере движения по технологической лестнице. Редакторы контента отсматривают фильмы и передачи раз за разом, от начала до конца, в полном разрешении и с качественным звуком, чтобы вынести вердикт: годен или не годен к эфиру.

При контроле в домашних условиях следует помнить, что использование плагинов цветокоррекции влияет на всё изображение, особенно на самые тёмные и светлые места. В монтажное ПО встроены ограничители, которые не дадут выйти за пределы соответствующего ТВ-стандарта, но и не скомпенсируют возникших потерь. Детали в светлых и тёмных частях картинки безвозвратно теряются. При контроле звука можно использовать мониторы ближнего поля³ или наушники. Но надо учитывать, что звук, воспроизводимый аудиосистемой телевизора, может отличаться от оригинала. Чтобы не испытать разочарования, следует проверять звучание своих шедевров на динамиках обычного телевизора.

Техническое качество контента определяется многими параметрами: соотношением напряжений в сигналах, точностью воспроизведения тестовых цветовых и звуковых фрагментов, артефактами компрессии и т.п. Если не отслеживать эти параметры ещё на этапе съёмки и не продолжать это делать вплоть до поступления носителя на полку архива, то неизвестно, что мы будем в итоге хранить.

Вечность и мгновение

Полки с папирусами. Полки с книгами. Полки с кассетами. Полки с... Что дальше? Продолжить последовательность я не возьмусь. Несмотря на явные успехи твердотельных накопителей, до сих пор самым предсказуемым и самым дешёвым носителем остается магнитная лента, а негативы кинопленок могут храниться столетиями.

Одно из главных преимуществ хранения информации в цифровой форме - простота и скорость её сбыта. Организации, производящие контент, предоставляют за плату доступ к своим архивам через Интернет, упрощая процедуры очистки прав. Современные видеопроекты в Сети, которые не запустил только ленивый, тоже служат делу накопления контента, его каталогизации и закладывают основы для нового бизнеса. Но большинство коммерческих проектов направлено на сохранение самых популярных, приносящих наибольший доход видов контента, тогда как для истории порой гораздо ценнее невразумительный кусок с каким-то прибывающим на станцию поездом⁴.

Мгновения, пойманные многочисленными видеокамерами, сливаясь с шедеврами графики и мастерством композиторов, превращаются в телепередачи, фильмы. Контент, претендующий на вечность. Все сильнее соблазн сохранить и каталогизировать его, обретя, возможно, новое качество и изменив мир. Специалисты, проектирующие системы хранения и управления контентом для телевидения, а также те, кто эти системы эксплуатирует, сталкиваются с вызовами, требующими иногда совершенно разного подхода. Будучи ранее наполнено разношерстной техникой, ТВ и цифровое кино всё больше стандартизируется в плане обращения с информацией, используя в основном оборудование, неотличимое от оборудования соседнего банковского офиса. Но на более высоких ступенях организации это сходство теряется: вряд ли руководителю банковского IT-отдела покажется приемлемым создавать отдельные хранилища для разных типов файлов или разных подразделений, что для медиаиндустрии - в порядке вещей.

---

Из еженедельника "Компьютерра" № 20 (784)

1. При составлении сетки вещания, на основе которой и формируется плейлист для сервера и программа телепередач для прессы, необходимо строго учитывать права на приобретенный контент. Количество показов купленного контента регламентировано договором с правообладателем. Система учёта прав не позволяет вставить фильм в сетку, если права на него уже закончились или, наоборот, договор ещё не вступил в силу. [назад]

2. Несмотря на успехи твердотельных накопителей и HDD, главным архивным носителем до сих пор остается магнитная лента. Низкая стоимость, отсутствие электронных компонентов и сложной механики в архивном картридже вселяют уверенность, что информация будет читаема и через много лет. [назад]

3. Мониторы ближнего поля - особым образом сконструированные "колонки", обеспечивающие плоские в частотном и фазовом отношении характеристики воспроизведения звука. Предназначены для излучения звуковых колебаний непосредственно "из динамика", то есть без окраски, привносимой конструкцией помещения. [назад]

4. "Прибывающий поезд" братьев Люмьер. [назад]