Борис Морозов ("СофтЛаб-Нск") о виртуальных студиях

АрхивИнтерактив

Научный сотрудник Института автоматики и электрометрии СО РАН и генеральный менеджер новосибирской компании "СофтЛаб-Нск" рассказывает о виртуальных студиях "Фокус".

Борис Морозов

- Что такое виртуальная студия?

- Результат работы виртуальных студий сейчас хорошо известен практически всем, кто смотрит кино или телевизор: это живые персонажи в "компьютерной" обстановке - искусственных декорациях, изображение которых просчитывается на компьютере, а не снимается "вживую". Примеров масса - это почти все прогнозы погоды на ТВ, множество спецэффектов в кино и многое другое. В частности, обстановку могут дополнять и "компьютерные" персонажи, также анимируемые с помощью компьютера.

То, что обычно имеют в виду "телевизионщики" под словосочетанием "виртуальная студия", - это система реального времени, позволяющая совмещать "настоящую" и виртуальную действительность в реальном времени. Это отличает такую технологию от обычного пост-процессинга в кино или рекламе, когда съёмка и совмещение реальностей сильно разнесены во времени.

Выглядит съемка с помощью виртуальной студии следующим образом. Ведущего снимают на однородном фоне (обычно зеленом или синем), а потом "накладывают" на это изображение смоделированный фон, в итоге мы видим человека в другом помещении, с декорациями и объектами, которых требует сюжет передачи.

- То есть принцип работы "Фокуса" похож на традиционную технологию "хромакей"?

- Принцип работы не то что похож, а он как раз и использует этот самый "хромакей", или на профессиональном сленге - "кеинг". Суть технологии проста - разделение картинки на "фон" и "актёра" по цвету. "Фон" при этом делается прозрачным для замещения изображения каким-то другим произвольным изображением, а "актёр" остаётся самим собой. На самом деле такое отделение оказывается отнюдь не простым, так как на границах цвета фона-актёра смешиваются и требуется специфическая цветокоррекция для удаления разноцветных "каёмок", а кроме того, идёт борьба с бликами, шумами и т.п.

Мы придумали свой подход и разработали собственные алгоритмы для "кеинга", ориентированные на суровую российскую действительность в региональных студиях. Локальным телеканалам приходится обходиться зоопарком видеокамер, плохими условиями съёмок, маленькими бюджетами. Наша технология действительно оказалась уникальной, так как давала приемлемый результат в очень разных условиях и при этом была крайне недорогой. Аналогов нашим разработкам лет пятнадцать не наблюдалось. Сейчас производительность компьютеров возросла настолько, что схожие результаты достигаются чисто программными способами (у нас использовалось собственное "железо"). Я уже много лет наблюдаю попытки изобрести другие методы разделения изображений на "актёров" и "фон", но ничего сравнимого по возможному качеству финального изображения так ни у кого и не придумалось.

Но у виртуальных студий "Фокус" далеко не только "кеинг" можно назвать уникальным. Целый набор оригинальных (и, конечно, в чём-то компромиссных) технологических решений позволил нашим студиям ценой от 10 000 у.е. на выходе давать "картинку", трудноотличимую от таковой у виртуальных студий за 1 000 000 у.е.

Так как по своей сути виртуальные студии построены на обмане зрителя (создании иллюзии), то мы просто стали "обманывать" ещё сильнее, чем обычно. Например, вместо чрезвычайно дорогих (и самих по себе, и в смысле эксплуатационных расходов) трекинговых систем для съёмочных камер мы использовали технологию виртуальных камер. Это такой процесс, когда реальная камера абсолютно статична, а "прокеенное" изображение с неё помещается внутрь трёхмерной сцены в нужное место в качестве плоской текстуры. Этот принцип бывает трудно объяснить неискушённому читателю. Получается что-то вроде живого "аватара" в компьютерной игре: вместо компьютерного персонажа подставляется изображение живого актёра в соответствующем масштабе.

Оказывается, что при этом доступно достаточно широкое поле "точек зрения" на компьютерную сцену, не разрушающих при этом иллюзию трёхмерной реальности (когда не видно, что актёр-то - плоский!). Зато открывается множество возможностей для создания спецэффектов, интерактивного взаимодействия с компьютерными персонажами и многое другое, что очень затруднено в традиционной архитектуре виртуальных студий с оверлейным (пиксель-в-пиксель) наложением живых и компьютерных изображений. Так, например, многие наши пользователи, вещая из крохотных реальных студий, создают у зрителя иллюзии огромных залов, сложнейших декораций.

- Видит ли ведущий анимированную сцену?

- Это вопрос скорее к финансам, чем к собственно "Фокусу". На базе "Фокуса" можно построить такую систему, только она будет раз в тридцать дороже. Обычно пользователи "Фокуса" применяют мониторы с зеркальным отображением анимированной сцены для ведущего (люди привыкли видеть себя в зеркале, иначе - путаются). Этого оказывается вполне достаточно для большинства типовых применений. А для особых случаев существует и масса хитростей, не таких высокобюджетных, как "Origami".

- Насколько сложно управлять "Фокусом"? Может ли с ним справиться неспециалист?

- В идеологию "Фокуса" заложено умение работать под управлением как раз совсем-совсем неспециалистов. У нас есть собственный инструментарий для создания пользовательских интерфейсов под конкретные задачи. Например, для съёмки прогноза погоды зачастую достаточно всего четырёх-пяти кнопок - вот и всё управление. Чтобы ошибиться, надо сильно постараться. Совсем не так, как за реальным телевизионным микшером с десятками кнопок и переключателей. Причём у нас всё наглядно, "кнопки" и "движки" на тач-скрине, с конкретными превью и подписями.

Другое дело - создание виртуальных сцен, анимации камер и объектов, программирование интерфейсов. Здесь в принципе сама задача требует определённого уровня понимания и умения, а чтобы виртуальная сцена выглядела красиво, необходим соответствующий уровень дизайна. Мы предоставляем достаточно богатый инструментарий для этого (3D Studio MAX, MAYA, HotActions, Java), но главное, конечно, остаётся за людьми.

- Какая техника используется для обработки изображения?

- Обычный PC, но в специально подобранной конфигурации. Мы часто работаем "на пределе возможностей", так как до универсального решения задачи генерации визуальной обстановки в реальном времени ещё очень далеко. Тут сказываются и ограничения производительности, и применяемая сегодня алгоритмика; сама задача способна "скушать" любой нынешний суперкомпьютер. Так что во главе угла компромисс "цена/качество". А мы как раз ориентируемся на сегмент реальных производителей, отрабатывающих затраты.

Для ввода-вывода и обработки видеосигналов используются специальные платы, как собственного производства, так и сторонних производителей (в специальных случаях). Синтез 3D изображений обычно реализован на графических акселераторах от NVIDIA как наиболее адекватных задачам.

Телевизионной техники для работы с нашими виртуальными студиями нужен минимум - камеры, мониторы. Работать можно и всего с одной камерой (и при этом иметь неограниченное число виртуальных камер). Но для съёмок разными планами можно ставить до шести камер (по заказу делали систему и на восемь камер).

- С какой задержкой система выдает готовое изображение?

- Как правило, пять кадров. Но это зависит от конкретной конфигурации и приоритетов. В системе предусмотрена встроенная многоканальная задержка звука для общей синхронизации потоков.

- Что, по-вашему, будет происходить в этой области дальше?

- Виртуальные студии в разных видах уже завоевали себе достаточно обширную нишу на телевидении, и она будет только расти, так как компьютерные технологии непрерывно дешевеют, чего никак не скажешь о строительстве реальных студий и декораций. Правда, в российских условиях нередко побеждают именно высокозатратные, но технически малоосмысленные решения. В наступающей эре цифрового HD и уже даже 3D-вещания трёхмерная графика - необходимый атрибут. Вообще графическое оформление эфира необратимо переходит к 3D-технологиям создания изображений. Даже если зритель далеко не всегда может распознать, что это именно техника 3D. Имеются в виду, например, традиционные системы титрования, инфо-каналы и другое.

Всё большее применение находят и интерактивные технологии, когда реальные актёры, ведущие взаимодействуют с какими-либо виртуальными объектами, персонажами, управляют демонстрируемым контентом с помощью виртуальных интерактивных средств. Такого рода продукты уже и сейчас популярны (в основном не у нас). Это интерактивные реконструкции реальных событий: спортивных матчей, катастроф, инцидентов, технологий. Причём используемые модели становятся всё более реалистичными и наглядными. Всё идёт к тому, что зрителю будет всё сложнее и сложнее отличать реальную съёмку от виртуальной, реальные объекты в кадре от синтезированных.

"Что наша жизнь? Игра...". Так что не только наши детки, но и все ТВ-зрители потихоньку вживаются в компьютерные игры. Но сам я, правда, несмотря на то что связан с этой областью из-за специфики работы, телевизор практически не смотрю.