Весь фокус в фокусе

Придуманный в Стэнфорде фотоаппарат делает специальные "четырехмерные" фотоснимки, из которых путем вычислений можно получать обычные цифровые отпечатки, меняя точку фокусировки уже после съемки.

Несмотря на многочисленные недостатки и дороговизну, цифровая фотография имеет и несомненные достоинства. Удобство хранения, просмотра и размножения цифровых снимков заставляет все больше и больше людей отказываться от традиционных аппаратов. Для любителей новых технологий ученые Стэнфордского университета приготовили еще один сильный довод.

В этом году группа из шести исследователей - Рена Н’ (да-да, именно такая фамилия, он держит фотокамеру на снимке справа), Марка Левоя, Мэтью Брэди, Марка Хоровитца, Пата Генрегана и основателя студии "Дюваль Дизайн" Рене Дюваля - предложила работающий прототип "фотокамеры будущего". Новый фотоаппарат, утверждают разработчики, позволяет делать специальные "четырехмерные" фотоснимки, из которых путем вычислений можно получать самые обычные цифровые отпечатки, но точку фокусировки можно менять уже после съемки.

Звучит невероятно? Однако это истинная правда. Более того, с такими снимками можно ознакомиться на сайте разработчиков. Снаружи чудо-камера выглядит точно так же, как и обычная цифровая, и все отличие заключено в оптической системе и алгоритме работы встроенного программного обеспечения. Группа экспериментировала со специально переделанной среднеформатной камерой Kodak DCS 645M, используя 16,6-мегапиксельную цифровую матрицу Kodak KAF-16802CE. Выбор столь дорогого образца разработчики объясняют просто: чтобы получить доступ к матрице, нужна была модель со съемной задней панелью. Такая конструкция бывает только у профессиональных фотокамер, в которых предусмотрена возможность замены не только объектива, но и "задника" с пленкой или CCD-матрицей.

Переделка оптической системы состоит в том, что между объективом и полупроводниковым сенсором в фокальной плоскости помещен массив микролинз (в опытном образце он имеет размер 292х292 микролинзы), каждая из которых формирует свой кусочек изображения на полупроводниковой матрице. Суммируя данные по определенному закону, можно получать фотоснимки, сфокусированные на разных точках в пространстве. Кроме выбора точки фокусировки, эта технология позволяет получить снимки с большой глубиной резкости и, более того, произвольно менять ее. Управлять размером диафрагмы нет необходимости, она всегда должна оставаться полностью открытой, что не только уменьшает время выдержки (а значит, позволяет избавиться от смазанности снимка из-за дрожания рук), но и улучшает отношение сигнал/шум, так как на матрицу приходит достаточно света.
Как было сказано, на снимке получается массив кусочков изображения, каждый из которых формируется отдельной микролинзой. Для этого разработчикам пришлось решить немало технологических проблем. Одна из них состояла в том, что при изменении точки фокусировки объектива (а он, разумеется, остался прежним) изображения, формируемые микролинзами на полупроводниковой матрице, могут либо уменьшаться, либо, наоборот, наползать друг на друга. Чтобы этого не случилось, матрицу с линзами расположили в фокальной плоскости объектива, сдвинув CCD-сенсор назад, для чего пришлось перестроить весь "регистрирующий" узел фотокамеры ("задник"), а объектив зафиксировать в положении "бесконечность".

После съемки очередного кадра в дело вступает процессор фотокамеры, который из массы микроизображений формирует единственное, суммируя по определенному правилу информацию, полученную сенсором от каждой микролинзы. То есть контроль над изображением фактически забирается у оптической системы и отдается программе. В результате картинка на матрице уже не является конечной, это как бы массив информации об исходном изображении, в котором координаты конкретной точки указывают, откуда и под каким углом пришел луч, а яркость точки - соответственно яркость луча. О цвете точки мы не говорим, так как CCD-матрица представляет собой массив триад, где каждый полупроводниковый детектор имеет фильтр своего цвета. То есть каждая линза - это одна точка будущей фотографии, а координаты реальных точек детектора под микролинзой означают угол, под которым луч падает на микролинзу. Таким образом, разработчики говорят о четырехмерности имеющегося массива информации, поскольку каждая точка имеет четыре параметра: координаты X и Y на матрице, яркость и координаты линзы. Притом надо понимать, что никакая точка снимка уже не хранит информацию о конкретной точке исходного изображения.

Можно сказать, что "внутри" одного такого изображения хранится как бы "стопка" фотографий с разрешением хоть и ниже исходного разрешения матрицы (теперь оно равно размеру матрицы микролинз[Разработчики замечают, что, жертвуя высокой резкостью итогового изображения, можно получать снимки и более высокого разрешения, как это делается в современных сканерах]), но каждое из которых сфокусировано по-своему. Пространство сцены как бы нарезано на вертикальные слои - подобно множеству изображений, полученных одновременно при разной настройке фокуса объектива и закодированных внутри снимка. Размер "стопки" пропорционален количеству засвеченных точек под каждой микролинзой. Однако это не значит, что каждая такая точка что-то значит сама по себе. Чтобы увидеть любую фотографию из "стопки", необходимо смотреть на записанное изображение через такую же оптическую систему с микролинзами, какая использовалась при начальной экспозиции. Настраивая фокус объектива "просмотрщика", мы сможем выбирать любую фотографию из "стопки". То есть каждая микролинза формирует только одну точку результирующего изображения на основе всех находящихся под ней точек (рис. 2).

"Фокус" же технологии в том, что цифровая камера может просто вычислить исходную фотографию, не прибегая ни к каким дополнительным объективам для просмотра. Для этого достаточно использовать математическую модель "просмотрщика", коей в нашем случае является обратное (нормированное по конкретной частоте) преобразование Фурье для пространственных частот[Появление тех или иных форм и фигур в изображении; чем меньше фигуры, тем выше их пространственная частота. Можно представить эту сущность в виде решетки, размер ячеек которой обратно пропорционален ее (решетки) пространственной частоте]. В использовании этого приема для выбора зоны фокусировки и состоит описываемое изобретение.

Задавая начальный параметр в виде нормирующей частоты (по сути дающей нам фокусное расстояние) и суммируя информацию со всех точек, можно получить фотографию, настроенную на резкость именно там, где нужно. Однако она будет иметь очень маленькую глубину резкости (ведь это только одна фотография из "стопки"). Поэтому, чтобы получить еще и заданную глубину резкости, необходимо просуммировать несколько вычисленных таким образом фотографий, имеющих близкие, но все же разные настройки резкости (рис. 3).

Особенно впечатляет, когда это делается для динамичных фотографий, вроде разбивающейся чашки или всплесков воды. Эта технология приносит и другие бонусы, один из которых давно используется в спектроскопии. Например, даже если с должной резкостью сфотографировать плохо освещенное изображение (положим, текст), то из-за шумовых помех разобрать его на снимке будет нельзя. Суммируя данные со всей матрицы, удается сильно поднять уровень полезного сигнала, пусть даже и ценой некоторой "расфокусировки".

Итак, цифровой становится не только пленка, но и оптика. Наверное, это можно даже назвать следующим этапом развития фотографии. Впрочем, теория "четырехмерных" снимков появилась давно. Еще в 1983 году японские ученые Ишихара и Танигаки предложили располагать микролинзу над каждым, как у них сказано, "фоточувствительным регионом". Тогда это делалось не ради повышения резкости фотографии, а для увеличения чувствительности при астросъемках. В 1992 году Е. Адельсон и Дж. Ван разработали камеру, действующую на этом принципе. По конструкции аппарат шестерки изобретателей практически повторяет камеру Адельсона и Вана (но та была пленочной, использовала вдвое больше линз и предназначалась для фотографического измерения расстояний) и по сути является очередным эволюционным шагом на долгом пути фототехнологий от аналога к цифре, где не только пленка заменяется ячеистым сенсором, но и изображение строится путем вычислений, недостижимых или трудно достижимых традиционным аналогово-оптическим методом.  

- Из журнала "Компьютерра"