Одни из самых востребованных возможностей современных смартфонов связаны с использованием встроенных камер, и речь уже далеко не только о селфи и снимках прочих жизненных событий, но и использовании камер в средах дополненной и виртуальной реальности, а также других современных сферах применения. Изображение с камер обрабатывается специализированным процессором Image Signal Processor (ISP), который играет важнейшую роль в качестве изображения, скорости фокусировки и множестве дополнительных возможностей.
Компания Qualcomm анонсировала некоторые из возможностей их Qualcomm Spectra ISP второго поколения, имеющего расширенную функциональность для применения в дополненной и виртуальной реальности, а также предлагающего улучшенное качество изображения. Возможности Spectra ISP включены во все смартфоны, основанные на процессорах Qualcomm Snapdragon.
Самой интересной из возможностей Spectra следующего поколения стала расширенная поддержка технологии измерения глубины (depth-sensing technology). Подобные технологии известны по специализированным продуктам (проект Google Tango, контроллер Microsoft Kinect и другие). Они позволяют получать трёхмерные карты снимаемого пространства, что используется, к примеру, в играх и приложениях расширенной и дополненной реальности. Информация о глубине (расстоянии) может использоваться для измерения размеров объектов и отслеживания их положения в пространстве, что полезно в том числе для отслеживания действий пользователя в приложениях виртуальной реальности без необходимости применения специальных сенсоров движения.
Сигнальный процессор Spectra ISP следующего поколения будет поддерживать два метода измерения глубины: пассивный и активный. Первый метод позволяет использовать всего две камеры, расположенные рядом друг с другом, и при помощи обработки отличий в двух изображениях выделять информацию о глубине объектов в сцене. Этот метод подходит для недорогих решений и обеспечивает начальный уровень точности получения данных о глубине.
Для более сложных (и дорогих) применений в системах расширенной реальности, Spectra ISP второго поколения будет способен собирать информацию также и от активных сенсоров глубины, использующих специально подготовленное освещение инфракрасным светом и ИК-датчик чтобы строить карты глубины высокого разрешения.
Компания Qualcomm называет такие цифры: получение более 10 000 точек с данными о глубине с разрешением в 0,1 мм при частоте получения данных в 40 кадров в секунду и более. По данным компании, они предложат самые производительные и точные датчики глубины для смартфонов, работающие на расстоянии до 3-4 метров.
Полученные точки со значениями глубины могут использоваться в отслеживании рук в приложениях виртуальной реальности, отслеживании движения шлемов виртуальной реальности, работающих без проводов и дополнительных датчиков и даже распознавании лиц и других объектов, что можно использовать для идентификации человека.
Из других возможностей новой версии Spectra ISP можно выделить аппаратно-ускоренное шумопонижение с использованием данных из нескольких кадров (multi-frame noise reduction), когда ISP получает несколько кадров и на их основе выдаёт единственный кадр, удаляя отличающиеся данные, присутствующие лишь на некоторых кадрах.
Также процессором Spectra ISP второго поколения поддерживается аппаратное ускорение электронной стабилизации изображения и временная фильтрация с компенсацией движения (motion compensated temporal filtering — MCTF) для улучшения качества видеороликов и другие возможности, которые раскроют позднее.
А для того, чтобы помочь производителям получить качественные снимки для обработки в Spectra ISP, компания Qualcomm работает с партнёрами по программе Spectra Module Program. В отличие от общепринятого подхода, когда производителю смартфона достаётся только ISP и драйвер, а дальше ему приходится сопрягать это с сенсором камеры самостоятельно, Qualcomm предлагает полноценные комплекты из сенсоров, процессоров обработки изображения ISP, а также уже оптимизированного программного обеспечения для работы всего комплекта.
В дополнение к существующим модулям с одной камерой, двумя камерами (цветная и черно-белая — технология Qualcomm Clear Sight), а также с двумя камерами с разным фокусным расстоянием (оптическое увеличение), которые уже поддерживаются решениями Qualcomm, в 2017 году анонсирована поддержка сканирования радужной оболочки глаза и расширенные возможности для определения глубины сцены.
Qualcomm заявляет, что их модуль сканера радужной оболочки глаза необычайно надёжен, использует ИК-датчик с высоким разрешением и низким энергопотреблением, работающим и через солнцезащитные очки, и что его невозможно обмануть при помощи трёхмерных моделей или двухмерных фотографий, как и других подобных методов взлома. А для хранения биометрических данных используются возможности защищённой памяти Qualcomm ARM TrustZone, что также усложнит задачу злоумышленников.
Процессор Spectra ISP второго поколения ожидается уже в следующем флагманском чипе, известном как Snapdragon 845.
Теги:
Qualcomm
