Новая технология LOFIC в фотоматрицах

В  фотоматрицах новых флагманских смартфонов Xiaomi 17 Pro и Ultra, Huawei Pura 80 Ultra и Honor Magic6 Pro и Ultimate используется технология под названием LOFIC. Сами производители в описании своих смартфонов отдельно не выделяют этот факт, а между тем, LOFIC - это не какая-то очередная функция ИИ и не маркетинговая история, а аппаратное улучшение самой матрицы камеры. 

Как работает обычный CMOS-сенсор камеры? Он, как известно, состоит из светочувствительных точек (пикселей). Каждый пиксель - это фотодиод, производящий электроны под воздействием света. Чем ярче свет - тем больше электронов. Для наглядности матрицу представляют в виде тысяч крошечных ведерок (пикселей), стоящих под дождем. Дождь - это свет. Яркий свет - ведерки наполняются до верха, тень - на дне ведерка образуется немного воды. Рядом с каждым "ведерком" стоит несколько транзисторов, которые берут этот заряд, усиливают и превращают в число - яркость пикселя.   

Если в кадре достаточно равномерное и не слишком контрастное освещение, то мы можем получить изображение, в котором будет достаточное количество деталей и в тенях, и на освещенных участках. 

Но как только приходится иметь дело с глубокими тенями и ярко освещенными участками, то тут начинаются проблемы с динамическим диапазоном: если света слишком много, то на фотографиях "выбиваются" (теряют детализацию) яркие участки - так называемое "выбитое небо", - если же света недостаточно, то в этом случае теряются детали в тенях. 

Пример "выбитого" неба при получении хорошей детализации в тенях

Чтобы с этим справляться, в смартфонах используют специальные технологии под названием HDR и двойное ISO.

HDR (High Dynamic Range — "высокий динамический диапазон") - это когда при съемке делается несколько кадров с разной экспозицией, и для получения конечного результата эти кадры складываются друг с другом: от переэкспонированных кадров берутся детали в тенях, от недоэкспонированных кадров берутся яркие участки. В результате получается кадр с хорошим динамическим диапазоном (12-20 стопов вместо обычных 10). 

Пример работы HDR при контрастном освещении

У технологии HDR есть свои минусы: при ее использовании могут быть неестественные цвета, могут появляться артефакты и ореолы вокруг ярких объектов, при плохом освещении увеличиваются шумы, движущие объекты могут размываться и так далее. 

Двойное ISO (Dual Native ISO) - это как два переключателя чувствительности в камере: один - для яркого цвета, другой - для темноты. 

С уровнем чувствительности ISO, как известно, ситуация следующая: у низких ISO очень низкий цифровой шум, у высоких ISO - высокий. При ярком освещении можно использовать низкие ISO, но при недостаточном освещении ISO приходится повышать, а из-за этого заметно увеличивается шум (зернистость). 

Кроп "шумной" ночной картинки, обработанной шумодавом - появляется "мыло"

При использовании двойного ISO у камеры есть два разных режима работы усиления чувствительности, реализованных на аппаратном уровне. Это как, например, два разных микрофона: один настроен на громкую речь (ярко освещенный кадр), а другой - на шепот (плохо освещенный кадр). 

Что это дает? Прежде всего, при использовании двойного ISO уменьшается шум при плохих условиях освещения, тени становятся более чистыми, динамический диапазон повышается. И двойной ISO особенно полезен при съемке видео.

А теперь о том, что же такое - технология LOFIC и как она влияет на изображение. 

LOFIC расшифровывается как "Lateral Overflow Integration Capacitor", то есть "боковой конденсатор для приема избыточного заряда". 

Возвращаемся к устройству обычной CMOS-матрицы: тысячи ведер (фотодиодов), наполняющихся водой (светом). 

Что происходит с фотодиодом, на который попадает слишком много света? На изображении происходит пересвет, в ярких деталях пропадают детали. 

При использовании технологии LOFIC, у каждого фотодиода есть сбоку дополнительный конденсатор (как ведро с дополнительным баком), который может принять "лишние" электроны, когда основной фотодиод уже заполнен. За счет дополнительного конденсатора один фотодиод может сохранить заметно больше заряда, и это увеличивает детализацию ярких участков: камера при чтении пиксела знает, что одна часть заряда сидит в основном светодиоде (низкий диапазон, чувствительный к теням), а другая часть - в боковом конденсаторе, где содержится информация об очень ярких областях. Комбинируя эти два канала, электроника получает картинку с большим динамическим диапазоном. Это похоже на работу HDR, только здесь не надо комбинировать разные фото - расширенная информация уже содержится в одном пикселе за одну экспозицию. 

Такая схема дает заметно более высокий динамический диапазон (до 20 стопов) и низкий шум, потому что электроника может оптимально выбирать усиление для слабых и сильных сигналов. 

Как это выглядит чисто практически:

• больше деталей на небе, в бликах от солнца, в темноте вместо "белых дыр" видны фары и фонари;

• отсутствие артефактов и ореолов;

• больше деталей в тенях, шум в темных областях снижается;

• динамический диапазон в видео заметно увеличивается. 

Есть ли примеры съемки на камеры, использующие матрицы с технологией LOFIC? Да, есть. Вот, например, серия снимков в сложных условиях освещения на камеру Xiaomi 17 Ultra.

На данный момент матрицы с использованием технологии LOFIC есть только у новых флагманских смартфонах Xiaomi, Huawei и Honor. Есть сведения о том, что такие матрицы могут появиться у новых флагманов Oppo, OnePlus и Vivo.  

Apple, Samsung и Google также работают над тем, чтобы начать использовать подобные матрицы в своих флагманах, но они появятся, судя по всему, в следующих поколениях смартфонов этих производителей.

При этом очевидно, что матрицы с LOFIC какое-то время будут устанавливаться только во флагманы: у такого сенсора более сложная конструкция, дополнительные конденсаторы требуют места, также нужно понять, насколько заметно такая матрица будет влиять на энергопотребление.

Но в любом случае технология интересная и многообещающая, и я постараюсь получить на тест какую-нибудь из моделей смартфонов, использующую матрицу такого типа - хочется попробовать ее в действии.