Адрес для входа в РФ: exler.world
Технология Deep Fusion в iPhone 11
03.10.2019 09:10
20093
Комментарии (75)
В новой бета-версии iOS 13, вышедшей для iPhone 11, появилась технология создания и обработки снимков Deep Fusion. Ее принцип, с одной стороны, похож на HDR - создание нескольких снимков с разной экспозицией и объединение их с целью добиться как можно большей детализации, - однако HDR направлена прежде всего на расширение динамического диапазона и получения большего количества деталей в тенях, тогда как Deep Fusion направлена прежде всего на улучшение общей детализации снимков.
Работает это следующим образом. Еще до нажатия кнопки съемки камера делает три снимка с короткой выдержкой, а после нажатия - ещё четыре, один из которых делается на длинной выдержке. После этого семь снимков объединяются и обрабатываются попиксельно - с целью увеличения детализации, уменьшения шумов, убирания засветов и перетемненных участков.
В Сети уже появляются примеры снимков, сделанных по этой технологии. Вот здесь, например, можно найти такие снимки. Судя по ним, благодаря этой технологии действительно удается добиваться совершенно поразительной детализации. Однако в данном случае нет стопроцентной уверенности в том, что это именно снимки с iPhone 11. Буду ждать, когда кто-то из заслуживающих доверия обозревателей сделает свои тестовые снимки и покажет результаты.
На данных снимках я вижу детализацию, которую не даёт даже камера с Full Frame. Такой уровень четкости дает только среднеформат или Sigma DP2 Merrill. Почти невозможно представить, что такого можно добиться на малюсенькой матричке смартфона с помощью одних вычислительных методов. Но посмотрим, конечно, посмотрим. Вычислительная фотография действительно творит какие-то чудеса, в чем мы неоднократно убеждались.
P.S. Но заметим, конечно, что похожие технологии уже довольно давно применяют как минимум и Huawei, и Samsung. Вот и интересно будет сравнить.
Войдите, чтобы оставить комментарий.
Во первых, никакой уж "запредельной" детализации там нет - как раз на уровне начальньго фулл фрейм (с дорогими prime lenses и с закрытой дыркой + постобработка - full frame даст даже значительно лучше детализацию.
С medium format сравнивать нет никакого смысла и даже не из за детализации - там просто совершенно другого уровня картинка по восприятию.
Во вторых, computational photography все равно дает картинку неравнозначную нормальной однокадровой фотографии - может быть даже лучше в ряде случаев, но это все равно будет не реальный снимок обьекта, а его "видение" процессором. Это не всегда и не всем подойдет.
В третьих, помимо качества картинки, хорошая камера обладает совершенно другой эргономикой чем смартфон (по всем параметрам - от удобства хвата до скорости и тд ). Более того, если снимать портреты - то даже поведение модели будет отличаться при сьемке на телефон и на про камеру. Поэтому классные камеры в смартфонах полностью убьют рынок мыльниц - но никак не повлияют на рынок профессиональных фото камер.
С medium format сравнивать нет никакого смысла и даже не из за детализации - там просто совершенно другого уровня картинка по восприятию.
Во вторых, computational photography все равно дает картинку неравнозначную нормальной однокадровой фотографии - может быть даже лучше в ряде случаев, но это все равно будет не реальный снимок обьекта, а его "видение" процессором. Это не всегда и не всем подойдет.
В третьих, помимо качества картинки, хорошая камера обладает совершенно другой эргономикой чем смартфон (по всем параметрам - от удобства хвата до скорости и тд ). Более того, если снимать портреты - то даже поведение модели будет отличаться при сьемке на телефон и на про камеру. Поэтому классные камеры в смартфонах полностью убьют рынок мыльниц - но никак не повлияют на рынок профессиональных фото камер.
Ох ? «Начальный фуллфейм, средний формат, совершенно другого уровня картинка по восприятию» - астел&керн и тёплый ламповый звук какой-то. Ну да ладно, это ваше право, верить в особое нечто. Но да, вы правы в том, что нормальная камера даст больше детализации, вы правы про эргономику, но смартфон это камера (и видео-камера), которая всегда под рукой. Вот прямо всегда-всегда, и поэтому этим снимают больше, чаще и больше людей. И им не нужен ни ФФ, ни СФ, ни праймы за стопятьсот тысяч, ни вот это всё. Им постить FHD в инсту, постить сториз и накладывать масочки. Им снимать ночью и с плохим светом. И главное - им нужно всем этим делиться сразу. Камеры к этому до сих пор не готовы, на уровне массового потребителя. Их коммуникационные возможности на уровне каменного топора.
Но не стоит забывать, что и на современном ФФ/СФ то,что вы видите, не чистая картинка, а очень крепко додуманная процессором, и уже есть много примеров conputational photography в нормальных камерах. Просто они отстают в развитии.
Но не стоит забывать, что и на современном ФФ/СФ то,что вы видите, не чистая картинка, а очень крепко додуманная процессором, и уже есть много примеров conputational photography в нормальных камерах. Просто они отстают в развитии.
Так я вроде и написал, что смартфоны полностью убьют point and shoot market и частично prosumer - и слава Богу, чтобы всякое отпиаренное говно типа Фуджи APS-C ушло с рынка. Но рынок про камер это вообще никак не коснется.
Computational photography обязательно появится в камерах, и это хорошо. Но вряд ли быстро - к сожалению, даже в про камеры ставят очень слабые процессоры.
Computational photography обязательно появится в камерах, и это хорошо. Но вряд ли быстро - к сожалению, даже в про камеры ставят очень слабые процессоры.
Кому интересно, подробности про эту технологию. Она разрабатывалась командой GCam (Google Camera) с 2011 года, называлась fusion image.
давно применяют как минимум и Huawei, и Samsung
Но опыт не пропьешь. С GCam на Mi 9 получаются фотографии лучше чем на той же технологии в родном приложении.
А как будет работать эта технология, если необходимо снимать на очень коротких выдержках? Не портреты и пейзажы, например, а спорт?
Думаю, что значительно хуже будет работать.
Эти фото только для статики и хороши для условий при недостатке освещения.
Смазанные части изображения не так хорошо проработаются.
Он уходит от нас... )
Вилса долго сравнивал с ноут 10+ фото и тп. Эпл не творит чудес, но получше стало, да.
?Сравнение iPhone 11 Pro Max и Galaxy Note 10+: от Wylsacom
Вилса долго сравнивал с ноут 10+ фото и тп. Эпл не творит чудес, но получше стало, да.
?Сравнение iPhone 11 Pro Max и Galaxy Note 10+: от Wylsacom
Он уходит от нас... )Вилса долго сравнивал с ноут 10+ фото и тп. Эпл не творит чудес, но получше стало, да.?Сравнение iPhone 11 Pro Max и Galaxy Note 10+: от Wylsacom
Вы конечно извините, но.... Всю жизнь Apple нам витрали, что на iPhone - лучшие камеры. Владельцы iPhone XR, у вас что, реально такие говенные снимки, как в примере выше???
С чего они вдруг лучшие-то? Камеру Apple реально только к восьмерке подтянула до уровня флагманов конкурентов.
Теперь на любой физиономии можно рассмотреть все прыщи и поры.
Прорыв так прорыв.
Кстати будет чем заняться инженерам в ближ 5 лет -- добавить аппаратный блур который всё это уберет.
Прорыв так прорыв.
Кстати будет чем заняться инженерам в ближ 5 лет -- добавить аппаратный блур который всё это уберет.
А вы не в курсе, что бьютификаторы уже давным-давно встроены в смартфоны?
Попробуйте включить режим "улучшение", или "портрет", там есть ползунок "красоты".
Попробуйте включить режим "улучшение", или "портрет", там есть ползунок "красоты".
Зашёл в комменты.
Ctrl-F "Gcam"
Не нашёл.
Тогда буду первым. В очередной раз Apple удачно скопировала известную технологию.
Ctrl-F "Gcam"
Не нашёл.
Тогда буду первым. В очередной раз Apple удачно скопировала известную технологию.
Ну да как с FaceID когда Apple сделала 3д датчик который очень сложно обмануть и работающий в темноте, а на китайцах давно был "аналог" но его было можно разблокировать фоткой и в темноте не работает, украла так украла, как всегда
давно был "аналог"
Только на айфоне этот датчик раньше появился.
Ну да как с FaceID когда Apple сделала 3д датчик который очень сложно обмануть и работающий в темноте,
Только на айфоне этот датчик раньше появился.
FaceID просто пример тех аргументов про "аналоги" и "давно было и в 5 раз дешевле", которые часто приводят эплохейтеры
При том, что Google - это очень и очень прогрессивная компания, которая вложила в эту технологию очень много человекочасов.
Остальные только догоняют, на данный момент.
Остальные только догоняют, на данный момент.
FaceID просто пример тех аргументов про "аналоги" и "давно было и в 5 раз дешевле", которые часто приводят эплохейтеры
Поэтому фотографией уже было не разблокировать. Разве что части фото наклеивать на маску, что несколько усложняет процесс. Да, надёжнее, но думаю, смысла в этом громоздком оборудовании нет. Скорее Apple в конечном итоге остановится на системе как, например Xiaomi Mi 9. Там обычная моментальная разблокировка по лицу (не 3d), но не совсем полная - скажем Google Pay при этом не работает - потребует отпечаток пальца на скане в экране.
Немного не понял про снимки, особенно про последний на более длинной выдержке... Работает ли этот режим без штатива? Также смутило сравнение с полнокадровыми камерами. Конечно, для смартфона это хорошая детализация (хотя камера Google делает, по ощущениям, не хуже), но вот по сравнению с современными ФФ-камерами, особенно теми, у которых нет фильтра низких частот перед матрицей, это просто фоточка с мыльницы. Тем более, если речь идет про съемку с фикс-объективом. Связки, которые приходят в голову в первую очередь: Nikon D750 + 50mm f/1.8G, Nikon D610 + Sigma 35mm f/1.4 Art. Это вот если из "дешевенького" (ну, то есть, по цене сравнимого с топовым айфоном), потому что если взять какой-нибудь Sony A7r IV с топовой GM-оптикой или Nikon D850 с чем-то вроде 35mm f/1.4G, то уровень детализации будет ещё выше. Что касается среднего формата, то не пришли ещё те времена, когда можно было бы сравнить современные цифровые СФ со смартфоном. Там просто другой уровень. В сети можно найти без проблем снимки с Fuji GFX-50S, особенно интересно смотреть пейзажные - просто что-то нереальное. Как это всё сравнить с камерой смартфона... да, никак пока что) Но, со временем, может и увидим прорыв, кто знает.
Я не сравнивал с полнокадровыми камерами. Я говорил об уровне детализации.
Так вот же я со знающими людьми вроде как и не спорю. В сравнении крутейшей FF-камеры с фиксом и каким-то галимым смартфоном.
Связки, которые приходят в голову в первую очередь
але, прием!?
Сколько стоит связка Nikon D750 + 50mm f/1.8G?
Но не надо забывать о цели - зачем это все?
Если три года назад собираясь на отдых тащили с собой кофр со своим кэноном, к нему пару объективов, то сейчас смарт.
Опять же, всё ваше рассуждение ограничивается "съездить в отпуск, наделать фоток". Я вот, например, хочу получить фотографии в хорошем качестве с какого-нибудь детского утренника своего ребенка, мне что, на смартфон снимать? Меня такое качество не устроит. Вас устроит - нет проблем. Но изначально тут был разговор о сравнении детализации смартфона и ФФ-камеры, при чем тут ваши потребности и хотелки - не ясно. Была фактическая фраза в тексте: "На данных снимках я вижу детализацию, которую не даёт даже камера с Full Frame." Её я и прокомментировал в своем сообщении, по-моему достаточно корректно и с примерами отдельных связок.
в своем сообщении,
1. Я себя причисляю к "среднему" и как бы этот средний в гробу видел компакт беззеркальный, ибо нафиг? Тут вообще не аналитический отдел, но коли выйти на пляж, (испания\греция\турция), или в какой-нибудь милан\прагу\хельсинки, вот ну хрен ты увидишь там людей с фотиками кроме японцев, смарты в общей массе, а компакт какой-нибудь, прости господи, увидишь у какого-нибудь лютого деда из уруюпинска, да и то не факт.
2. Про комментирование про фуллфрейм ноль вопросов.
PS ну а кому что любо - это все личные предпочтения. 😉
Опять же,
Это для съемки со штатива?
Почти невозможно представить, что такого можно добиться на малюсенькой матричке смартфона с помощью одних вычислительных методов. Но посмотрим, конечно, посмотрим. Вычислительная фотография действительно творит какие-то чудеса, в чем мы неоднократно убеждались
И автор делает вывод, что глаз человека можно сравнить всего лишь с одномегапиксельной камерой. Всё остальное - постобработка на уровне мозга.
Так что ничего удивительного в принципе работы вычислительной фотографии нет. Все та же биомиметика 😄
человека можно сравнить всего лишь с одномегапиксельной камерой
Я, грешным делом, думал, что глаз - аналоговое устройство...
Очень рекомендую прочесть не только статью, но и комментарии. мегапиксель там в 5 градусах. Это немножно не то же самое, что мегапиксели матрицы. Это как планшетный сканнер сравнивать с фотоаппаратом. И то, и другое дает изображение, но 1Mp на сканнере и 1Mp матрицы совсем разные вещи 😄
человека можно сравнить всего лишь с одномегапиксельной камеройЯ, грешным делом, думал, что глаз - аналоговое устройство...
Это понятно. Но это ж, в целом аналогия. О чем, кстати, автор в комментариях отвечает.
Подождите - вот на iphone.ru написали: "Для работы Deep Fusion необходимо отключить опцию Захват фото вне кадра в меню Настройки -> Основные -> Камера."
Значит можно включать-отключать. Там же примеры на одном телефоне с Deep Fusion и без
Значит можно включать-отключать. Там же примеры на одном телефоне с Deep Fusion и без
И да, соглашусь с предыдущими комментаторами, про фф вы зря. Современное матрицестроение дает очень и очень хорошие результаты. То что сейчас на кропе 1.5, на фф лет 10 назад было недостижимо. На приложенных примерах разница не так уж разительна. Такое можно просто умным шарпом в фотошопе накрутить.
В свежей Sony A7R IV похожая, если не аналогичная технология.
Технология не нова, видел ее применение в любительской астросъемке. К телескопу просто подключалась любительская камера, и делалось несколько десятков снимков интересующего объекта. Света для матрицы ясное дело мало, каждый отдельный снимок дико зашумлен. Суть алгоритма в том, что он сравнивая симки между собой отделяет шум от изображения, т.е. если объект повторяется на снимках, то это целевое изображение, а шум рандомный и никогда не повторяется, этот участок удалялся. Таким образом из нескольких десятков дико шумных снимков получался один чистый и детальный и все это на кроп матрицу. Делалось это в фотошопе и не быстро. Сейчас у телефона хватает ресурсов что бы аналогичный процесс провести налету из 3-7 снимков. Вполне годная технология.
Технология не нова, видел ее применение в любительской астросъемке.
Первый снимок черной дыры, который недавно все обсуждали, тоже получен средствами вычислительной фотографии - для его получения пришлось обработать около двух с половиной тысяч терабайт данных.
Ну, про FF вы всё же зря так 😄
Пройдите по ссылке на обзор Сигмы и посмотрите на кропы с Сигмы и с полнокадровой зеркалки. Байеровский фильтр - это байеровский фильтр, знаете ли. Не добиться на FF такой детализации без обработки.
При чём тут Sigma?
Мне что, начинать сбрасывать в тред фото? Их есть у меня. Nikon D610, внутрикамерный .jpeg без постобработки.
Там просто ВСЁ лучше, чем на приведённых снимках с IPhone 😄
Другой вопрос что да, это ОЧЕНЬ круто, и мобильная фотография за последние лет 5 просто улетела в космос настолько, что возможности и качество фотографии у флагманов, да даже и в среднем ценовом сегменте - перекрывают потребности большинства пользователей на 110%
Мне что, начинать сбрасывать в тред фото? Их есть у меня. Nikon D610, внутрикамерный .jpeg без постобработки.
Там просто ВСЁ лучше, чем на приведённых снимках с IPhone 😄
Другой вопрос что да, это ОЧЕНЬ круто, и мобильная фотография за последние лет 5 просто улетела в космос настолько, что возможности и качество фотографии у флагманов, да даже и в среднем ценовом сегменте - перекрывают потребности большинства пользователей на 110%
Мне что, начинать сбрасывать в тред фото? Их есть у меня. Nikon D610, внутрикамерный .jpeg без постобработки.
Другой вопрос что да, это ОЧЕНЬ круто, и мобильная фотография за последние лет 5 просто улетела в космос настолько, что возможности и качество фотографии у флагманов, да даже и в среднем ценовом сегменте - перекрывают потребности большинства пользователей на 110%
Я просто удивляюсь тому, каких потрясающих успехов добивается нынче вычислительная фотография на малюсеньких матричках и крохотной оптике. Это все очень и очень интересно.
As is.
Специально нашёл натуру с бородой 😄
Причём стекло - обычный тревел-зум.
Если взять в тех же условиях что-то типа D810, да хорошую фиксу - результат будет сильно лучше.
Специально нашёл натуру с бородой 😄
Причём стекло - обычный тревел-зум.
Если взять в тех же условиях что-то типа D810, да хорошую фиксу - результат будет сильно лучше.
Ну так на приведенном-то снимке с iPhone 11 детализация лучше. Понятно, что кадр с Никона не обрабатывался и шарпом, наверное, можно было бы добиться практически того же. Но тем не менее.
Детализация - хуже. Контрастность выше 😄
Ну, надо, конечно, предметно сравнивать, не буду спорить 😄
Технология Deep Fusion в iPhone 11
Впечатляет, да. Очень интересно провести сравнение iPhone 11 и Huawei P30 Pro.
Хуавей и гугл с пикселем, кмк, раньше эту дорожку протоптали.
www.gsmarena.com
Вот здесь хорошо видно что по детализации примерно сравнялись но шумы разные, на хуавее их почти нет даже при плохой освещенности.
www.gsmarena.com
Вот здесь хорошо видно что по детализации примерно сравнялись но шумы разные, на хуавее их почти нет даже при плохой освещенности.
Да, там используются похожие технологии.
а вот здесь видно как этот дип фьюжн печать федеральной резервной системы белым фоном закрасил где его нет
ISO 640? этот тест типа делался на улице в дождь?
а дождь то зачем? на том же стенде но с низкой освещенностью
> а вот здесь видно как этот дип фьюжн
это когда же gsmarena успел положить кропы с дип фьюжн, если он только вчера в бете iOS появился? 😄
это когда же gsmarena успел положить кропы с дип фьюжн, если он только вчера в бете iOS появился? 😄
на мой взгляд этот дип фьюжен изначально в 13 оси, просто щас его допиливают и красивые названия в том числе
ченетакто?
всё. Ну и в цели моей жизни явно не входит просвещение идиотов 😉
Интернет доступен всем.
Интернет доступен всем.
сокровенные знания просвещенных улыбающихся идиотов? это скучно
Сравлил XR с 11 автор - молодец, чо! Нельзя было сравнить на той же 11 с отключенной Deep Fusion? Результат был бы не такой впечатляющий, да?
Сравлил XR с 11 автор - молодец, чо! Нельзя было сравнить на той же 11 с отключенной Deep Fusion? Результат был бы не такой впечатляющий, да?
Он прав, логичнее было бы сравнить снимок, сделанный на iPhone 11 без этой технологии и с ней. Она же по идее должна отключаться.
Он прав, логичнее было бы сравнить снимок, сделанный на iPhone 11 без этой технологии и с ней. Она же по идее должна отключаться.
Ясно, спасибо. Ну тогда автор снимков прав, по-другому и не сравнить 😄
Deep Fusion нельзя включить или отключить к сожалению.
в статье на iphonesру есть такая фраза "Для работы Deep Fusion необходимо отключить опцию Захват фото вне кадра в меню Настройки -> Основные -> Камера", исходя из которой можно предположить, что можно, таки, на одном тлф сделать фото С и БЕЗ этой технологии.
хотя, конечно, можно эту фразу трактовать как "для корректной работы DF необходимо бла бла бла".
хотя, конечно, можно эту фразу трактовать как "для корректной работы DF необходимо бла бла бла".
Это кстати, может обернуться неприятным моментом. Аналогичная (условно) GCam с включенным HDR+, на динамичных сценах выдает смазы. Именно из-за необходимости делать кучу кадров.
Это кстати, может обернуться неприятным моментом. Аналогичная (условно) GCam с включенным HDR+, на динамичных сценах выдает смазы. Именно из-за необходимости делать кучу кадров.
Теги
Информация
Что ещё почитать
