Адрес для входа в РФ: exler.world
Технологии обработки фото на смартфонах
Наверняка многие уже прочитали интереснейшую статью "Вычислительная фотография", в которой простым, понятным и веселым языком рассказывается, какие же именно технологии применяются в современных смартфонах, чтобы обойти физические ограничения на размер матриц и применяемую оптику.
Если кто-то пропустил эту статью - прочитайте, она очень интересная. Я об этих технологиях немало читал, но и для меня многие вещи, рассказываемые в статье, были в новинку.
Вещь, о которой многие не задумываются, но она важна для понимания всей мобильной и вычислительной фотографии: камера в современном смартфоне начинает делать фотографии сразу, как только вы открываете ее приложение. Что логично, ей ведь надо как-то передавать изображение на экран. Однако, помимо экрана, она сохраняет кадры высокого разрешения в свой собственный циклический буфер, где хранит их еще пару секунд.
Когда вы нажимаете кнопку «снять фото» — оно на самом деле уже снято, камера просто берет последнее фото из буфера.
Сегодня так работает любая мобильная камера. По крайней мере во всех флагманах не с помоек. Буферизация позволяет реализовать не просто нулевую задержку затвора, о которой так давно мечтали фотографы, а даже отрицательную — при нажатии на кнопку смартфон заглядывает в прошлое, выгружает 5-10 последних фото из буфера и начинает неистово анализировать их и клеить. Больше не нужно ждать, пока телефон нащелкает кадров для HDR или ночного режима, — просто забирай их из буфера, пользователь даже не узнает.
А патамушта матрица ФФ камеры в 30 раз больше матрицы смартфона, и, соответственно, собирает на несколько порядков больше коль-во фотонов (информации о свете). Чтобы обработать этот огромный массив информации как в смартфонах, нужны процессоры огромной мощности, которые сегодня недоступны для производителей фототехники.
[/шутка]
К слову, я сейчас в самом разгаре отпуска, у моей Сони А7М3 сдох объектив, снимаю на телефон в результате. И вожу 1,5 кг балласта...
А Camel писал про оптический и экран.
У экрана ВИ, хоть оптический, хоть электронный выигрывает в 9 из 10 случаев.
Проигрывает - когда нужно снимать с очень низкой или высокой точки.
- процессоры: процессор современной камеры перемалывает примерно от 500 мегабайт до гигабайта данных с сенсора в секунду, имеет с хорошей вероятностью ту же архитектуру ARM, и, в качестве операционной системы вполне может иметь Linux. Не очень понятно, в каком месте он ужасный.
- многие зеркальные камеры имеют электронный затвор, не очень понятно, почему это записано в преимущества телефона.
И откуда данные про мегабайты?
Поясню, для процессора фотокамеры, время в секунду - это недопустимо много.
Ну или кусок улицы и фарфорового зайца для обзора.
А если серьезно -- смысл фотографии изначально был фотографировать для памяти.
То-есть фотография как будто открывает в голове ячейку памяти с кучей информации, впечатлений, воспоминаний там или эмоций. А в этом плане что зеркалка за 5 тыщ, что айфон, что чернобелый ФЭД -- никакой разницы. Нет ?
Это даже не считая всех игрищ-манипуляций со склеиванием "честных" кадров со всех камер в один нормальный – там же тоже ИИ, только самый "младшенький-глупенький" из всего семейства... )))
ИИ, конечно, ещё крайне далеки от "абсолютного совершенства". Но вот новые алгоритмы постобработки на их основе – весьма и весьма впечатляют.
Это вам не прежние фотошоповские фильтры, которые работали только лишь строго с исходными пикселями. Совершенно новый уровень – не тупо экстраполируют, а дорисовывают...
Мне кажется, что программная часть будет развиваться параллельно с железной, иначе ничего не получится хорошего. Да и идея заменять части фоток вырезками из удачных кадров-ну это хрень же. Смысл, тогда, вообще фотографировать?
При всем невероятном рывке в фотографии в смартфонах, снимать фото по-прежнему удобнее зеркалкой (но вот носить - смарт 😄)
В мире нормальной фотографии, стекинг по экспозиции, по ББ и фокусу существует уже очень давно. Эксперименты с затворами и типа фильтров - тоже далеко не новость, это и Фуджи пытались сделать и Сони. Пока что без особых успехов, разве что беззеркалки у них прикольные.
Статья интересная конечно, но говорить о том. что мир будет двигаться в направлении, в котором он уже давно двигался, но ничего не произошло - как минимум наивно. Смартфонография все так же догоняющая и никаких прорывов там не предвидится.
А статью вы не читали.
И насчет "по качеству к самым слабым зеркалкам" - это тоже совершенно не так.
Так что похоже, что вы как-то не очень в теме.
Весь блог там нереально крутой.
Вот тут обидно, то есть ловить интересный момент не получится?
Это он апдейт продвинутой камеры накатил.
Зараза.
Вообще, мне кажется вы переключились на другие проблемы, слабо связанные с вычислительной фотографией. Первоначальный ваш тезис был - что большой размер матрицы не позволяет обрабатывать сигнал. Я вам ответил, что на скорость обработки сигнала размер матрицы влияет слабо. А тепловыделение, роллинг-шаттер - это все есть, с этим борятся, но эти вещи в другой плосткости, на этом этапе еще не дошли до обработки.
2. Пока можно этого не делать - рынок позволяет
3. Скорее всего, будущее камер в тесной их связке со смартфоном. Они станут эдаким аддоном, внешним беспроводным модулем съёмки. Реализовать на них удобный интерфейс, подобный смартфону, не говоря уже о планшете, вряд ли будет возможно. Но за счёт быстрой связи следующего поколения может стать возможным сильно расширить функциональность и вычислительную мощь
Проблема у электронного затвора не в том, сколько кадров в секунду камера может выдать (моя - 10), а в построчном считывании, скорость которого не очень велика. В результате, любые движущиеся объекты в кадре искажаются. Гуглите "роллинг шаттер". Пока скорость считывания не будет кардинально (минимум в разы, а лучше - на порядки) увеличена, вычислительной фотографии будет не из чего браться.
А до того - представьте себе картину, когда вы включаете камеру, и она тут же начинает лупить механическим затвором непрерывно. Кстати, у неё через десяток-два секунд буфер закончится.
Тепловыделение - это вопрос видео, когда с матрицы снимают информацию в течении длительного времени. Это другая проблема. А мы говорим про пост-обработку уже считанной информации.
Кроме того, большие физически сенсоры не позволяют считывать с них информацию быстро. В разрешении 4К с полного кадра считывание занимает около 25 мс у типовых сенсоров (у Кенона больше, у Сони А9 меньше), а это весьма много. Поэтому электронный затвор невозможно использовать для съёмки динамики, не считая той же А9. Спящие дети - норм.
Думаю, главные причины маркетинговые. Canon не считает это нужным. По крайней мере, не так остро необходимым, как для смартфонов. Если посмотреть на их новые модели, то развитие крайне осторожное и эволюционное. И да, они явно не сильны в математике, в технологиях вычислительной фотографии, а их процессоры уступают ARM.
Я считаю, мое мнение более аргументировано.
Потому что современные полупроводниковые технологии пока не позволяют реализовать то же самое (глобал шаттер, непрерывная съёмка в буфер и т. д.) на матрицах большого размера. Чем больше матрица, тем сложнее с неё считывать информацию в реальном времени.
Вон, у полнокадровых Кенон видео 4К возможно только в 30р, с кропа 1.8 (это практически 4/3" на минуточку), с ужасным роллинг шаттером, и вдобавок без фазового АФ. И все это в разрешении всего 8 МП. Какая тут нафиг вычислительная фотография.
К тому же, если все это барахло встроить в зеркалки или незеркали (собственно и встраивают), то во первых эта зеркалка будет дохнуть где то за час, два съемки, а во вторых, будет МЕШАТЬ фотографу, а не помогать.
Правда, вопрос остается - снимать-то на что?
А к вопросу, поднятому в конце статьи, про автоматическое улучшение, а то и замену объектов на фоне: у меня давно есть мысль съездить куда-нибудь в отпуск и ничего там не фотографировать, а желающим потом показывать подобранные в гуглокартинках фотографии тех же мест. Что-то мне подсказывает, что итоговый результат будет лучше (и собственные впечатления не будут испорчены необходимостью их увековечить на фотографии, и окружающие получат качественный продукт).
И вообще у Вастрика очень много интересных статей.