Как исправить размытый снимок

Можно ли спасти смазанное фото — вы точно вводили эту фразу в поисковик, если хоть раз держали в руках камеру. Смазы и ошибки по фокусу — одна из самых часто возникающих проблем, особенно у начинающих фотографов. Беда в том, что такие ошибки сложно исправить, если снимок уже сделан. Однако современные технологии способны на многое и могут исправить смаз даже когда кажется, что это невозможно. О том, как спасти смазанную, нерезкую или расфокусированную фотографию, читайте в этом материале.

Слева то, как снято, справа — после того, как над фотографией немного поколдовали ретушёры / Фото: Алиса Смирнова, Фотосклад.Эксперт

О том, можно ли спасти смазанный или расфокусированный снимок, нет единого мнения. Ответ на вопрос, можно ли спасти фото, как слева на иллюстрации выше, зависит от целей, способа дальнейшего использования снимка и общего перфекционизма. Если вам нужна картинка на растяжку поперёк главного проспекта вашего города, то конечно, все эти методы недостаточно совершенны, они не позволят сделать сильно размазанную фотографию звеняще резкой и настолько качественной, что её можно использовать для печати баннера. Проще переснять снимок без брака.

Но если вам нужно фото в соцсети или семейный альбом, тогда можно попробовать спасти его, и никто, скорее всего, даже не поймёт, что изначально лицо ребёнка на снимке выше уходило в нерезкость.

Усиление резкости при помощи High Pass
Как спасти размазанное фото при помощи фильтра Smart Sparpen
Как спасти сильно расфокусированное фото при помощи плагина Topaz Sharpen

Усиление резкости при помощи High Pass

Этот метод подходит для снимков с лёгкой степенью нерезкости. Такие, например, получаются, когда вы снимаете на светосильный объектив, и во время съёмки модель слегка отодвинулась и выскочила из глубины резкости. Или наоборот, когда вы, например, отклонились назад и в результате модель выпала из резкости. 

Так происходит потому что у светосильных объективов очень небольшая глубина резкости. На типичном светосильном полтиннике при съёмке поясного портрета она может составлять 5-7 сантиметров. В этом промежутке объект будет резким, дальше — уходить в размытие. И из этого отрезка очень легко вывалиться.

Сильного брака нет, но лицо чуть-чуть подмыто / Фото: Алиса Смирнова, Фотосклад.Эксперт

Чтобы исправить эту ошибку, мы будем использовать один из стандартных фильтров Photoshop — High Pass/Цветовой контраст. Его большой плюс в том, что он есть абсолютно во всех версиях фотошопа, ничего дополнительно искать и скачивать не придётся. Ещё одно преимущество — он быстрый и нересурсоёмкий по сравнению с другими методами, о которых речь пойдёт ниже.

Посмотрим, как это работает. Открываем проблемный снимок в Photoshop, делаем копию слоя при помощи команды Ctrl+J. Это нужно для того, чтобы потом при необходимости можно было нарисовать маску слоя.

Выбираем фильтр в меню Filter/Other/High Pass // Фильтр/Другое/Цветовой контраст / Иллюстрация: Алиса Смирнова, Фотосклад.Эксперт

Далее изображение окрасится в серый цвет. Это нормально. На этом этапе нужно задать фильтру нужное значение. Покрутите ползунок, пока детали, которые вы хотите сделать резче, не станут хорошо заметными. Это должно выглядеть примерно так:

Детали должны читаться, цвета ещё должны быть неразличимы / Иллюстрация: Алиса Смирнова, Фотосклад.Эксперт

Применяем фильтр, меняем режим наложения слоя с Normal на Overlay/Перекрытие.

Слой становится прозрачным, картинка — реще / Иллюстрация: Алиса Смирнова, Фотосклад.Эксперт

Снимок стал резче, но есть побочный эффект: фильтр усилил резкость, но он усилил и шум. Это неизбежно.

Слева — до применения фильтра, справа — после / Иллюстрация: Алиса Смирнова, Фотосклад.Эксперт

И тут есть два пути решения проблемы: использовать High Pass в комплекте с шумодавом или пользоваться другими, более умными способами поднятия резкости. Подробнее о том, как бороться с шумами, читайте в этом материале.

Далее можно наложить на слой маску и стереть часть ненужной резкости. Например, в случае с портретами есть смысл оставлять фильтр только на глазах и губах модели и стирать на коже. Это позволит избежать лишних шумов и ненужных деталей: High Pass усиливает резкость всего, в том числе пор и других несовершенств кожи. Подробнее о том, как работать с масками, читайте здесь.

Минусы усиления резкости при помощи High Pass: 

• он помогает в простых случаях, где нет сильного смаза;
• он усиливает шумы.

Как спасти размазанное фото при помощи фильтра Smart Sharpen

Smart Sharpen/Умная резкость в целом очень похож на High Pass, но разница в том, что у Smart Sharpen больше тонких настроек. Если научиться с ним работать, можно получить примерно тот же результат по резкости, что и у High Pass, но без усиления шумов.

Чтобы применить Smart Sharpen, открываем снимок в Photoshop, делаем копию слоя и в меню Filter/Фильтр находим команду Sharpen/Smart Sharpen // Резкость/Умная резкость. Открывается такое окно:

Здесь нас будут интересовать ползунки Amount/Количество, Radius/Радиус, Reduce Noise/Шумоподавление / Иллюстрация: Алиса Смирнова, Фотосклад.Эксперт

Самый важный параметр — радиус. Он позволяет разделить информацию на фото на те детали, которые нужно сделать более резкими, и шум, которому более резким становиться не нужно. Самый простой способ подобрать правильное значение — поставить ползунок Amount/Количество примерно на середину и крутить радиус, пока изображение не станет выглядеть хорошо.

После этого можно доработать изображение до идеала, меняя количество и увеличивая значение шумодава. 

Также среди базовых настроек Smart Sharpen можно поменять тип расфокуса. В графе Remove можно выбрать тип смаза, с которым фильтр будет бороться. Среди вариантов есть Lens Blur, Gaussian Blur, Motion Blur. Чаще всего лучше всех работает Gaussian Blur, но можно попробовать разные режимы.

Сравним результат работы High Pass и Smart Sharpen:

Слева Smart Sharpen, справа High Pass. У High Pass картинка получается более шумной Иллюстрация: Алиса Смирнова, Фотосклад.Эксперт

Как спасти сильно расфокусированное фото при помощи плагина Topaz Sharpen

Если проблемы с резкостью более сильные, чем на примерах выше, чтобы спасти такой снимок, потребуется уже дополнительный софт. Один из удобных инструментов — плагин от Topaz Sharpen. Этот плагин в отличие от встроенных фильтров Photoshop работает не на усилении краевого контраста, а использует нейросеть, чтобы восстановить часть утраченной из-за смаза информации. Посмотрим на него в действии.

Возьмём, к примеру, вот такой снимок с типичной для парных и групповых портретов на светосильные объективы проблемой: ближний человек в резкости, второй уже сильно из неё выскочил.

Таких ошибок лучше не совершать, но если они уже сделаны, их можно исправить / Фото: Алиса Смирнова, Фотосклад.Эксперт

Открываем фото в Photoshop, делаем копию слоя, запускаем Topaz. По умолчанию он прячется в меню фильтров.

Запуск плагина ничем не отличается от запуска встроенного фильтра Photoshop / Фото: Алиса Смирнова, Фотосклад.Эксперт

Плагин достаточно умный и рассчитан на среднего пользователя, который не готов тратить много времени на настройку миллиона ползунков. Интерфейс интуитивно понятный: три основных настройки и несколько второстепенных.

У фильтра три основных режима: Motion Blur, Out of focus, Too soft / Иллюстрация: Алиса Смирнова, Фотосклад.Эксперт

Каждый из режимов подходит для своего тип смаза. Motion Blur — для смазанного движения (и моделей, и рук фотографа), Out of focus — для объектов, выскочивших из фокуса, Too soft — для фото без ошибки по резкости, но и без выраженной резкости. Too soft — неплохой вариант для снимков на недорогие объективы, в которых нет ошибки по фокусу, просто нет красивой звенящей резкости.

Результат работы фильтра в разных режимах, слева направо: Out of focus, Too soft, Motion Blur / Иллюстрация: Алиса Смирнова, Фотосклад.Эксперт

Также есть три кнопки: Normal, Very Noisy (очень шумно) и Very Blurry (очень размыто), с помощью которых вы можете подсказать фильтру суть проблемы на фото. Но выбор типа нерезкости можно полностью доверить автоматике, она неплохо справляется:

Чтобы включить автоопределение нужно сдвинуть ползунки Auto. Здесь автоматика решила, что проблема снимка — объект вне фокуса и он очень размытый. И она права / Иллюстрация: Алиса Смирнова, Фотосклад.Эксперт

Результат работы фильтра может показаться несколько преувеличенным и гротескным: например, волосы выглядят откровенно рисованными. Отрегулировать степень его воздействия можно при помощью ползунка Remove blur.

Также в конкретно этом случае после применения фильтра стоит нарисовать маску слоя. Это необходимо, чтобы убрать действие фильтра с лица матери, которое изначально было в фокусе, и фона, которому и положено быть в расфокусе.

Такой снимок уже вполне можно печатать для семейного альбома / Иллюстрация: Алиса Смирнова, Фотосклад.Эксперт

При работе с Topaz Sharpen стоит помнить, что фильтр умный, но иногда полезно быть умнее. По замыслу создателей плагина, каждый режим подходит для конкретной проблемы. На деле для каждого снимка стоит подбирать режим работы фильтра без оглядки на название этого режима. Бывают случаи, когда объект явно и точно вывалился из фокуса, и по идее нужно использовать Out of focus, но почему-то лучший результат даёт Motion Blur. Не всегда так, но и так бывает.

У плагина есть ряд минусов:

• он не распространяется бесплатно. Его стоимость составляет порядка 75 долларов, но есть бесплатная триал-версия;
• работает на нейросетях, достаточно ресурсоёмкий и на маломощных компьютерах и ноутбуках может работать очень медленно. 

Это самая большая его проблема. Например, для просчёта снимка размером 3000 по длинной стороне требуется 10-15 минут на компьютере со следующими параметрами:

• процессор Intel Core i3 4170 3.70 Гц;
• видеокарта GeForce GTX 1050, 2 Гб;
• 16 Гб оперативной памяти.

Это, конечно совсем не быстро и не удобно. На маломощных машинах плагин стоит использовать только в случае, если снимок очень важен и при этом запорот. Для обработки больших объёмов фотографий нужна более совершенная техника.

Чем мощнее ваш компьютер (или ноутбук), тем быстрее будет работать фильтр. Для быстрой и беспроблемной работы хорошо подойдут компьютеры с современным процессором. Желательно, чтобы в компьютере был хотя бы Core i5 от Intel или AMD Ryzen 5.

Для полноценной работы нейросетевых фильтров также нужна видеокарта с объёмом видеопамяти не менее 4 Гб. В качестве бюджетного решения подойдёт GTX 1650 или 1660. Хорошим решением верхне-среднего уровня будет GeForce RTX 3060Ti. А если бюджет неограничен, и вы хотите, чтобы компьютер был актуален ещё несколько лет, берите самую топовую на сегодняшний день GeForce RTX 4090.

Для тех, кто любит готовые решения, есть системный блок в сборке. А чтобы рассмотреть все детали на снимках пригодится качественный монитор.

Если же вы предпочитаете ноутбуки, стоит обратить внимание на следующие модели: MSI Pulse GL76, MSI Bravo 15 B5DD-415XRU, Apple MacBook Pro A2485.

Расфокусированные фотографии с эффектом боке становятся всё более популярными, но обычно они только раздражают. Допустим, вы постарались снять уникальное в своем роде семейное видео только лишь для того, чтобы обнаружить, что изображение размыто и дрожит.

Оказывается, существуют программы, которые могут улучшить резкость фотографий без возни в Photoshop. Хотя в большинстве случаев из размытого фото или видео никогда не сделать резкую и красивую копию, эти инструменты можно использовать для восстановления важных деталей и вернуть резкость, чтобы сделать материал чуть более качественным.

Естественно, не стоит ожидать, что, сделав ряд сильно расфокусированных фотографий, вы отредактируете их так, что они сгодятся на обложку журнала, однако вы можете изощряться в стиле сериала CSI, используя эти приложения, и получить удивительные результаты.

SmartDeblur

SmartDeblur — полностью бесплатное приложение, которым можно пользоваться сколько угодно раз, и во многих отношениях оно дружелюбнее, чем Focus Magic. С другой стороны, его работа не отличается стабильностью (программа зависала несколько, пока я ее тестировал, особенно при загрузке слишком тяжелых изображений), а результаты, которые выдает программа, могут быть разными.

Есть несколько полезных возможностей в SmartDeblur — наличие zoom-опции, а также опции Fit To Window (Подстроить под размер окна). Также можно сравнивать результаты с оригиналом, нажав на «Show Original». Предобзор доступен для всего изображения. Программа содержит образец на котором можно научиться увеличивать резкость, чтобы прочесть размытый текст.

Испытав инструмент на своих собственных фотографиях, я обнаружил, что он не работает так же хорошо как Focus Magic. Но мне удалось получить хорошие результаты с картинкой, содержащей текст.

• Плюсы: Абсолютно бесплатное, обладающее дружелюбным интерфейсом, очень полезное для прочтения на фотографии размытого текста.
• Минусы: Не очень стабильное, не так уж хорошо работает с реальными фотографиями (но испытайте приложение сами, чтобы вынести свой вердикт).

Пытаясь восстановить потерянные детали, вы почувствуете, будто работаете с CSI, но не ожидайте ничего выдающегося.

Focus Magic

Focus Magic — это нечто большее, чем просто программа увеличения резкости. Согласно заявлениям с их сайта, используются «продвинутые криминалистические деконволюционные технологии, которые буквально, как рукой, снимают размытие». В теории, приложение справляется с расфокусированными изображениями и размытыми видео, восстанавливая потерянные детали. Но действительно ли это работает?

Программа Focus Magic далеко не автоматический инструмент. И это огромный минус, поскольку бесплатная пробная версия позволяет выполнить только 10 операций. После этого нужно будет приобрести полную лицензию, которая стоит 45 долларов. После загрузки изображения вам сперва необходимо решить, будете ли фокусировать, убирать размытие при движении, дефокусировать или очищать изображение от мусора. Потом начинается долгий процесс подстройки параметров.

Поскольку возможно увидеть привью лишь для небольшой области изображения, уходит множество попыток, чтобы достичь хорошего эффекта для всей фотографии.

• Плюсы: Выглядит как профессиональный инструмент, с помощью которого действительно можно достичь хороших результатов.
• Минусы: Работа требует множества попыток, но их у пользователя бесплатной версией только 10. К тому же, отсутствует опция изменения масштаба (зума), что доставляет неудобства.

С помощью приложения можно вернуть резкость изображениям, если у вас есть терпение и деньги.

Blurity

Приложение Blurity в отличие от своих конкурентов обладает несколькими особенностями: очень подробным руководством и самодостаточностью. Под самодостаточностью я понимаю способность программы взять на себя тяжелую работу по настройке, если того пожелаете. Если знаете, что делаете, можете получить доступ к продвинутым настройкам, но это совсем необязательно.

После прохождения обучения, можно приступать к обработке. Для этого необходимо поместить красный квадрат на область с сильной размытостью и нажать на кнопку Process. В большинстве случаев на этом всё. Если результаты вас не удовлетворяют, можно переместить квадрат в другую область и попытаться снова. Приложение выполняет свою работу хорошо, ему удалось превратить некоторые размытые фотографии во вполне достойные.

Как видите, минусом являются водяные знаки, которые накладываются на все фотографии, которые вы обрабатываете, используя бесплатную версию приложения. Если вам действительно нравится программа и хотите избавиться от водяных знаков, лицензия будет стоить вам 39$.

• Плюсы: Легкость в использовании, хорошие результаты обработки, с текстом — хуже.
• Минусы: На все обработанные фото накладываются водяные знаки. Лицензия стоит 39$.

Выводы

Хотите – верьте, хотите – нет, но я потратил полдня, исследуя данную тему. Попытавшись повысить резкость у множества размытых фото и видео, я осознал одну вещь — лучше сразу снимать хороший материал. Но если по какой-то причине «план А» не сработал, то вышеперечисленные приложения способны выжать кое-что из вашего материала, но это на самом деле зависит от того, чего вы стремитесь достичь.

Восстановление расфокусированных и смазанных изображений. Практика

Не так давно я опубликовал на хабре первую часть статьи по восстановлению расфокусированных и смазанных изображений, где описывалась теоретическая часть. Эта тема, судя по комментариям, вызвала немало интереса и я решил продолжить это направление и показать вам какие же проблемы появляются при практической реализации казалось бы простых формул.

В дополнение к этому я написал демонстрационную программу, в которой реализованы основные алгоритмы по устранению расфокусировки и смаза. Программа выложена на GitHub вместе с исходниками и дистрибутивами.

Ниже показан результат обработки реального размытого изображения (не с синтетическим размытием). Исходное изображение было получено камерой Canon 500D с объективом EF 85mm/1.8. Фокусировка была выставлена вручную, чтобы получить размытие. Как видно, текст совершенно не читается, лишь угадывается диалоговое окно Windows 7.

И вот результат обработки:

Практически весь текст читается достаточно хорошо, хотя и появились некоторые характерные искажения.

Под катом подробное описание проблем деконволюции, способов их решения, а также множество примеров и сравнений. Осторожно, много картинок!

Вспомним теорию

Подробное описание теории было в первой части, но все же напомню вкратце основные моменты. В процессе искажения из каждого пикселя исходного изображения получается некоторое пятно в случае расфокусировки и отрезок для случая обычного смаза. Все это друг на друга накладывается и в результате мы получаем искаженное изображение — это называется сверткой изображения или конволюцией. То, по какому закону размазывается один пиксель и называется функцией искажения. Другие синонимы – PSF (Point spread function, т.е. функция распределения точки), ядро искажающего оператора, kernel и другие.

Чтобы восстановить исходное изображение нам необходимо каким-то образом обратить свертку, при этом не забывая про шум. Но это не так-то просто – если действовать, что называется, «в лоб», то получится огромная система уравнений, которую решить за приемлемое время невозможно.

Но на помощь к нам приходит преобразование Фурье и теорема о свертке, которая гласит, что операция свертки в пространственной области эквивалентна обычному умножению в частотной области (причем умножение поэлементное, а не матричное). Соответственно, операция обратная свертке эквивалентна делению в частотной области. Поэтому процесс искажения можно переписать следующим образом:

(1),
где все элементы — это фурье-образы соответствующих функций:
G(u,v) – результат искажения, т.е. то, что мы наблюдаем в результате (смазанное или расфокусированное изображение)
H(u,v) – искажающая функция, PSF
F(u,v) – исходное неискаженное изображение
N(u,v) – аддитивный шум

Итак, нам нужно восстановить максимальное приближение к исходному изображению F(u,v). Просто поделить правую и левую часть на H(u,v) не получится, т.к. при наличии даже совсем небольшого шума (а он всегда есть на реальных изображениях) слагаемое N(u,v)/H(u,v), будет доминировать, что приведет к тому, что исходное изображение будет целиком скрыто под шумом.

Чтобы решить эту проблему, были разработаны более устойчивые методы, одним из которых являтся фильтр Винера (Wiener). Он рассматривает изображение и шум как случайные процессы и находит такую оценку f’ для неискаженного изображения f, чтобы среднеквадратическое отклонение этих величин было минимальным:

(2)

Функцией S здесь обозначаются энергетические спектры шума и исходного изображения соответственно – поскольку, эти величины редко бывают известны, то дробь S_n / S_f заменяют на некоторую константу K, которую можно приблизительно охарактеризовать как соотношение сигнал-шум.

Способы получения PSF

Итак, возьмем за отправную точки описанный фильтр Винера — вообще говоря, существует множество других подходов, но все они дают примерно одинаковые результаты. Так что все описанное ниже будет справедливо и для остальных методов деконволюции.

Основная задача — получить оценку функции распределения точки (PSF). Это можно сделать несколькими способами:
1. Моделирование. Очень непросто и трудоемко, т.к. современные объективы состоят из десятка, другого различных линз и оптических элементов, часть из которых имеет асферическую форму, каждый сорт стекла имеет свои уникальные характеристики преломления лучей с той или иной длиной волны. В итоге задача корректного расчета распространение света в такой сложнейшей оптической системе с учетом влияния диафрагмы, переотражений и т.п. становится практически невозможной. И решение ее, пожалуй, доступно только разработчикам современных объективов.
2. Непосредственное наблюдение. Вспомним, что PSF — это то, во что превращается каждая точка изображения. Т.е. если мы сформируем черный фон и одну белую точку на нем, а затем сфотографируем это с нужным значением расфокусировки, то мы получим непосредственно вид PSF. Кажется просто, но есть много нюансов и тонкостей.
3. Вычисление или косвенное наблюдение. Присмотримся к формуле (1) процесса искажение и подумаем, как можно получить H(u,v)? Решение приходит сразу — нужно иметь исходное F(u,v) и искаженное G(u,v) изображения. Тогда поделив фурье-образ искаженного изображения на фурье-образ исходного изображения мы получим искомую PSF.

Про боке

Перед тем как перейдем к деталям, расскажу немного теории расфокусировки применительно к оптике. Идеальный объектив имеет PSF в виде круга, соответственно каждая точка превращается в круг некоторого диаметра. Кстати, это для многих неожиданность, т.к. с первого взгляда кажется, что дефокус просто растушевывает все изображение. Это же объясняет и то, почему фотошоповское размытие Гаусса совсем не похоже на тот рисунок фона (его еще называют боке), который мы видим у объективов. На самом деле это два разных типа размытия — по Гауссу каждая точка превращается в нечеткое пятно (колокол Гаусса), а дефокус каждую точку превращает в круг. Соответственно и разные результаты.

Но идеальных объективов у нас нет и в реальности мы получаем то или иное отклонение от идеального круга. Именно это и формирует неповторимый рисунок боке каждого объектива, заставляя фотографов тратить кучу денег на объективы с красивым боке 🙂 Боке можно условно разделить на три типа:
— Нейтральное. Это максимальное приближение к кругу
— Мягкое. Когда края имеют меньшую яркость, чем центр
— Жесткое. Когда края имеют большую яркость, чем центр.

Рисунок ниже иллюстрирует это:

Более того, тип боке — мягкое или жесткое зависит еще и от того, передний это фокус или задний. Т.е. фотоаппарат сфокусирован перед объектом или же за ним. К примеру, если объектив имеет мягкий рисунок боке в переднем фокусе (когда, скажем, фокус на лице, а задний план размыт), то в заднем фокусе боке того же объектива будет жестким. И наоборот. Только нейтральное боке не меняется от вида фокуса.

Но и это еще не все — поскольку каждому объективу присущи те или иные геометрические искажения, то вид PSF зависит еще и от положения. В центре — близко к кругу, по краям — эллипсы и другие сплюснутые фигуры. Это хорошо видно на следующем фото — обратите внимание на правый нижний угол:

А теперь рассмотрим подробнее два последних метода получения PSF.

PSF — Непосредственное наблюдение

Как уже говорилось выше, необходимо сформировать черный фон и белую точку. Но просто напечатать на принтере одну точку недостаточно. Необходим намного большее отличие в яркости черного фона и белой точки, т.к. одна точка будет размываться по большому кругу — соответственно должна иметь большую яркость, чтобы быть видной после размытия.

Для этого я распечатал черный квадрат Малевича (да, тонера много ушло, но чего не сделаешь ради науки!), наложил с другой стороны фольгу, т.к. лист бумаги все же неплохо просвечивает и иголкой проколол маленькую дырочку. Затем соорудил нехитрую конструкцию из 200-ваттной лампы и сэндвича из черного листа и фольги. Выглядело это вот так:

Далее включил лампу, закрыл ее листом, выключил общий свет и сделал несколько фоток используя два объектива — китовый Canon EF 18-55 и портретник Canon EF 85mm/1.8. Из получившихся фоток я вырезал PSF и затем построил графики профилей.
Вот что получилось для китового объектива:

И для портретника Canon EF 85mm/1.8:

Хорошо видно как меняется характер боке с жествкого на мягкий для одного и того же объектива в случае переднего и заднего фокуса. Также видно, какую непростую форму имеет PSF — она весьма далека от идеального круга. Для портретника также видны большие хроматические аберрации из-за большой светосилы объектива и малой диафрагмы 1.8.

И вот еще пара снимков при диафрагме 14 — на нем видно, как поменялась форма с круга на правильный шестиугольник:

PSF — Вычисление или косвенное наблюдение

Следующий подход — косвенное наблюдение. Для этого, как писалось выше, нам нужно иметь исходное F(u,v) и искаженное G(u,v) изображения. Как их получить? Очень просто — необходимо поставить фотоаппарат на штатив и сделать один резкий и один размытый снимок одного и того изображения. Далее с помощью деления фурье-образа искаженного изображения на фурье-образ исходного изображения мы получим фурье-образ нашей искомой PSF. После чего применив обратное преобразование Фурье получим PSF в прямом виде.
Я сделал два снимка:

И в результате получил вот такую PSF:

На горизонтальную линию не обращайте внимания, это артефакт после преобразования Фурье в матлабе. Результат, скажем так, средненький — очень много шумов и детали PSF видны не так хорошо. Тем не менее, метод имеет право на существование.

Описанные методы можно и нужно использовать для построения PSF при восстановлении размытых изображений. Т.к. от того, насколько эта функция приближена к реальной напрямую зависит качество восстановления исходного изображения. При несовпадении предполагаемой и реальной PSF будут наблюдаться многочисленные артефакты в виде «звона», ореолов и снижения четкости. В большинстве случаев предполагается форма PSF в виде круга, тем не менее для достижения максимальной степени восстановления рекомендуется поиграться с формой этой функции, попробовав несколько вариантов от распространенных объективов — как мы видели, форма PSF может варьироваться в значительной степени в зависимости от диафрагмы, объектива и прочих условий.

Краевые эффекты

Следующая проблема заключается в том, что если напрямую применить фильтр Винера, то на краях изображения будет своеобразный «звон». Его причина, если объяснять на пальцах, заключается в следующем — когда делается деконволюция для тех точек, которые расположены на краях, то при сборке не хватает пикселей, которые находятся за краями изображения и они принимаются либо равным нулю, либо берутся с противоположной стороны (зависит от реализации фильтра Винера и преобразования Фурье). Выглядит это так:

Одно из решений, чтобы избежать этого состоит предобработке краев изображения. Они размываются с помощью той же самой PSF. На практике это реализуется следующем образом — берется входное изображение F(x,y), размывается с помощью PSF и получается F'(x,y), затем итоговое входное изображение F”(x,y) формируется суммированием F(x,y) и F'(x,y) с использованием весовой функции, которая на краях принимает значение 1 (точка целиком берется из размытого F'(x,y)), а на расстоянии равном (или большем) радиусу PSF от края изображения принимает значение 0. Результат получается такой — звон на краях исчез:

Практическая реализация

Я сделал программу, демонстрирующую восстановление смазанных и расфокусированных изображений. Написана она на C++ с использованием Qt. В качестве реализации преобразования Фурье я выбрал библиотеку FFTW, как самую быструю из опен-соурсных реализаций. Называется моя программа SmartDeblur, скачать ее можно на странице github.com/Y-Vladimir/SmartDeblur, все исходники открыты под лицензией GPL v3.
Скриншот главного окна:

Основные функции:
— Высокая скорость. Обработка изображения размером 2048*1500 пикселей занимает около 300мс в режиме Preview (когда перемещаются ползунки настроек) и 1.5 секунды в чистовом режиме (когда отпустили ползунки настроек).
— Подбор параметров в Real-time режиме. Нет необходимости нажимать кнопки Preview, все делается автоматически, нужно лишь двигать ползунки настроек искажения
— Вся обработка идет для изображения в полном разрешении. Т.е. нет никакого маленького окошка предпросмотра и кнопок Apply.
— Поддержка восстановления смазанных и расфокусированных изображений
— Возможность подстройки вида PSF

Основной упор при разработке был сделан на скорость. В итоге она получилась такая, что превосходит коммерческие аналоги в десятки раз. Вся обработка сделана по-взрослому, в отдельном потоке. За 300 мс программа успевает сгенерить новую PSF, сделать 3 преобразования Фурье, сделать деконволюцию по Винеру и отобразить результат — и все это для изображения размером 2048*1500 пикселей. В чистовом режиме делается 12 преобразований Фурье (3 для каждого канала, плюс одно для каждого канала для подавления краевых эффектов) — это занимает около 1.5 секунд. Все времена указаны для процессора Core i7.

Пока в программе есть ряд багов и особенностей — скажем, при некоторых значениях настроек изображение покрывается рябью. Точно причину выяснить не удалось, но предположительно — особенности работы библиотеки FFTW.

Ну и в целом в процессе разработки пришлось обходить множество скрытых проблем как в FFTW (например не поддерживаются изображения с нечетным размером одной из сторон, типа 423*440.). Были проблемы и с Qt — выяснилось, что рендеринг линии со включенным Antialiasing работает не совсем точно. При некоторых значениях углов линия перескакивала на доли пикселя, что давало артефакты в виде сильной ряби. Для обхода этой проблемы добавил строчки:

    // Workarround to have high accuracy, otherwise drawLine method has some micro-mistakes in the rendering
    QPen pen = kernelPainter.pen();
    pen.setWidthF(1.01);
    kernelPainter.setPen(pen);

Сравнение

Осталось сравнить качество обработки с коммерческими аналогами.
Я выбрал 2 самые известные программы
1. Topaz InFocus — www.topazlabs.com/infocus
2. Focus Magic — www.focusmagic.com

Для чистоты эксперимента будем брать те рекламные изображения, которые приведены на официальных сайтах — так гарантируется, что параметры тех программ выбраны оптимальными (т.к. думаю, разработчики тщательно отбирали изображения и подбирали параметры перед публикацией в рекламе на сайте).
Итак, поехали — восстановление смаза:
Берем пример с сайта Topaz InFocus:

www.topazlabs.com/infocus/_images/licenseplate_compare.jpg

Обрабатываем с вот такими параметрами:

и получаем такой результат:

Результат с сайта Topaz InFocus:

Результат весьма схожий, это говорит о том, что в основе Topaz InFocus используется похожий алгоритм деконволюции плюс постобработка в виде заглаживания-удаления шумов и подчеркивания контуров.

Примеров сильно дефокусировки на сайте этой программы найти не удалось, да и она не предназначена для этого (максимальный радиус размытия составляет всего несколько пикселей).
Можно отметить еще один момент — угол наклона оказался ровно 45 градусов, а длина смаза 10 пикселей. Это наводит на мысль о том, что изображение смазано искусственно. В пользу этого факта говорит и то, что качество восстановления очень хорошее.

Пример номер два — восстановление дефокусировки. Для этого возьмем пример с сайта Focus Magic: www.focusmagic.com/focusing-examples.htm

Получили вот такой результат:

Тут уже не так очевидно, что лучше.

Заключение

На этом я хотел бы закончить эту статью. Хотя и много чего еще хотелось написать, но и так уже длинный текст получился. Буду очень признателен, если попробуете скачать SmartDeblur и потестировать на реальных изображениях — у меня, к сожалению, не так много расфокусированных и смазанных изображений, все поудалял.
И буду особо признателен, если пришлете мне (мыло есть в профиле) свой фидбек и примеры удачных/неудачных восстановлений. Ну и просьба сообщать о всех багах, замечаниях, предложениях — т.к. приложение еще пока местами сыроватое и немного нестабильное.
P.S. Исходники пока не очень чистые в плане стиля — там пока куча утечек памяти, еще не успел перевести на смарт-поинтеры, поэтому после нескольких изображений может перестать открывать файлы. Но в целом работает.

Ссылка на SmartDeblur: github.com/Y-Vladimir/SmartDeblur

UPD: Ссылка на продолжение

--
Vladimir Yuzhikov

Дата публикации: 27 января 2023

Дата обновления: 7 февраля 2023

Если изображение слишком маленькое и размытое, можно улучшить фото онлайн с помощью умных машин. Нейросетевые технологии уже научились читать сюжет и композицию, поэтому сами «додумывают» детали и исправляют дефекты. Мы расскажем, какие нейросети для улучшения качества фото в 2023 году можно считать «самыми умными» и эффективными в своей работе.

Все программы из статьи можно протестировать: одни предоставляют пробные версии или промопериод, другие — пакеты на несколько бесплатных обработок.

Посмотрите видео, чтобы узнать про 7 популярных нейросетей:

Оглавление:

1. BigJPG
2. Waifu2x
🔥 [БОНУС] Программа ФотоМАСТЕР
3. Let’s Enhance
4. AI Image Enlarger
5. Vance AI
6. Deep Image
7. Crea8tiveAI
8. Neural Love
9. Colorize.cc
10. icons8 AI Image Upscaler

BigJPG

BigJPG — простой в управлении инструмент для апскейлинга, т.е. масштабирования и улучшения картинок. Максимальный объем загружаемого файла в пробном тарифе 5 МБ. Разрешение до 3000х3000 точек. Вы можете увеличить размеры картинок и сохранить при этом все детали. Новые пиксели «наращиваются» естественным образом — нейросеть подбирает подходящие цвета и линии и гармонично встраивает в графику.

Возможности:

• Детализация изображений. Встроенный модуль искусственного интеллекта повышает качество рисунков и фотографий. Алгоритм усиливает резкость размытых точек, выравнивает текстуры и таким образом улучшает общий вид.
• 20 обработок бесплатно. Вы можете увеличивать картинки и иллюстрации в два или четыре раза от исходного размера. Чтобы результаты были точнее, выбирайте соответствующий режим — «Арт» или «Фотография».
• Устранение шума. Если текстура объекта рябит, на ней видны пиксели, похожие на пятна, используйте функцию шумоподавления. Выберите один из 4 уровней воздействия, чтобы получить четкий кадр без артефактов.

Как повысить качество фото и не потерять готовые работы? Чтобы просматривать историю, авторизуйтесь на сайте. Если не зарегистрироваться в онлайн-сервисе, после закрытия браузера вернуться к результатам будет невозможно.

Waifu2x

Waifu2x — сайт для улучшения качества фото и иллюстраций. Создан японскими программистами и изначально существовал для того, чтобы улучшать аниме-изображения. Но для коррекции обычных фотографий он тоже подходит. Программа работает на алгоритмах машинного обучения и исправляет недостатки кадров в один клик.

Возможности:

• Шумоподавление. В Waifu2x вы можете удалять шум из «мыльных» фотографий, делая их более детализированными. Чтобы получить отличный результат, нужно загружать реально шумные снимки, иначе можно добиться обратного эффекта.
• Ресайзинг. Эта функция искусственно добавляет нужное количество пикселей, благодаря чему изображение становится увеличенным. В Waifu2x можно делать картинки в 1,6 или в 2 раза крупнее. Максимальный вес загружаемого файла 5 МБ.
• Конвертация. Переводите JPEG в WebP, если планируете загружать контент на сайт. Файлы в этом формате быстрее прогружаются и остаются легкими, не теряя деталей. Также можно преобразовывать в PNG.

Сервис работает на русском языке и прост в управлении. Чтобы улучшить качество фото, нужно указать ссылку на нее или загрузить файл с компьютера. Если обрабатываете аниме-изображение или другой рисунок с простыми текстурами, выбирайте режим «Artwork». Для реальных снимков используйте «Фотографию».

[БОНУС] Программа ФотоМАСТЕР

ФотоМАСТЕР — самый доступный редактор с технологиями нейросетей. Здесь нейросеть улучшает качество фото следующим образом:

• Замена неба. Алгоритмы определяют объекты переднего плана и линию горизонта, чтобы вычислить, какая область является небом. После этого вы можете выбрать новое оформление заката, рассвета и облаков — из каталога программы или с ПК. Чтобы «новое» небо смотрелось естественно, его можно переместить выше или ниже горизонта, адаптировать цвета к земле, настроить прозрачность.
• Пластика лица. Искусственный интеллект находит точки лица и распознает, где находятся глаза, нос, губы, подбородок, какой они формы и как посажены. После этого форму и размер черт можно менять вручную.
• Автоматическое улучшение качества фото через нейросеть. Быстро исправит дефекты экспозиции, устранит шумы, сделает цвета насыщеннее. В результате общий вид улучшится, детали станут четкими и контрастными.
• Изменение фона. Пользователю достаточно схематично обозначить объект и фон. Редактор моментально отделит одно от другого и позволит установить новый фон.

Let’s Enhance

Let’s Enhance тоже использует нейронные сети для коррекции снимков. Умный алгоритм увеличивает разрешение до 16 раз без пикселизации. С помощью сервиса можно устранять шумы и размытие, чтобы фотография выглядела профессионально. Также Let’s Enhance поработает с экспозицией и улучшит качество изображения, если при съемке было мало света. В результате вы получите четкую и яркую картинку без пиксельных артефактов.

Возможности:

• Пакетная обработка. В программе можно обрабатывать несколько файлов сразу. Объем разовой загрузки зависит от выбранного тарифа. В бесплатной версии доступна коррекция десяти изображений, но на каждое накладывается водяной знак.
• Увеличение исходного разрешения до 500 мегапикселей. Максимальное увеличение доступно для бизнес-плана. Для остальных пользователей действуют ограничения: для подписчиков платных тарифов — 256 МП, для остальных — 64 МП.
• Три режима работы. Для коррекции портретов и пейзажей используйте «Printing» — он улучшит качество фотографии через нейросеть, устранит шум и сделает разрешение больше. Для кадров с предметной съемки подойдет «E-commerce» — программа сбалансирует оттенки и сделает надписи на товарах более четкими. Для отснятых интерьеров лучше перейти в режим «Real Estate» — в нем применяется HDR-фильтр, из-за чего комнаты приобретают объем и выглядят хорошо освещенными.

Если загрузить файл и сразу начать конвертацию, Let’s Enhance увеличит разрешение всего в два раза. Чтобы сделать кадр в 6-16 раз больше, нужно задать значения размера вручную.

AI Image Enlarger

В бесплатной версии AI Image Enlarger ежемесячно доступно 8 обработок. Максимальный вес каждого файла 5 МБ. Сервис поможет избавиться от шума на плохих исходниках и увеличит их в 2 или 4 раза. Чтобы улучшить качество в 8 раз, потребуется подписка.

Возможности:

• Увеличение без потери деталей. Кадр становится четче благодаря тому, что искусственный интеллект подбирает подходящие по цвету пиксели и заполняет ими дефектные участки. Поэтому снимки выглядят лучше, линии становятся точнее, детали сохраняются без лишних искажений.
• Anime16K. Специальный инструмент, чтобы исправлять недостатки в аниме-изображениях. Лучше всего работает со сплошной заливкой цветом и простыми текстурами. Можно использовать для рисованных картинок и кадров из мультиков.
• Удаление фона и лишних деталей. С помощью инструмента «Волшебный ластик» можно стирать ненужные объекты — провода, посторонних людей, проезжающие машины. Через функцию AI BG удаляется фон. Нейросеть действует корректно и правильно понимает, какие детали следует сохранить — волосы, бахрома на одежде и другие «тонкости» не исчезают. Результат получается естественным.

Также на сайте есть функции для реконструкции архивных фото и инструмент шумоподавления. Чтобы повысить качество картинки, нужно загрузить ее и нажать кнопку — дальше алгоритм все сделает за вас.

Vance AI

Онлайн-приложение с версиями для Windows и macOS. Также Vance AI может работать на телефоне с Android и iOS. Инструментов, действующих по модели искусственного интеллекта здесь несколько. С их помощью можно исправлять дефекты, делать разрешение больше, менять резкость и создавать креативы — мультяшные и рисованные портреты. Vance AI предоставляет 3 конвертации бесплатно, а пакет ежемесячно обновляется.

Возможности:

• AI photo enhancer. Алгоритм сделает разрешение в 2-8 раз больше и улучшит качество фото до 4K. Чтобы ИИ понимал, какую технологию лучше применить, пользователь должен выбрать соответствующий режим редактирования. Их пять: для текста, аниме, компьютерной графики, стандартное увеличение и масштабирование логотипов.
• AI Image Sharpener. Инструмент для работы с размытыми изображениями. Улучшает резкость фотографий, сделанных в движении или испорченных некачественным объективом. Размытый кадр становится четким, имеет гладкие края без ореолов.
• Toongineer Cartoonizer. Занимательная по своему действию технология, которая создает мультяшные образы из реальных портретов людей. Вы можете загрузить в систему любимое селфи и через несколько секунд получите новую аватарку для социальных сетей в стиле манги или аниме.

Также на платформе есть нейросети, которые умеют восстанавливать старые фотографии, удалять задний план и сжимать графические данные без пикселизации.

Deep Image

Этот сервис работает онлайн и доступен бесплатно, но для российских пользователей откроется только через VPN. Deep Image масштабирует до четырех раз и удаляет артефакты сжатия, которые портят общий вид. Один раз инструментами можно воспользоваться бесплатно и обработать пяти картинок — по отдельности или разом. Ежемесячного обновления пакета нет, максимальное разрешение после конвертации 4096×4096 точек.

Возможности:

• Усиление резкости. Делает размытые фотографии детализированными и четкими. Если после обработки в текстурах появляется рябь из пикселей, это можно исправить алгоритмом шумоподавления здесь же на сайте.
• Настройка освещения и цветокоррекция. Нейросеть исправит недоэкспонированный снимок и сделает его ярче. В кадре появится больше света, цвета станут насыщеннее.
• Удаление заднего плана. В один клик стирает фон, делая его прозрачным. После этого можно сохранить файл в PNG и поместить вырезанный объект на любую подложку.

Файлы для обработки добавляются с компьютера или загружаются из Google Диска. После импорта система предложит выбрать формат и откроет список функций. Вы можете выбрать один из предложенных умных инструментов или применить несколько сразу.

Crea8tiveAI

Веб-сервис для бесплатной автокоррекции и масштабирования. Crea8tiveAI содержит инструменты для работы с пейзажами и портретами. Улучшает рисованные от руки и цифровые картины. В платных тарифах онлайн-нейросеть создает аниме-фоны и умеет генерировать лица, фигуры и мультяшных персонажей.

Возможности:

• Апскейлинг. Увеличивает разрешение до 16 раз и маскирует артефакты JPG. В результате вы получаете кадр нужного разрешения, без шумов и пикселизации. С разными типами графики работает по-особому — для реальных портретов и иллюстраций есть отдельные режимы.
• Face Refiner. Алгоритм для автоматической ретуши лиц. ИИ находит на снимке людей и работает непосредственно с портретами — настраивает фокус и корректирует свето-теневой баланс. Подходит для индивидуальных и групповых семейных фото.
• Mono Painter. Раскрашивает черно-белые изображения. Грамотно подбирает цвета и хорошо справляется с колоризацией портретов. Лица, отредактированные Mono Painter, имеют нормальный естественный оттенок, а волосы выглядят натурально.

Также в Crea8tiveAI можно создавать гифки из картинок и рисовать мангу на основе фотографий. Каждый алгоритм работает отдельно. Например, если необходимо сначала раскрасить, а затем увеличить разрешение фото через нейросеть, нужно будет поработать сначала в одной вкладке, затем в другой.

Neural Love

Онлайн-платформа с нейросетью для улучшения фото. Попробовать Neural Love можно бесплатно. В стартовом тарифе дается пять тестовых обработок, которые здесь называются кредитами. За применение каждого инструмента списывается одна. Это значит, что если вы не только хотите увеличить, но и улучшить фото, спишется два кредита, как будто вы провели конвертацию два раза подряд.

Возможности:

• Масштабирование до четырех раз. Neural Love увеличивает размеры и «дорисовывает» пиксели, создавая крупный кадр с очерченными деталями.
• SharpenAI. Превращает расфокусированные объекты в резкие и понятные. ИИ обнаруживает, какие точки оказались размыты и уменьшает их. Если кадр снят на слабую камеру или смазался из-за движения, SharpenAI вернет ему четкость.
• Создание аватаров. Neural Love пригодится, если вы хотите разработать уникальный рисованный портрет для профиля в соцсетях. Загрузите на платформу от 20 до 100 собственных селфи, чтобы нейросеть проанализировала, как вы выглядите с разных ракурсов и в разных условиях. Создание аватара займет у ИИ полтора часа, зато вы получите больше десятка вариантов и сможете выбрать среди них лучший.

А еще на платформе можно дорисовывать композицию. Допустим, у вас есть кадр, в котором нужно обрезать лишнюю деталь с края. Вы сделаете кадрирование, но потеряете первоначальное соотношение сторон, композиция нарушится. Чтобы добавить недостающее поле, используйте Uncrop — он заполнит область подходящей текстурой.

Colorize.cc

AI-сервис, чтобы восстанавливать оцифрованные старые фотографии. Нейронная сеть Colorize.cc анализирует, что изображено на картинке, какие дефекты имеет бумага, и делает нужные исправления. Бесплатно можно три раза восстановить качество изображений.

Возможности:

• Колоризация. Сервис определит, что снято — человек, пейзаж или животное, и подберет актуальные цвета. Черно-белые снимки из семейного архива станут яркими и цветными и будут выглядеть обновленными.
• Реставрация ретро-кадров. Colorize.cc помогает восстановить целостность и красоту старинных фотографий. С его помощью вы сотрете с них царапины и удалите заломы, избавитесь от пятен и сделаете лица более четкими.
• Генератор портретов. Работает с черно-белыми и цветными портретами, где изображен один человек. Если бумага частично выцвела от времени, нейросеть восстановит оттенки — сделает глаза, губы и волосы контрастнее, затонирует кожу. Дефекты в виде сколов и царапин удалятся автоматически.

При использовании бесплатного пакета сервис накладывает водяной знак. Если композиция позволяет, обрежьте нижний край, чтобы избавиться от него.

icons8 AI Image Upscaler

icons8 AI Image Upscaler — условно-бесплатный веб-инструмент для апскейлинга. Вы можете использовать его, чтобы делать увеличение в 2-4 раза. Три конвертации даются здесь бесплатно, с четвертого обработка стоит 0,20$ за каждую загрузку.

Возможности:

• Суперразрешение. Нейросеть проанализировала более 5 миллионов изображений и научилась различать портретные, пейзажные и другие типы снимков. Благодаря этому она грамотно подбирает текстуры и линии и встраивает их при увеличении кадра.
• Повышение резкости и шумоподавление. После конвертирования размытые края объектов становятся четкими и плавными. Артефакты в виде темных и цветных борозд исчезают, оставляя ровную и качественную структуру.
• Доступ к API. Если оплатить подписку, вы сможете встроить инструменты сервиса на сайт. Пользователи будут использовать возможности icons8 AI Image Upscaler прямо на вашей платформе, а вы — получать дополнительный трафик.

Стоимость безлимитной подписки для сервиса такого уровня высоковата — оплата составит 99$ в месяц, а вид готовых работ меняется несущественно. Нейросеть выглядит малообученной — хорошо справляется с простыми текстурами и надписями, но для улучшения кадров с большим количеством деталей не подходит.

Заключение

Теперь вы знаете, как бесплатно улучшить качество фото с помощью новых технологий. Используйте онлайн-сервисы, чтобы увеличивать размеры, устранять шумы и раскрашивать снимки без Фотошопа.

• Для общего улучшения и масштабирования подойдут Crea8tiveAI, BigJPG или Vance AI.
• Для колоризации — Crea8tiveAI или Colorize.cc.
• Для преображения рисунков и текстовых картинок — Neural Love, Waifu2x или
  icons8 AI Image Upscaler.
• Для картинок на маркетплейсы — Let’s Enhance.
• Для удаления фона — AI Image Enlarger, Deep Image.

А если вам нужна программа для персонального компьютера с автоматическими функциями для улучшения фото, скачайте ФотоМАСТЕР.

Вам также может быть интересно: