Как исправить фото если оно мутное

Расфокусированные фотографии с эффектом боке становятся всё более популярными, но обычно они только раздражают. Допустим, вы постарались снять уникальное в своем роде семейное видео только лишь для того, чтобы обнаружить, что изображение размыто и дрожит.

Оказывается, существуют программы, которые могут улучшить резкость фотографий без возни в Photoshop. Хотя в большинстве случаев из размытого фото или видео никогда не сделать резкую и красивую копию, эти инструменты можно использовать для восстановления важных деталей и вернуть резкость, чтобы сделать материал чуть более качественным.

Естественно, не стоит ожидать, что, сделав ряд сильно расфокусированных фотографий, вы отредактируете их так, что они сгодятся на обложку журнала, однако вы можете изощряться в стиле сериала CSI, используя эти приложения, и получить удивительные результаты.

SmartDeblur

SmartDeblur — полностью бесплатное приложение, которым можно пользоваться сколько угодно раз, и во многих отношениях оно дружелюбнее, чем Focus Magic. С другой стороны, его работа не отличается стабильностью (программа зависала несколько, пока я ее тестировал, особенно при загрузке слишком тяжелых изображений), а результаты, которые выдает программа, могут быть разными.

Есть несколько полезных возможностей в SmartDeblur — наличие zoom-опции, а также опции Fit To Window (Подстроить под размер окна). Также можно сравнивать результаты с оригиналом, нажав на «Show Original». Предобзор доступен для всего изображения. Программа содержит образец на котором можно научиться увеличивать резкость, чтобы прочесть размытый текст.

Испытав инструмент на своих собственных фотографиях, я обнаружил, что он не работает так же хорошо как Focus Magic. Но мне удалось получить хорошие результаты с картинкой, содержащей текст.

• Плюсы: Абсолютно бесплатное, обладающее дружелюбным интерфейсом, очень полезное для прочтения на фотографии размытого текста.
• Минусы: Не очень стабильное, не так уж хорошо работает с реальными фотографиями (но испытайте приложение сами, чтобы вынести свой вердикт).

Пытаясь восстановить потерянные детали, вы почувствуете, будто работаете с CSI, но не ожидайте ничего выдающегося.

Focus Magic

Focus Magic — это нечто большее, чем просто программа увеличения резкости. Согласно заявлениям с их сайта, используются «продвинутые криминалистические деконволюционные технологии, которые буквально, как рукой, снимают размытие». В теории, приложение справляется с расфокусированными изображениями и размытыми видео, восстанавливая потерянные детали. Но действительно ли это работает?

Программа Focus Magic далеко не автоматический инструмент. И это огромный минус, поскольку бесплатная пробная версия позволяет выполнить только 10 операций. После этого нужно будет приобрести полную лицензию, которая стоит 45 долларов. После загрузки изображения вам сперва необходимо решить, будете ли фокусировать, убирать размытие при движении, дефокусировать или очищать изображение от мусора. Потом начинается долгий процесс подстройки параметров.

Поскольку возможно увидеть привью лишь для небольшой области изображения, уходит множество попыток, чтобы достичь хорошего эффекта для всей фотографии.

• Плюсы: Выглядит как профессиональный инструмент, с помощью которого действительно можно достичь хороших результатов.
• Минусы: Работа требует множества попыток, но их у пользователя бесплатной версией только 10. К тому же, отсутствует опция изменения масштаба (зума), что доставляет неудобства.

С помощью приложения можно вернуть резкость изображениям, если у вас есть терпение и деньги.

Blurity

Приложение Blurity в отличие от своих конкурентов обладает несколькими особенностями: очень подробным руководством и самодостаточностью. Под самодостаточностью я понимаю способность программы взять на себя тяжелую работу по настройке, если того пожелаете. Если знаете, что делаете, можете получить доступ к продвинутым настройкам, но это совсем необязательно.

После прохождения обучения, можно приступать к обработке. Для этого необходимо поместить красный квадрат на область с сильной размытостью и нажать на кнопку Process. В большинстве случаев на этом всё. Если результаты вас не удовлетворяют, можно переместить квадрат в другую область и попытаться снова. Приложение выполняет свою работу хорошо, ему удалось превратить некоторые размытые фотографии во вполне достойные.

Как видите, минусом являются водяные знаки, которые накладываются на все фотографии, которые вы обрабатываете, используя бесплатную версию приложения. Если вам действительно нравится программа и хотите избавиться от водяных знаков, лицензия будет стоить вам 39$.

• Плюсы: Легкость в использовании, хорошие результаты обработки, с текстом — хуже.
• Минусы: На все обработанные фото накладываются водяные знаки. Лицензия стоит 39$.

Выводы

Хотите – верьте, хотите – нет, но я потратил полдня, исследуя данную тему. Попытавшись повысить резкость у множества размытых фото и видео, я осознал одну вещь — лучше сразу снимать хороший материал. Но если по какой-то причине «план А» не сработал, то вышеперечисленные приложения способны выжать кое-что из вашего материала, но это на самом деле зависит от того, чего вы стремитесь достичь.

Дата публикации: 27 января 2023

Дата обновления: 7 февраля 2023

Если изображение слишком маленькое и размытое, можно улучшить фото онлайн с помощью умных машин. Нейросетевые технологии уже научились читать сюжет и композицию, поэтому сами «додумывают» детали и исправляют дефекты. Мы расскажем, какие нейросети для улучшения качества фото в 2023 году можно считать «самыми умными» и эффективными в своей работе.

Все программы из статьи можно протестировать: одни предоставляют пробные версии или промопериод, другие — пакеты на несколько бесплатных обработок.

Посмотрите видео, чтобы узнать про 7 популярных нейросетей:

Оглавление:

1. BigJPG
2. Waifu2x
🔥 [БОНУС] Программа ФотоМАСТЕР
3. Let’s Enhance
4. AI Image Enlarger
5. Vance AI
6. Deep Image
7. Crea8tiveAI
8. Neural Love
9. Colorize.cc
10. icons8 AI Image Upscaler

BigJPG

BigJPG — простой в управлении инструмент для апскейлинга, т.е. масштабирования и улучшения картинок. Максимальный объем загружаемого файла в пробном тарифе 5 МБ. Разрешение до 3000х3000 точек. Вы можете увеличить размеры картинок и сохранить при этом все детали. Новые пиксели «наращиваются» естественным образом — нейросеть подбирает подходящие цвета и линии и гармонично встраивает в графику.

Возможности:

• Детализация изображений. Встроенный модуль искусственного интеллекта повышает качество рисунков и фотографий. Алгоритм усиливает резкость размытых точек, выравнивает текстуры и таким образом улучшает общий вид.
• 20 обработок бесплатно. Вы можете увеличивать картинки и иллюстрации в два или четыре раза от исходного размера. Чтобы результаты были точнее, выбирайте соответствующий режим — «Арт» или «Фотография».
• Устранение шума. Если текстура объекта рябит, на ней видны пиксели, похожие на пятна, используйте функцию шумоподавления. Выберите один из 4 уровней воздействия, чтобы получить четкий кадр без артефактов.

Как повысить качество фото и не потерять готовые работы? Чтобы просматривать историю, авторизуйтесь на сайте. Если не зарегистрироваться в онлайн-сервисе, после закрытия браузера вернуться к результатам будет невозможно.

Waifu2x

Waifu2x — сайт для улучшения качества фото и иллюстраций. Создан японскими программистами и изначально существовал для того, чтобы улучшать аниме-изображения. Но для коррекции обычных фотографий он тоже подходит. Программа работает на алгоритмах машинного обучения и исправляет недостатки кадров в один клик.

Возможности:

• Шумоподавление. В Waifu2x вы можете удалять шум из «мыльных» фотографий, делая их более детализированными. Чтобы получить отличный результат, нужно загружать реально шумные снимки, иначе можно добиться обратного эффекта.
• Ресайзинг. Эта функция искусственно добавляет нужное количество пикселей, благодаря чему изображение становится увеличенным. В Waifu2x можно делать картинки в 1,6 или в 2 раза крупнее. Максимальный вес загружаемого файла 5 МБ.
• Конвертация. Переводите JPEG в WebP, если планируете загружать контент на сайт. Файлы в этом формате быстрее прогружаются и остаются легкими, не теряя деталей. Также можно преобразовывать в PNG.

Сервис работает на русском языке и прост в управлении. Чтобы улучшить качество фото, нужно указать ссылку на нее или загрузить файл с компьютера. Если обрабатываете аниме-изображение или другой рисунок с простыми текстурами, выбирайте режим «Artwork». Для реальных снимков используйте «Фотографию».

[БОНУС] Программа ФотоМАСТЕР

ФотоМАСТЕР — самый доступный редактор с технологиями нейросетей. Здесь нейросеть улучшает качество фото следующим образом:

• Замена неба. Алгоритмы определяют объекты переднего плана и линию горизонта, чтобы вычислить, какая область является небом. После этого вы можете выбрать новое оформление заката, рассвета и облаков — из каталога программы или с ПК. Чтобы «новое» небо смотрелось естественно, его можно переместить выше или ниже горизонта, адаптировать цвета к земле, настроить прозрачность.
• Пластика лица. Искусственный интеллект находит точки лица и распознает, где находятся глаза, нос, губы, подбородок, какой они формы и как посажены. После этого форму и размер черт можно менять вручную.
• Автоматическое улучшение качества фото через нейросеть. Быстро исправит дефекты экспозиции, устранит шумы, сделает цвета насыщеннее. В результате общий вид улучшится, детали станут четкими и контрастными.
• Изменение фона. Пользователю достаточно схематично обозначить объект и фон. Редактор моментально отделит одно от другого и позволит установить новый фон.

Let’s Enhance

Let’s Enhance тоже использует нейронные сети для коррекции снимков. Умный алгоритм увеличивает разрешение до 16 раз без пикселизации. С помощью сервиса можно устранять шумы и размытие, чтобы фотография выглядела профессионально. Также Let’s Enhance поработает с экспозицией и улучшит качество изображения, если при съемке было мало света. В результате вы получите четкую и яркую картинку без пиксельных артефактов.

Возможности:

• Пакетная обработка. В программе можно обрабатывать несколько файлов сразу. Объем разовой загрузки зависит от выбранного тарифа. В бесплатной версии доступна коррекция десяти изображений, но на каждое накладывается водяной знак.
• Увеличение исходного разрешения до 500 мегапикселей. Максимальное увеличение доступно для бизнес-плана. Для остальных пользователей действуют ограничения: для подписчиков платных тарифов — 256 МП, для остальных — 64 МП.
• Три режима работы. Для коррекции портретов и пейзажей используйте «Printing» — он улучшит качество фотографии через нейросеть, устранит шум и сделает разрешение больше. Для кадров с предметной съемки подойдет «E-commerce» — программа сбалансирует оттенки и сделает надписи на товарах более четкими. Для отснятых интерьеров лучше перейти в режим «Real Estate» — в нем применяется HDR-фильтр, из-за чего комнаты приобретают объем и выглядят хорошо освещенными.

Если загрузить файл и сразу начать конвертацию, Let’s Enhance увеличит разрешение всего в два раза. Чтобы сделать кадр в 6-16 раз больше, нужно задать значения размера вручную.

AI Image Enlarger

В бесплатной версии AI Image Enlarger ежемесячно доступно 8 обработок. Максимальный вес каждого файла 5 МБ. Сервис поможет избавиться от шума на плохих исходниках и увеличит их в 2 или 4 раза. Чтобы улучшить качество в 8 раз, потребуется подписка.

Возможности:

• Увеличение без потери деталей. Кадр становится четче благодаря тому, что искусственный интеллект подбирает подходящие по цвету пиксели и заполняет ими дефектные участки. Поэтому снимки выглядят лучше, линии становятся точнее, детали сохраняются без лишних искажений.
• Anime16K. Специальный инструмент, чтобы исправлять недостатки в аниме-изображениях. Лучше всего работает со сплошной заливкой цветом и простыми текстурами. Можно использовать для рисованных картинок и кадров из мультиков.
• Удаление фона и лишних деталей. С помощью инструмента «Волшебный ластик» можно стирать ненужные объекты — провода, посторонних людей, проезжающие машины. Через функцию AI BG удаляется фон. Нейросеть действует корректно и правильно понимает, какие детали следует сохранить — волосы, бахрома на одежде и другие «тонкости» не исчезают. Результат получается естественным.

Также на сайте есть функции для реконструкции архивных фото и инструмент шумоподавления. Чтобы повысить качество картинки, нужно загрузить ее и нажать кнопку — дальше алгоритм все сделает за вас.

Vance AI

Онлайн-приложение с версиями для Windows и macOS. Также Vance AI может работать на телефоне с Android и iOS. Инструментов, действующих по модели искусственного интеллекта здесь несколько. С их помощью можно исправлять дефекты, делать разрешение больше, менять резкость и создавать креативы — мультяшные и рисованные портреты. Vance AI предоставляет 3 конвертации бесплатно, а пакет ежемесячно обновляется.

Возможности:

• AI photo enhancer. Алгоритм сделает разрешение в 2-8 раз больше и улучшит качество фото до 4K. Чтобы ИИ понимал, какую технологию лучше применить, пользователь должен выбрать соответствующий режим редактирования. Их пять: для текста, аниме, компьютерной графики, стандартное увеличение и масштабирование логотипов.
• AI Image Sharpener. Инструмент для работы с размытыми изображениями. Улучшает резкость фотографий, сделанных в движении или испорченных некачественным объективом. Размытый кадр становится четким, имеет гладкие края без ореолов.
• Toongineer Cartoonizer. Занимательная по своему действию технология, которая создает мультяшные образы из реальных портретов людей. Вы можете загрузить в систему любимое селфи и через несколько секунд получите новую аватарку для социальных сетей в стиле манги или аниме.

Также на платформе есть нейросети, которые умеют восстанавливать старые фотографии, удалять задний план и сжимать графические данные без пикселизации.

Deep Image

Этот сервис работает онлайн и доступен бесплатно, но для российских пользователей откроется только через VPN. Deep Image масштабирует до четырех раз и удаляет артефакты сжатия, которые портят общий вид. Один раз инструментами можно воспользоваться бесплатно и обработать пяти картинок — по отдельности или разом. Ежемесячного обновления пакета нет, максимальное разрешение после конвертации 4096×4096 точек.

Возможности:

• Усиление резкости. Делает размытые фотографии детализированными и четкими. Если после обработки в текстурах появляется рябь из пикселей, это можно исправить алгоритмом шумоподавления здесь же на сайте.
• Настройка освещения и цветокоррекция. Нейросеть исправит недоэкспонированный снимок и сделает его ярче. В кадре появится больше света, цвета станут насыщеннее.
• Удаление заднего плана. В один клик стирает фон, делая его прозрачным. После этого можно сохранить файл в PNG и поместить вырезанный объект на любую подложку.

Файлы для обработки добавляются с компьютера или загружаются из Google Диска. После импорта система предложит выбрать формат и откроет список функций. Вы можете выбрать один из предложенных умных инструментов или применить несколько сразу.

Crea8tiveAI

Веб-сервис для бесплатной автокоррекции и масштабирования. Crea8tiveAI содержит инструменты для работы с пейзажами и портретами. Улучшает рисованные от руки и цифровые картины. В платных тарифах онлайн-нейросеть создает аниме-фоны и умеет генерировать лица, фигуры и мультяшных персонажей.

Возможности:

• Апскейлинг. Увеличивает разрешение до 16 раз и маскирует артефакты JPG. В результате вы получаете кадр нужного разрешения, без шумов и пикселизации. С разными типами графики работает по-особому — для реальных портретов и иллюстраций есть отдельные режимы.
• Face Refiner. Алгоритм для автоматической ретуши лиц. ИИ находит на снимке людей и работает непосредственно с портретами — настраивает фокус и корректирует свето-теневой баланс. Подходит для индивидуальных и групповых семейных фото.
• Mono Painter. Раскрашивает черно-белые изображения. Грамотно подбирает цвета и хорошо справляется с колоризацией портретов. Лица, отредактированные Mono Painter, имеют нормальный естественный оттенок, а волосы выглядят натурально.

Также в Crea8tiveAI можно создавать гифки из картинок и рисовать мангу на основе фотографий. Каждый алгоритм работает отдельно. Например, если необходимо сначала раскрасить, а затем увеличить разрешение фото через нейросеть, нужно будет поработать сначала в одной вкладке, затем в другой.

Neural Love

Онлайн-платформа с нейросетью для улучшения фото. Попробовать Neural Love можно бесплатно. В стартовом тарифе дается пять тестовых обработок, которые здесь называются кредитами. За применение каждого инструмента списывается одна. Это значит, что если вы не только хотите увеличить, но и улучшить фото, спишется два кредита, как будто вы провели конвертацию два раза подряд.

Возможности:

• Масштабирование до четырех раз. Neural Love увеличивает размеры и «дорисовывает» пиксели, создавая крупный кадр с очерченными деталями.
• SharpenAI. Превращает расфокусированные объекты в резкие и понятные. ИИ обнаруживает, какие точки оказались размыты и уменьшает их. Если кадр снят на слабую камеру или смазался из-за движения, SharpenAI вернет ему четкость.
• Создание аватаров. Neural Love пригодится, если вы хотите разработать уникальный рисованный портрет для профиля в соцсетях. Загрузите на платформу от 20 до 100 собственных селфи, чтобы нейросеть проанализировала, как вы выглядите с разных ракурсов и в разных условиях. Создание аватара займет у ИИ полтора часа, зато вы получите больше десятка вариантов и сможете выбрать среди них лучший.

А еще на платформе можно дорисовывать композицию. Допустим, у вас есть кадр, в котором нужно обрезать лишнюю деталь с края. Вы сделаете кадрирование, но потеряете первоначальное соотношение сторон, композиция нарушится. Чтобы добавить недостающее поле, используйте Uncrop — он заполнит область подходящей текстурой.

Colorize.cc

AI-сервис, чтобы восстанавливать оцифрованные старые фотографии. Нейронная сеть Colorize.cc анализирует, что изображено на картинке, какие дефекты имеет бумага, и делает нужные исправления. Бесплатно можно три раза восстановить качество изображений.

Возможности:

• Колоризация. Сервис определит, что снято — человек, пейзаж или животное, и подберет актуальные цвета. Черно-белые снимки из семейного архива станут яркими и цветными и будут выглядеть обновленными.
• Реставрация ретро-кадров. Colorize.cc помогает восстановить целостность и красоту старинных фотографий. С его помощью вы сотрете с них царапины и удалите заломы, избавитесь от пятен и сделаете лица более четкими.
• Генератор портретов. Работает с черно-белыми и цветными портретами, где изображен один человек. Если бумага частично выцвела от времени, нейросеть восстановит оттенки — сделает глаза, губы и волосы контрастнее, затонирует кожу. Дефекты в виде сколов и царапин удалятся автоматически.

При использовании бесплатного пакета сервис накладывает водяной знак. Если композиция позволяет, обрежьте нижний край, чтобы избавиться от него.

icons8 AI Image Upscaler

icons8 AI Image Upscaler — условно-бесплатный веб-инструмент для апскейлинга. Вы можете использовать его, чтобы делать увеличение в 2-4 раза. Три конвертации даются здесь бесплатно, с четвертого обработка стоит 0,20$ за каждую загрузку.

Возможности:

• Суперразрешение. Нейросеть проанализировала более 5 миллионов изображений и научилась различать портретные, пейзажные и другие типы снимков. Благодаря этому она грамотно подбирает текстуры и линии и встраивает их при увеличении кадра.
• Повышение резкости и шумоподавление. После конвертирования размытые края объектов становятся четкими и плавными. Артефакты в виде темных и цветных борозд исчезают, оставляя ровную и качественную структуру.
• Доступ к API. Если оплатить подписку, вы сможете встроить инструменты сервиса на сайт. Пользователи будут использовать возможности icons8 AI Image Upscaler прямо на вашей платформе, а вы — получать дополнительный трафик.

Стоимость безлимитной подписки для сервиса такого уровня высоковата — оплата составит 99$ в месяц, а вид готовых работ меняется несущественно. Нейросеть выглядит малообученной — хорошо справляется с простыми текстурами и надписями, но для улучшения кадров с большим количеством деталей не подходит.

Заключение

Теперь вы знаете, как бесплатно улучшить качество фото с помощью новых технологий. Используйте онлайн-сервисы, чтобы увеличивать размеры, устранять шумы и раскрашивать снимки без Фотошопа.

• Для общего улучшения и масштабирования подойдут Crea8tiveAI, BigJPG или Vance AI.
• Для колоризации — Crea8tiveAI или Colorize.cc.
• Для преображения рисунков и текстовых картинок — Neural Love, Waifu2x или
  icons8 AI Image Upscaler.
• Для картинок на маркетплейсы — Let’s Enhance.
• Для удаления фона — AI Image Enlarger, Deep Image.

А если вам нужна программа для персонального компьютера с автоматическими функциями для улучшения фото, скачайте ФотоМАСТЕР.

Вам также может быть интересно:

Восстановление расфокусированных и смазанных изображений. Практика

Не так давно я опубликовал на хабре первую часть статьи по восстановлению расфокусированных и смазанных изображений, где описывалась теоретическая часть. Эта тема, судя по комментариям, вызвала немало интереса и я решил продолжить это направление и показать вам какие же проблемы появляются при практической реализации казалось бы простых формул.

В дополнение к этому я написал демонстрационную программу, в которой реализованы основные алгоритмы по устранению расфокусировки и смаза. Программа выложена на GitHub вместе с исходниками и дистрибутивами.

Ниже показан результат обработки реального размытого изображения (не с синтетическим размытием). Исходное изображение было получено камерой Canon 500D с объективом EF 85mm/1.8. Фокусировка была выставлена вручную, чтобы получить размытие. Как видно, текст совершенно не читается, лишь угадывается диалоговое окно Windows 7.

И вот результат обработки:

Практически весь текст читается достаточно хорошо, хотя и появились некоторые характерные искажения.

Под катом подробное описание проблем деконволюции, способов их решения, а также множество примеров и сравнений. Осторожно, много картинок!

Вспомним теорию

Подробное описание теории было в первой части, но все же напомню вкратце основные моменты. В процессе искажения из каждого пикселя исходного изображения получается некоторое пятно в случае расфокусировки и отрезок для случая обычного смаза. Все это друг на друга накладывается и в результате мы получаем искаженное изображение — это называется сверткой изображения или конволюцией. То, по какому закону размазывается один пиксель и называется функцией искажения. Другие синонимы – PSF (Point spread function, т.е. функция распределения точки), ядро искажающего оператора, kernel и другие.

Чтобы восстановить исходное изображение нам необходимо каким-то образом обратить свертку, при этом не забывая про шум. Но это не так-то просто – если действовать, что называется, «в лоб», то получится огромная система уравнений, которую решить за приемлемое время невозможно.

Но на помощь к нам приходит преобразование Фурье и теорема о свертке, которая гласит, что операция свертки в пространственной области эквивалентна обычному умножению в частотной области (причем умножение поэлементное, а не матричное). Соответственно, операция обратная свертке эквивалентна делению в частотной области. Поэтому процесс искажения можно переписать следующим образом:

(1),
где все элементы — это фурье-образы соответствующих функций:
G(u,v) – результат искажения, т.е. то, что мы наблюдаем в результате (смазанное или расфокусированное изображение)
H(u,v) – искажающая функция, PSF
F(u,v) – исходное неискаженное изображение
N(u,v) – аддитивный шум

Итак, нам нужно восстановить максимальное приближение к исходному изображению F(u,v). Просто поделить правую и левую часть на H(u,v) не получится, т.к. при наличии даже совсем небольшого шума (а он всегда есть на реальных изображениях) слагаемое N(u,v)/H(u,v), будет доминировать, что приведет к тому, что исходное изображение будет целиком скрыто под шумом.

Чтобы решить эту проблему, были разработаны более устойчивые методы, одним из которых являтся фильтр Винера (Wiener). Он рассматривает изображение и шум как случайные процессы и находит такую оценку f’ для неискаженного изображения f, чтобы среднеквадратическое отклонение этих величин было минимальным:

(2)

Функцией S здесь обозначаются энергетические спектры шума и исходного изображения соответственно – поскольку, эти величины редко бывают известны, то дробь S_n / S_f заменяют на некоторую константу K, которую можно приблизительно охарактеризовать как соотношение сигнал-шум.

Способы получения PSF

Итак, возьмем за отправную точки описанный фильтр Винера — вообще говоря, существует множество других подходов, но все они дают примерно одинаковые результаты. Так что все описанное ниже будет справедливо и для остальных методов деконволюции.

Основная задача — получить оценку функции распределения точки (PSF). Это можно сделать несколькими способами:
1. Моделирование. Очень непросто и трудоемко, т.к. современные объективы состоят из десятка, другого различных линз и оптических элементов, часть из которых имеет асферическую форму, каждый сорт стекла имеет свои уникальные характеристики преломления лучей с той или иной длиной волны. В итоге задача корректного расчета распространение света в такой сложнейшей оптической системе с учетом влияния диафрагмы, переотражений и т.п. становится практически невозможной. И решение ее, пожалуй, доступно только разработчикам современных объективов.
2. Непосредственное наблюдение. Вспомним, что PSF — это то, во что превращается каждая точка изображения. Т.е. если мы сформируем черный фон и одну белую точку на нем, а затем сфотографируем это с нужным значением расфокусировки, то мы получим непосредственно вид PSF. Кажется просто, но есть много нюансов и тонкостей.
3. Вычисление или косвенное наблюдение. Присмотримся к формуле (1) процесса искажение и подумаем, как можно получить H(u,v)? Решение приходит сразу — нужно иметь исходное F(u,v) и искаженное G(u,v) изображения. Тогда поделив фурье-образ искаженного изображения на фурье-образ исходного изображения мы получим искомую PSF.

Про боке

Перед тем как перейдем к деталям, расскажу немного теории расфокусировки применительно к оптике. Идеальный объектив имеет PSF в виде круга, соответственно каждая точка превращается в круг некоторого диаметра. Кстати, это для многих неожиданность, т.к. с первого взгляда кажется, что дефокус просто растушевывает все изображение. Это же объясняет и то, почему фотошоповское размытие Гаусса совсем не похоже на тот рисунок фона (его еще называют боке), который мы видим у объективов. На самом деле это два разных типа размытия — по Гауссу каждая точка превращается в нечеткое пятно (колокол Гаусса), а дефокус каждую точку превращает в круг. Соответственно и разные результаты.

Но идеальных объективов у нас нет и в реальности мы получаем то или иное отклонение от идеального круга. Именно это и формирует неповторимый рисунок боке каждого объектива, заставляя фотографов тратить кучу денег на объективы с красивым боке 🙂 Боке можно условно разделить на три типа:
— Нейтральное. Это максимальное приближение к кругу
— Мягкое. Когда края имеют меньшую яркость, чем центр
— Жесткое. Когда края имеют большую яркость, чем центр.

Рисунок ниже иллюстрирует это:

Более того, тип боке — мягкое или жесткое зависит еще и от того, передний это фокус или задний. Т.е. фотоаппарат сфокусирован перед объектом или же за ним. К примеру, если объектив имеет мягкий рисунок боке в переднем фокусе (когда, скажем, фокус на лице, а задний план размыт), то в заднем фокусе боке того же объектива будет жестким. И наоборот. Только нейтральное боке не меняется от вида фокуса.

Но и это еще не все — поскольку каждому объективу присущи те или иные геометрические искажения, то вид PSF зависит еще и от положения. В центре — близко к кругу, по краям — эллипсы и другие сплюснутые фигуры. Это хорошо видно на следующем фото — обратите внимание на правый нижний угол:

А теперь рассмотрим подробнее два последних метода получения PSF.

PSF — Непосредственное наблюдение

Как уже говорилось выше, необходимо сформировать черный фон и белую точку. Но просто напечатать на принтере одну точку недостаточно. Необходим намного большее отличие в яркости черного фона и белой точки, т.к. одна точка будет размываться по большому кругу — соответственно должна иметь большую яркость, чтобы быть видной после размытия.

Для этого я распечатал черный квадрат Малевича (да, тонера много ушло, но чего не сделаешь ради науки!), наложил с другой стороны фольгу, т.к. лист бумаги все же неплохо просвечивает и иголкой проколол маленькую дырочку. Затем соорудил нехитрую конструкцию из 200-ваттной лампы и сэндвича из черного листа и фольги. Выглядело это вот так:

Далее включил лампу, закрыл ее листом, выключил общий свет и сделал несколько фоток используя два объектива — китовый Canon EF 18-55 и портретник Canon EF 85mm/1.8. Из получившихся фоток я вырезал PSF и затем построил графики профилей.
Вот что получилось для китового объектива:

И для портретника Canon EF 85mm/1.8:

Хорошо видно как меняется характер боке с жествкого на мягкий для одного и того же объектива в случае переднего и заднего фокуса. Также видно, какую непростую форму имеет PSF — она весьма далека от идеального круга. Для портретника также видны большие хроматические аберрации из-за большой светосилы объектива и малой диафрагмы 1.8.

И вот еще пара снимков при диафрагме 14 — на нем видно, как поменялась форма с круга на правильный шестиугольник:

PSF — Вычисление или косвенное наблюдение

Следующий подход — косвенное наблюдение. Для этого, как писалось выше, нам нужно иметь исходное F(u,v) и искаженное G(u,v) изображения. Как их получить? Очень просто — необходимо поставить фотоаппарат на штатив и сделать один резкий и один размытый снимок одного и того изображения. Далее с помощью деления фурье-образа искаженного изображения на фурье-образ исходного изображения мы получим фурье-образ нашей искомой PSF. После чего применив обратное преобразование Фурье получим PSF в прямом виде.
Я сделал два снимка:

И в результате получил вот такую PSF:

На горизонтальную линию не обращайте внимания, это артефакт после преобразования Фурье в матлабе. Результат, скажем так, средненький — очень много шумов и детали PSF видны не так хорошо. Тем не менее, метод имеет право на существование.

Описанные методы можно и нужно использовать для построения PSF при восстановлении размытых изображений. Т.к. от того, насколько эта функция приближена к реальной напрямую зависит качество восстановления исходного изображения. При несовпадении предполагаемой и реальной PSF будут наблюдаться многочисленные артефакты в виде «звона», ореолов и снижения четкости. В большинстве случаев предполагается форма PSF в виде круга, тем не менее для достижения максимальной степени восстановления рекомендуется поиграться с формой этой функции, попробовав несколько вариантов от распространенных объективов — как мы видели, форма PSF может варьироваться в значительной степени в зависимости от диафрагмы, объектива и прочих условий.

Краевые эффекты

Следующая проблема заключается в том, что если напрямую применить фильтр Винера, то на краях изображения будет своеобразный «звон». Его причина, если объяснять на пальцах, заключается в следующем — когда делается деконволюция для тех точек, которые расположены на краях, то при сборке не хватает пикселей, которые находятся за краями изображения и они принимаются либо равным нулю, либо берутся с противоположной стороны (зависит от реализации фильтра Винера и преобразования Фурье). Выглядит это так:

Одно из решений, чтобы избежать этого состоит предобработке краев изображения. Они размываются с помощью той же самой PSF. На практике это реализуется следующем образом — берется входное изображение F(x,y), размывается с помощью PSF и получается F'(x,y), затем итоговое входное изображение F”(x,y) формируется суммированием F(x,y) и F'(x,y) с использованием весовой функции, которая на краях принимает значение 1 (точка целиком берется из размытого F'(x,y)), а на расстоянии равном (или большем) радиусу PSF от края изображения принимает значение 0. Результат получается такой — звон на краях исчез:

Практическая реализация

Я сделал программу, демонстрирующую восстановление смазанных и расфокусированных изображений. Написана она на C++ с использованием Qt. В качестве реализации преобразования Фурье я выбрал библиотеку FFTW, как самую быструю из опен-соурсных реализаций. Называется моя программа SmartDeblur, скачать ее можно на странице github.com/Y-Vladimir/SmartDeblur, все исходники открыты под лицензией GPL v3.
Скриншот главного окна:

Основные функции:
— Высокая скорость. Обработка изображения размером 2048*1500 пикселей занимает около 300мс в режиме Preview (когда перемещаются ползунки настроек) и 1.5 секунды в чистовом режиме (когда отпустили ползунки настроек).
— Подбор параметров в Real-time режиме. Нет необходимости нажимать кнопки Preview, все делается автоматически, нужно лишь двигать ползунки настроек искажения
— Вся обработка идет для изображения в полном разрешении. Т.е. нет никакого маленького окошка предпросмотра и кнопок Apply.
— Поддержка восстановления смазанных и расфокусированных изображений
— Возможность подстройки вида PSF

Основной упор при разработке был сделан на скорость. В итоге она получилась такая, что превосходит коммерческие аналоги в десятки раз. Вся обработка сделана по-взрослому, в отдельном потоке. За 300 мс программа успевает сгенерить новую PSF, сделать 3 преобразования Фурье, сделать деконволюцию по Винеру и отобразить результат — и все это для изображения размером 2048*1500 пикселей. В чистовом режиме делается 12 преобразований Фурье (3 для каждого канала, плюс одно для каждого канала для подавления краевых эффектов) — это занимает около 1.5 секунд. Все времена указаны для процессора Core i7.

Пока в программе есть ряд багов и особенностей — скажем, при некоторых значениях настроек изображение покрывается рябью. Точно причину выяснить не удалось, но предположительно — особенности работы библиотеки FFTW.

Ну и в целом в процессе разработки пришлось обходить множество скрытых проблем как в FFTW (например не поддерживаются изображения с нечетным размером одной из сторон, типа 423*440.). Были проблемы и с Qt — выяснилось, что рендеринг линии со включенным Antialiasing работает не совсем точно. При некоторых значениях углов линия перескакивала на доли пикселя, что давало артефакты в виде сильной ряби. Для обхода этой проблемы добавил строчки:

    // Workarround to have high accuracy, otherwise drawLine method has some micro-mistakes in the rendering
    QPen pen = kernelPainter.pen();
    pen.setWidthF(1.01);
    kernelPainter.setPen(pen);

Сравнение

Осталось сравнить качество обработки с коммерческими аналогами.
Я выбрал 2 самые известные программы
1. Topaz InFocus — www.topazlabs.com/infocus
2. Focus Magic — www.focusmagic.com

Для чистоты эксперимента будем брать те рекламные изображения, которые приведены на официальных сайтах — так гарантируется, что параметры тех программ выбраны оптимальными (т.к. думаю, разработчики тщательно отбирали изображения и подбирали параметры перед публикацией в рекламе на сайте).
Итак, поехали — восстановление смаза:
Берем пример с сайта Topaz InFocus:

www.topazlabs.com/infocus/_images/licenseplate_compare.jpg

Обрабатываем с вот такими параметрами:

и получаем такой результат:

Результат с сайта Topaz InFocus:

Результат весьма схожий, это говорит о том, что в основе Topaz InFocus используется похожий алгоритм деконволюции плюс постобработка в виде заглаживания-удаления шумов и подчеркивания контуров.

Примеров сильно дефокусировки на сайте этой программы найти не удалось, да и она не предназначена для этого (максимальный радиус размытия составляет всего несколько пикселей).
Можно отметить еще один момент — угол наклона оказался ровно 45 градусов, а длина смаза 10 пикселей. Это наводит на мысль о том, что изображение смазано искусственно. В пользу этого факта говорит и то, что качество восстановления очень хорошее.

Пример номер два — восстановление дефокусировки. Для этого возьмем пример с сайта Focus Magic: www.focusmagic.com/focusing-examples.htm

Получили вот такой результат:

Тут уже не так очевидно, что лучше.

Заключение

На этом я хотел бы закончить эту статью. Хотя и много чего еще хотелось написать, но и так уже длинный текст получился. Буду очень признателен, если попробуете скачать SmartDeblur и потестировать на реальных изображениях — у меня, к сожалению, не так много расфокусированных и смазанных изображений, все поудалял.
И буду особо признателен, если пришлете мне (мыло есть в профиле) свой фидбек и примеры удачных/неудачных восстановлений. Ну и просьба сообщать о всех багах, замечаниях, предложениях — т.к. приложение еще пока местами сыроватое и немного нестабильное.
P.S. Исходники пока не очень чистые в плане стиля — там пока куча утечек памяти, еще не успел перевести на смарт-поинтеры, поэтому после нескольких изображений может перестать открывать файлы. Но в целом работает.

Ссылка на SmartDeblur: github.com/Y-Vladimir/SmartDeblur

UPD: Ссылка на продолжение

--
Vladimir Yuzhikov