Как найти картинку по содержанию

Текущая версия страницы пока не проверялась опытными участниками и может значительно отличаться от версии, проверенной 24 ноября 2017 года; проверки требуют 10 правок.

Поиск изображений по содержанию (англ. Content-based image retrieval (CBIR)) — раздел компьютерного зрения, решающий задачу поиска изображений, которые имеют требуемое содержание, в большом наборе цифровых изображений.

Алгоритм поиска должен анализировать содержание изображения, например, цвет представленных на нём объектов, их форму, текстуру, композицию сцены. При отсутствии возможности проанализировать сцену при поиске рассматриваются метаданные: ключевые слова, метки.

История[править | править код]

Термин «Content-based image retrieval» впервые был введен в употребление в 1992 году Т. Като при описании экспериментов с автоматическим поиском изображений по критериям присутствующих цветов и геометрических форм. С того момента его применяют как обобщение процесса выборки изображений из базы по любым синтаксическим характеристикам объектов. Используемые алгоритмы, методы и программные инструменты берут начало в областях, связанных с обработкой сигналов, компьютерным зрением и статистикой.

Развитие[править | править код]

К области поиска изображений по содержательным критериям в настоящее время возрастает интерес, связанный с ограниченностью методов, основанных исключительно на категоризации метаданных, а также растущим потенциалом её применимости. В настоящий момент алгоритмы категоризации и поиска в текстовых данных позволяют довольно эффективно обращаться с описанными изображениями по метаданным, однако такой подход требует ручного описания каждого изображения в базе человеком. Это совершенно непрактично, в особенности в применении к большим базам или изображениям, создаваемым автоматически (например, камерами видеонаблюдения). Плюс ко всему есть далеко не нулевая вероятность упустить одно из целевых изображений поиска из-за многозначности или синонимии.

Потенциальные области применения алгоритмов поиска по содержанию:

• Поиск изображений в сети Интернет
• Каталогизация изображений произведений искусства
• Организация работы с архивами фотографических снимков
• Организация каталогов розничной продажи товаров
• Медицинская диагностика заболеваний
• Предотвращение преступлений и беспорядков
• Военно-оружейное применение
• Вопросы контроля за распространением интеллектуальной собственности
• Получение информации о местоположении удаленных зондов и географическое позиционирование
• Контроль за содержимым массивов изображений

Программные системы и алгоритмы[править | править код]

Несмотря на то, что существует множество программных комплексов по поиску изображений в базах данных, проблема поиска на основе пиксельного содержания в большинстве ситуаций пока не имеет реализованного решения. Смотри список поисковых систем по изображениям.

Способы построения запросов[править | править код]

Различные реализации систем поиска изображений по содержанию работают со следующими типами пользовательских запросов:

Пример результата[править | править код]

Предполагается, что система производит поиск на основе входного изображения, указываемого пользователем. Алгоритмы, составляющие систему, могут иметь различные способы описания и работы с входным изображением, но все результирующие экземпляры изображений должны иметь общие элементы с входом, указанным пользователем.

Пользователь может подать на вход как существующее изображение, так и грубый набросок требуемого результата (разметку на цветные области или простые геометрические формы).^[1]

При данном способе построения запросов не возникает трудностей, связанных с представлением изображения набором слов.

Разрешение семантики запроса[править | править код]

В идеале система поиска должна уметь обрабатывать запросы пользователя, сформулированные в свободной форме, например «найти фотографии собак» или даже «найти портреты Леонида Ильича Брежнева». Запросы такого типа очень сложны для обработки компьютером, ведь фотографии лабрадора и карликового пуделя сильно различаются, а Леонид Ильич не всегда смотрит в камеру в одинаковой позе. В настоящий момент многие системы используют для классификации характеристики низшего уровня, такие как цвет, текстура и форма объекта, хотя существуют и системы, в основном основанные на дифференциации критериев высокого уровня (см. Теория распознавания образов). Большинство систем не являются широко ориентированными. Например, системы поиска изображений, сгенерированных на компьютере, с успехом обходятся признаками, основанными на совмещении форм и градиентов.

Прочие способы[править | править код]

Эта категория включает в себя такие формы запросов, как определение категории в предложенной иерархии, запрос в виде части изображения, ожидаемого в качестве результата, расширение запроса дополнительными изображениями, графичный набросок, состоящий из сложных форм, а также комбинацию методов.

Также возможно постепенное уточнение запроса, когда пользователь в процессе работы системы поиска помечает промежуточные результаты как «подходящие» или «неудовлетворительные», и система продолжает работать с уточнённым запросом.

Методы описания содержания[править | править код]

Здесь представлены наиболее общие методы описания содержания изображений, использующиеся для последующего сравнения их между собой. Все они являются потенциально широко применимыми, то есть не специфическими для какого-либо особенного подкласса систем.

Цвет[править | править код]

Поиск изображений с помощью сравнения цветовых составляющих производится с помощью построения гистограммы их распределения. В настоящий момент ведутся исследования по построению описания, в котором изображение делится на регионы по сходным цветовым характеристикам, и далее учитывается их взаимное расположение. Описание изображений цветами, которые на них содержатся, является наиболее распространённым, так как оно не зависит от размера или ориентации изображения. Построение гистограмм с последующим их сравнением используется наиболее часто, но не является единственным способом описания цветовых характеристик.

Текстура[править | править код]

Методы такого описания работают со сравнением текстурных образцов, присутствующих на изображении, и их взаимного расположения. Для определения текстуры используют тексели, которые объединяют в множества. Они содержат не только информацию, описывающую текстуру, но и её местоположение на описываемом изображении.
Текстуру как сущность сложно формализованно описать, и обычно её представляют в виде двухмерного массива изменения яркости. Также в описание иногда включают меру контраста, направленности градиента, регулярности. Существует проблема сравнения ковариации пикселей с целью присваивания текстурам классов, таких как «гладкая» или «грубая».

Форма[править | править код]

Описание формы предполагает описание геометрической формы отдельных регионов изображения. Для её определения к региону сначала применяют сегментацию или выделение границ. Существуют и другие способы, например фильтрация форм (Tushabe and Wilkinson, 2008). Часто определение формы требует вмешательства человека, так как методы типа сегментации сложно полностью автоматизировать для широкого класса задач.

Применение[править | править код]

Существуют компании, представляющие программные продукты, в которых алгоритмы поиска изображений по содержанию применяются для фильтрации содержимого веб-страниц и государственного мониторинга сетевого трафика с целью отслеживания изображений порнографического содержания.
Примеры:

• Обратный поиск изображений TinEye.com
• Поиск людей по фотографиям PhotoDate.ru

Ссылки[править | править код]

• Query by Image and Video Content: The QBIC System, (Flickner, 1995)
• Finding Naked People (Fleck et al., 1996)
• Virage Video Engine (недоступная ссылка), (Hampapur, 1997)
• Library-based Coding: a Representation for Efficient Video Compression and Retrieval, (Vasconcelos & Lippman, 1997)
• System for Screening Objectionable Images (Wang et al., 1998)
• Content-based Image Retrieval (JISC Technology Applications Programme Report 39) (Eakins & Graham 1999)
• A Probabilistic Architecture for Content-based Image Retrieval, (Vasconcelos & Lippman, 2000)
• A Unifying View of Image Similarity, (Vasconcelos & Lippman, 2000)
• Next Generation Web Searches for Visual Content, (Lew, 2000)
• Image Indexing with Mixture Hierarchies, (Vasconcelos, 2001)
• SIMPLIcity: Semantics-Sensitive Integrated Matching for Picture Libraries (Wang, Li, and Wiederhold, 2001)
• FACERET: An Interactive Face Retrieval System Based on Self-Organizing Maps (недоступная ссылка) (Ruiz-del-Solar et al., 2002)
• Automatic Linguistic Indexing of Pictures by a Statistical Modeling Approach (Li and Wang, 2003)
• Video google: A text retrieval approach to object matching in videos (Sivic & Zisserman, 2003)
• Minimum Probability of Error Image Retrieval (Vasconcelos, 2004)
• On the Efficient Evaluation of Probabilistic Similarity Functions for Image Retrieval (Vasconcelos, 2004)
• Extending image retrieval systems with a thesaurus for shapes (Hove, 2004)
• Names and Faces in the News (Berg et al., 2004)
• Cortina: a system for large-scale, content-based web image retrieval (Quack et al., 2004)
• A new perspective on Visual Information Retrieval (Eidenberger 2004)
• Language-based Querying of Image Collections on the basis of an Extensible Ontology (Town and Sinclair, 2004)
• Costume: A New Feature for Automatic Video Content Indexing (Jaffre 2005)
• Automatic Face Recognition for Film Character Retrieval in Feature-Length Films (Arandjelovic & Zisserman, 2005)
• Algorithm on which Retrievr (Flickr search) and imgSeek is based on (Jacobs, Finkelstein, Salesin)
• Image Retrieval: Ideas, Influences, and Trends of the New Age (Datta et al., 2008)
• Evaluating Use of Interfaces for Visual Query Specification. (Hove, 2007)
• From Pixels to Semantic Spaces: Advances in Content-Based Image Retrieval (Vasconcelos, 2007)
• Content-based Image Retrieval by Indexing Random Subwindows with Randomized Trees (Maree et al., 2007)
• Real-Time Computerized Annotation of Pictures (Li and Wang, 2008)
• Bird, C.L.; P.J. Elliott, Griffiths. User interfaces for content-based image retrieval (неопр.). — 1996.
• Rui, Yong; Thomas S. Huang, Shih-Fu Chang. Image Retrieval: Current Techniques, Promising Directions, and Open Issues (неопр.). — 1999.
• Datta, Ritendra; Dhiraj Joshi, Jia Li, James Z. Wang. Image Retrieval: Ideas, Influences, and Trends of the New Age (англ.) // ACM Computing Surveys  (англ.) (рус. : journal. — 2008. — Vol. 40. — P. 1—60. — doi:10.1145/1348246.1348248.
• Tushabe, F.; M.H.F. Wilkinson. Content-based Image Retrieval Using Combined 2D Attribute Pattern Spectra (англ.) // Springer Lecture Notes in Computer Science : journal. — 2008.

Примечания[править | править код]

Перевод публикуется с сокращениями, автор оригинальной
статьи Anusha Saive.

Вы можете легко вывести свой проект или маркетинговую кампанию на новый уровень с помощью правильных изображений. Если знать, как использовать правильные фильтры для сортировки и ключевые слова, нетрудно получить изображение для любой цели.

Далеко не каждая
поисковая система предоставит вам лучшие изображения. Приступим к
рассмотрению.

1. TinEye

TinEye – инструмент для поиска похожих на
оригинал изображений, требующий, чтобы вы либо ввели URL, либо загрузили картинку, чтобы узнать, откуда она появилась. Эта поисковая система проста в
использовании и отличается дружественным интерфейсом.

Можно также использовать расширение браузера TinEye для быстрого поиска: нажмите правой кнопкой мыши на любое изображение и найдите его.

2. Google Images

Никто не опережает Google Images,
когда дело доходит до поиска изображений. Все, что вам нужно сделать – ввести ключевое слово и нажать «Enter». Для более
детального поиска предлагаются определенные фильтры, предоставляющие широкий
выбор связанных изображений. Этот удобный инструмент дает именно то, что вам
необходимо.

Вы можете выбрать из
большого списка фильтров, представляющих изображения в виде клипарта,
мультфильма, иллюстраций и т. д. Фильтрация позволяет выбрать цвет,
размер, тематику и другую подобную информацию. Чтобы воспользоваться этим
инструментом, найдите значок камеры в поле поиска и нажмите на него.

3. Yahoo Image Search

Yahoo Image Search – еще один удобный вариант для поиска изображений. Он похож на Google Images и дает отличные результаты. В этом продукте
фильтры менее сложны, но удобно расположены и находятся на виду.

4. Picsearch

Если хотите получить более разнообразные результаты по введенному ключевому слову, попробуйте Picsearch.
Эта поисковая система не показывает массу конкретных
результатов, как некоторые другие поисковики, но демонстрирует связанные
изображения по ключевому слову.

Расширенные опции поиска позволяют фильтровать
результаты по размеру, разрешению картинки, заднему фону и т. д.

5. Bing Image Search

Bing IS является лучшей альтернативой Google Images,
поскольку выдает довольно похожие результаты. С точки зрения макета он также
довольно близок к сервису Google и обладает невероятными функциями для поиска людей,
используя параметры лица, головы и плеч.

Доступны многочисленные опции поиска и фильтры.

6. Flickr

Flickr работает несколько
иначе. Это своего рода платформа, где фотографы-любители и профессионалы делятся изображениями. В случае, если вы
находитесь на Flickr для поиска картинок на маркетинговую, брендовую или
коммерческую тематику, обязательно изучите лицензию.

7. Pinterest Visual Search Tool

Pinterest давно всем знаком и многие жить без него не
могут из-за некоторых особенностей инструмента. Одна из них – встроенный
визуальный поиск. Чтобы получить доступ к этой платформе, вам нужно войти в
свою учетку, нажать на любой появившийся в ленте пин,
а затем щелкнуть по значку в правом нижнем углу, связанному с закрепленными в
системе изображениями.

Эта поисковая машина
имеет обширную базу данных и дает лучшие результаты,
соответствующие искомому изображению.

8. Getty Images

Getty
Images выполняет поиск по ключевым словам и по
изображению. Для поиска по ключевым словам существует
несколько вариантов с функциями автоматического предложения. Ресурс предлагает набор фильтров, гарантирующих, что вы получите именно то, что
ищете.

Сервис предоставляет
изображения в двух вариантах: творческие и редакционные, а также видео. Вам
придется заплатить за лицензию, чтобы использовать любую фотографию (ее можно купить в пакетах или поштучно с фиксированной ценой).

9. Яндекс

Яндекс позволяет искать изображения с помощью широкого
спектра фильтров и параметров сортировки по формату, ориентации,
размеру и т. д. Также доступен еще один
инструмент поиска, называемый «Похожие изображения».

10. Shutterstock

Ищете бюджетный вариант с хорошим ассортиментом? Shutterstock – то что нужно. Он отобрал пальму первенства у Getty Images с помощью огромной
библиотеки изображений.

Ресурс позволяет
выполнять поиск изображений любым удобным для вас способом. Ежемесячные и
годовые тарифные планы предполагают варианты с предоплатой или с оплатой после покупки.

11. The New York Public Library Digital Collections

Последний, но не худший
источник. Если вам нужны изображения с высоким разрешением, относящиеся к
исторической эпохе, картам, книгам, бухгалтерской тематике, фотографии и т. д.,
не забудьте поискать в The New York Public Library! Огромный архив изображений – общественное достояние.

Этот инструмент поиска
исторических изображений позволяет уточнить условия, выбрав
результат в зависимости от жанра, коллекции, места, темы, издателя и т.д.

Дополнительные материалы:

• 10 лучших альтернатив YouTube, которые стоит попробовать в 2021 году

Источники

• https://www.fossmint.com/image-search-engines/

Очень часто для разных целей требуется найти в интернете изображения на определённую тему и подходящие по каким-либо другим критериям, например: с прозрачным фоном (чтобы потом не вырезать); определённого размера; с правами на использование, изменение.

Подходящие изображения в интернете может потребоваться найти, например, для создания тизера к своим статьям на блоге, к новостям на сайте, к своим видео для канала в Youtube, а также для многих других задач. Потому что если нет своих подходящих фотографий, созданных вручную картинок, скриншотов, то остаётся только искать в интернете. И искать картинки в интернете ещё нужно уметь!

Поиск изображений в интернете отличается от обычного поиска по сайтам в Google и Яндекс, которым владеет подавляющее большинство. Каждому нужно найти какую-то информацию в интернете, бороздя различные сайты, а кому-то нужно найти товар для покупки или что-то ещё. Для этого пользуются обычным поиском по сайтам, как правило. А вот отдельно именно картинки ищут далеко не все и знаю, не все умеют их искать 🙂

Изображения нужно искать через специальный поиск по картинкам в Google или Яндекс, вводя в поисковый запрос то, что хотели бы увидеть на картинке. Например, хотите найти картинку, где изображён человек, сидящий за компьютером, значит, вводите поисковый запрос “человек за компьютером” или аналогичный. Часто, чтобы найти хорошо подходящее изображение, нужно попробовать разные поисковые запросы.

Пробуйте обе поисковые системы. Если не можете найти какое-то изображение, например, в Google, то попробуйте поискать в Яндекс и наоборот. Результаты поиска по аналогичным запросам могут отличаться.

Наиболее часто применяемые параметры для поиска изображений

1. Поиск «прозрачных» изображений (без фона). Часто может потребоваться найти изображение без фона на заднем плане, чтобы его можно было вставить, например, поверх какого-то готового фона или картинки, не отрезая при этом фон вручную. Обрезка фона отнимет время, а для кого-то станет весьма непростой задачей. Для некоторых изображений — это действительно сложная задача.Пример “прозрачного” изображения (без фона):

   

   Пример изображения с фоном:

   

   Соответственно, если вы захотите такое изображение, как во втором примере (с фоном) наложить на какое-то другое, то придётся сначала его вырезать из фона. А в первом случае, ничего вырезать не потребуется, изображение изначально без фона.

   Если вам нужно найти изображения именно без фона, то проще всего это сделать через поиск Google, поскольку там есть специальный поисковый фильтр для этого.

2. Поиск изображений определённых цветов. Через поисковики вы можете искать картинки определённого цвета или цветовых тонов, например: только чёрно-белые, только в синих тонах (или в любых других); любого цвета; только цветные. Пример. Поиск черно-белых изображений:

   

   Пример. Поиск изображений с синеватым оттенком:

   

3. Определённого размера. Вы можете настроить поиск так, чтобы искать изображения точно указанного размера либо более широком диапазоне: большие, средние, маленькие или которые больше / меньше указанного размера.

4. С определёнными правами на использование. Например, хотите найти картинки, которые разрешено использовать на других сайтах (с лицензией на использование) или картинки, которые можно также изменять (с лицензией на использование и изменение). Такое может пригодиться, если вы, например, хотите найти картинку для использования на своём сайте, без нарушения чьих-то прав на это изображение.

   Такой фильтр поиска доступен на данный момент только в Google.

Ниже рассмотрим как искать изображения по перечисленным выше параметрам в Google и Яндекс.

Поиск картинок в Google

В Google искать картинки чаще всего удобнее чем в Яндекс. Например, именно в Google можно выполнить поиск изображений без фона, потому что в Яндекс такой функции пока что нет, а может и не будет. Там есть лишь похожая функция, но которая работает не так качественно как в Google.

Открываем поиск изображений

Нужно открыть обычный поиск https://www.google.ru/ , после чего переходим в раздел “Картинки”.

Как обычно, вводим поисковый запрос, например:

И из появившегося списка изображений подбираем нужное.

Можно, открыв поиск, сразу ввести поисковый запрос. А уже после выдачи результатов перейти в “Картинки”. Разницы нет.

Поиск изображений в Google по разным параметрам

Прозрачные изображения (без фона) или с выбранным цветом

Под строкой поиска Google нужно открыть раздел “Инструменты” [1], выбрать “Цвет” [2] и нужный вариант, например, “Прозрачные” [3].

В этом случае картинки в поисковой выдаче сразу будут отфильтрованы и останутся только те, что с прозрачным фоном.

Если хотите найти картинки, например, только чёрно-белые, то выбираете соответствующий вариант. Аналогично и с поиском изображений других цветов.

Изображения определённого размера

В разделе «Инструменты» под строкой поиска выберите «Размер». Из появившегося списка выберите один из готовых вариантов поиска, например, большие / средние / маленькие или можно настроить поиск так, чтобы подбирал изображения больше выбранного размера (пункт «больше чем» и укажите минимальный размер).

А если нужно найти изображения прямо определённого размера, то выберите пункт «Точный размер» и укажите значения ширины и высоты.

Помните, что чем точнее указываете размер, тем меньше результатов вам выдаст поиск. Это относится и ко всем остальным фильтрам поиска: чем тоньше настраиваете фильтры, тем меньше результатов выдаст поиск.

Изображения с определёнными авторскими правами

В разделе «Инструменты» выберите «Права на использование» и далее отметьте, изображения с какими авторскими правами вы хотите увидеть в результатах поиска.

Например, если хотите, чтобы отобразились только изображения с правами на использование, то и выбираете соответствующий пункт «С лицензией на использование». Такой вариант имеет место, если вы, к примеру, хотите разместить на своём блоге чужую фотографию и не беспокоиться по поводу того, что нарушили чьи-то права, ведь фотография с лицензией на использование.

Поиск картинок в Яндекс

Поиск изображений в Яндекс тоже со счетов сбрасывать нельзя. Он тоже хорошо ищет, но имеет свои нюансы и, на мой взгляд, недостатков в нём больше, по сравнению с Google. Так или иначе, в Яндекс вы сможете увидеть по одним и тем же запросам картинки, которые не видели через Google.

Открываем поиск изображений

Открываем стандартный поиск Яндекса и переходим в раздел поиска “Картинки”.

Остаётся ввести нужный поисковый запрос и выбрать подходящую картинку.

А можете сначала выполнить поиск, а потом уже перейти в раздел «Картинки».

Поиск изображений в Яндекс по разным параметрам

Изображения без фона («прозрачные») и с выбранным цветовым оттенком

Специального поискового фильтра, чтобы отсеять все картинки, кроме тех, что без фона, в поиске Яндекса нет. Но можно настроить поиск только по картинкам в формате PNG. Именно этот формат поддерживает прозрачность, а значит в поиске будут чаще встречаться изображения без фона.

Чтобы настроить поиск по картинкам формата PNG, под строкой поиска нужно нажать “Показать фильтры”.

Затем выбираем фильтр “Файл” [1] и отмечаем “PNG” [2].

Всё, картинки отфильтруются и в результатах поиска будут отображаться только те, что в формате PNG, а из них будет много встречаться с прозрачным фоном.

Повторюсь, для поиска именно картинок без фона проще пользоваться поиском от Google.

Если нужно найти картинки, где преобладает определённый цвет, то в фильтрах нужно открыть раздел «Цвет» и выбрать нужный цвет. Например, «черно-белые»:

Изображения нужного размера

Если нужно в Яндексе найти картинки каких-то определённых размеров, то в фильтрах поиска выбираем «Размер» и либо внизу указываем точный размер по ширине и высоте, либо выбираем более широкие диапазоны фильтра: большие, средние или маленькие изображения.

Заключение

Найти нужную картинку в интернете под тот или иной случай — задача совсем несложная, если, конечно, требования ваши не слишком высоки. А то, порой, можно очень долго искать подходящее изображение или вовсе его не найти, потому что просто может не быть такой картинки, которая вам нужна по теме, с нужными размерами, фоном и правами на использование / изменение.

Но, пользуясь поиском Google и Яндекс по картинкам, чаще всего можно найти максимально подходящее изображение, если правильно искать!

А вы часто ищите для каких-либо целей изображения в интернете по определённым критериям? Буду рад любой обратной связи, с вопросами, предложениями и простыми комментариями к статье! 🙂

Далеко не всегда можно найти в интернете картинку соответствующую описанию.

Хотя поисковые системы пользуются описаниями к каждому фото, но сами описания могут отражать только общие основные черты содержания картинки. Часто требуются картинки с точными деталями или ракурсом, но в них поисковик не разбирается и выдаёт всю массу картинок более-менее подходящих под описание для анализа самим пользователем.

Причем значительная часть изображений размещённых в интернете может никак не индексироваться поисковыми системами и в выдачу они не попадают.

Более-менее неплохо поисковики справляются с задачей поиска исходников других размеров, но опять же если такие картинки индексированы ими. Попутно могут найтись похожие картинки, но их содержание даже близко может не напоминать цель поиска, хотя бывают иногда и удачи.

Легче всего в сети ищутся платные картинки с различных фотобанков.

Успех и время конкретного поиска может сильно зависеть от описания и точности соответствия, гарантии никто не даст и часто приходится идти на компромисс.