Как найти человека по его фотороботу

Возможность найти профиль человека в соцсети по его фото стала доступна широкой аудитории около пяти лет назад, с появлением зимой 2016 года сайта FindFace.ru и его бесплатного аналога search4face.com в 2017-м.

Но, к сожалению, такие сервисы довольно требовательны к качеству фото. И по снимку, тайком сделанному в полутемном вагоне метро с ракурсом “откуда-то снизу и сбоку” найти человека может быть невозможно.

Да и бывает так, что человек запомнился, хочется узнать про него больше, а фотографий его никаких не сохранилось.

Единственный выход в такой ситуации — попробовать сделать максимально качественный фоторобот (он же фотокомбинированный портрет) интересной вам личности.

Как сделать “фоторобот”?

1. Заходим на сайт Штутгартсткого университета в раздел FaceMaker (http://facemaker.uvrg.org/#).

2. Проходим очень короткий социологический опрос в целях поддержки немецких ученых и получения возможности пользоваться сервисом.

3. После прохождения опроса попадаем в редактор для создания человеческого лица.

При входе сервис случайным образом выбирает пол персонажа (male/female). Если автоматический выбор вам не подходит, то можно зайти на сайт еще раз.

4. После этого можно приступать к “созданию” лица. Можно настроить даже самые маленькие и незначительные детали вроде степени выпуклости рта, толщины бровей и цвета губной помады.

Все изменения сразу видны на модели. Легко разобраться без знания английского языка или словаря.

5. Когда фоторобот готов, надо сделать снимок экрана и вырезать из него лицо.

Как искать по фотороботу человека в соцсетях?

1. Заходим на search4face.com и загружаем на сайт фотографию для поиска. При желании, настраиваем пол, страну, город и возрастной диапазон.

2. Третья снизу девушка оказалась максимально похожей на тот образ, который был в моей голове при составлении фоторобота.

Да и в верхнем ряду 3-я и 4-я тоже довольно похожи на задуманное. Нос и губы совпадают очень четко.

3. Цвет глаз и волос играет огромную роль при поиске. На скрине выше видно, как изменились результаты после изменения этих двух параметров.

Как повысить вероятность позитивного исхода поиска?

1. Самое главное — постараться вспомнить какая черта человека первой бросилась в глаза и на фотороботе максимально ее выделить, не боясь переборщить. Это могут пухлые губы (как в первом примере), массивные щеки, высокий лоб.

Но лучше всего, когда у человека выдающийся и крупный нос.

2. Также при составлении фоторобота не стоит торопиться и потратить на это дело хотя бы полчаса (+ пара пятиминутных перерывов на отдых).

Составить точный портрет человека по памяти — это очень серьезная и непростая задача.

Найти по фотографии человека в интернете возможно несколькими способами.

Прежде чем начать поиск
по фото, требуется раздобыть «портрет» незнакомца. Портрет в нашем случае – это
фотография лица интересуемого человека. Если вы ищите человека с группового
снимка, следует его обрезать, оставив только разыскиваемого. Это увеличит
скорость и точность поиска.

Можно найти человека по фото в соцсетях, единственное, нужно знать в какой именно искать. Существуют специальные сервисы, например, для «ВК» и «Одноклассники». Для сетей, строго следящих за сохранностью личной информации, отыскать подобные сервисы практически невозможно.

Простой, но в тоже время на мой взгляд лучший метод розыска – поисковые системы. Усовершенствованные алгоритмы поисковиков отлично анализируют изображения и находят похожие картинки.

Как
найти человека по фотографии с помощью Яндекс.Картинки 

1. Переходим на https://yandex.kz/images/
2. Жмём иконку фотоаппарата
3. В окне «оверлэй»:
   • Первая вкладка — можно перетащить файл из папки, либо указать место расположения нажав «Выберите файл»
   • Вторая вкладка – можете указать адрес фотографии и нажать «Найти»
4. Под похожими изображениями будут ссылки. Ищите профили в соцсетях. Можно перейти по фотографиям.

Яндекс ищет картинки очень хорошо, однако для качественного определения, желательно использовать оба поисковика.

Картинки Google – поиск
человека по фото

1. Переходим в https://images.google.com/ .
2. Нажимаем на иконку фотоаппарата – «Поиск по картинке». 2-nazhimaem-na-ikonku-fotoapparata-poisk-po-kartinke-google
3. В открывшемся окошке:
   • Вкладка «Указать ссылку» – скопировать и вставить ссылку на изображение и нажать кнопку «Поиск по картинке».
   • Вкладка «Загрузить файл» – нажимаем «Выберите файл» в открывшемся окне «Проводника» указываем место расположение.
4. Загрузятся все похожие изображения. Переходя по фотографиям, можно узнать ФИО, телефон, адрес разыскиваемого человека.

Поиск
по фото с телефона – онлайн

Мобильные браузеры – это программы с урезанными возможностями. В мобильном Chrome поиск по картинке практически невозможен. Единственный вариант, в настройках мобильного браузера, справа, в верхнем углу выбрать «Версию для ПК».

Поиск по фото в Яндекс и Google с телефона практически идентичен на ПК, процедура подробно описана выше.

Альтернативный сервис «Pimeyes«

Довольно неплохой сайт для поиска людей, отлично работает на мобильных устройства.

1. Загружаем браузер Chrome
2. Переходим на сайт: https://pimeyes.com/.
3. Нажимаем фотоаппарат – при первом использовании появится окошко об использовании. Соглашаемся, ставим две галочки.
4. В следующем окне (рисунок ниже):
   •  Нажимаем «Upload files» – указываем, где находится.
   •  «Take a picture» – делаем снимок камерой телефона. Возможно, потребуется доступ к камере для Chrome.
   •  «Paste image URL» – вставляем ссылку.
5. Лучшее соответствие будет помечено 5 звёздами.

Найти
людей по фото в «ВК» и «Одноклассниках» – Сервис search4faces

1. Переходим
   на сайт: https://search4faces.com/
2. Нажимаем
   «Загрузить» — находим изображение в
   телефоне
3. Можно
   указать фильтры, можно оставить как есть
4. Тапаем
   «Найти»
5. Будут
   найдены все похожие изображения

Причины почему ничего не удалось отыскать

• Возраст разыскиваемого. Молодые люди чаще пользуются смартфонами и делятся своими фотографиями.
• Локация человека. В городах люди приобретают новые гаджеты чаще, зачастую для статуса. Показывают всем свою успешность.
• Плохой снимок. Расплывчатые, вне фокуса изображения не подходят для поиска.
• Алгоритмы поисковиков не совершенны.

УДК 621. 391. 037. 372

ПОИСК ЛЮДЕЙ ПО ФОТОРОБОТАМ: СОСТОЯНИЕ ПРОБЛЕМЫ

И ТЕХНОЛОГИИ Г.А. Кухарев”, Ю.Н. Матвеев^’, Н.Л. Щеголеваd

^Западно-Поморский технологический университет в Щецине, Щецин, 70-310, Польша b Университет ИТМО, Санкт-Петербург, 197101, Российская Федерация

c ООО «Центр речевых технологий», Санкт-Петербург, 196084, Российская Федерация, matveev@mail.ifmo.ru, matveev@speechpro.com

d Санкт-Петербургский государственный электротехнический университет (ЛЭТИ), Санкт-Петербург, 197376, Российская Федерация

Аннотация. Обсуждается проблема поиска людей по фотороботам, составленным по словесному портрету. Приводится обзор состояния этой проблемы от исходных понятий и используемой терминологии до современных технологий создания фотороботов, реальных сценариев и результатов поиска. Представлены история развития систем формирования композиционных портретов (фотороботов и скетчей) и идеи, реализованные в этих системах. Обсуждается задача автоматического сравнения фотороботов с оригинальными фотографиями, вскрываются причины недостижимости устойчивого поиска фотопортретов-оригиналов по фотороботам в реальных сценариях. Формулируются требования к базам фотороботов в дополнение к существующим бенчмарковым базам изображений лиц, а также способы реализации таких баз. В рамках этих способов обсуждаются методы генерации популяции фотороботов из исходного фоторобота для повышения результативности поиска по нему фотопортрета-оригинала. Представлен метод повышения индекса подобия в паре фоторобот/фотопортрет, основанный на вычислении среднего фоторобота из сформированной популяции. Показано, что такие фотороботы более подобны портретам-оригиналам и их использование в обсуждаемой проблеме поиска может привести к высоким результатам. При этом сформированные фотороботы отвечают требованиям правдивого сценария, поскольку учитывают возможность неполной информации в словесных портретах. Обсуждаются результаты применения этих методов для баз CUHK Face Sketch database и CUHK Face Sketch FERET database, а также опубликованных в открытой печати фотороботов и соответствующих им фотографий.

Ключевые слова: изображения лиц, фоторобот, скетч.

Благодарности. Данное исследование проводится при частичной финансовой поддержке Правительства Российской Федерации (грант № 074-U01).

PEOPLE RETRIEVAL BY MEANS OF COMPOSITE PICTURES: PROBLEM STATE-OF-THE-ART AND TECHNOLOGIES G.A. Kukharev”, Yu.N. Matveevb, c, N.L. Shchegolevad

“West Pomeranian University of Technology, Szczecin, 70-310, Poland b ITMO University, Saint Petersburg, 197101, Russian Federation

c STC Ltd., Saint Petersburg, 196084, Russian Federation, matveev@mail.ifmo.ru, matveev@speechpro.com d Saint Petersburg Electrotechnical University (LETI), Saint Petersburg, 197376, Russian Federation

Abstract. We discuss the problem of people retrieval by means of composite pictures constructed according to descriptive portrait. An overview of the problem state-of-the-art is provided beginning from the basic concepts and terminology to a modern technology for composite picture creation, real-world scenarios and search results. The development history of systems for forming composite portraits (photo robots and sketches) and the ideas implemented in these systems are provided. The problem of automatic comparison of composite pictures with the original ones is discussed, and the reasons for unattainability of stable retrieval of originals by a composite picture in real-world scenarios are revealed. Requirements to composite pictures databases in addition to the existing benchmark databases of facial images and also methods for implementation of such databases are formulated. Approaches for generation of sketches population from an initial one that increase effectiveness of identikit-based photo image retrieval systems are proposed. The method of similarity index increasing in the couple identikit-photograph based on computation of an average identikit from the created population is provided. It is shown that such composite pictures are more similar to original portraits and their use in the discussed search problem can lead to good results. Thus the created identikits meet the requirements of the truthful scenario as take into account the possibility of incomplete information in descriptions. Results of experiments on CUHK Face Sketch and CUHK Face Sketch FERET databases and also open access identikits and corresponding photos are discussed. Keywords: face images, composite picture, sketch.

Acknowledgements. The work is partially financially supported by the Government of the Russian Federation (grant 074-U01).

Введение в проблему синтеза фотороботов

В течение почти двадцати лет (начиная с работ [1, 2]) не утихает интерес к проблеме автоматического сравнения субъективного портрета, составленного по показаниям свидетелей некоторого криминального события, и оригинальными фотопортретами подозреваемых. Исходной при этом является информация, содержащаяся в показаниях свидетелей, и записанная с их слов (что определяется как словесный портрет подозреваемого человека). По форме исполнения субъективный портрет может быть представлен как рисованный портрет и как композиционный портрет. Рисованный портрет – это штриховой или полутоновый рисунок всей области лица, выполненный художником или криминалистом по словес-

ному портрету [3]. Композиционный портрет представляет собой изображение лица, составленное из его отдельных примитивов (например, бровей, глаз, носа, губ), а также сопутствующих элементов. Последние включают головные уборы, очки, сережки, банты, заколки и т.д. [3]. В свою очередь примитивы могут быть как рисованными (заранее подготовленными), так и состоять из фрагментов фотоизображений лиц. В этих случаях получается рисовано-композиционный или фотокомпозиционный портрет. Метод изготовления фотокомпозиционных портретов из фрагментов фотографий по словесному портрету был предложен в середине прошлого века французским криминалистом П. Шабо [3-6]. Эти портреты П. Шабо назвал фотороботами, и с тех пор все субъективные портреты, независимо от техники их создания и формы представления, стали называть фотороботами.

В зарубежной научно-технической литературе используется другая терминология для фотороботов, основу которой составляет слово скетч (Sketch [7-11]), что в переводе с английского означает «эскиз или набросок». При этом используются следующие основные формы таких фотороботов: Viewed Sketch; Artist Sketch; Composite Sketch; Composite Forensic Sketch.

Viewed Sketch – рисунок, выполненный художником по фотографии или непосредственно по лицу человека, которого видит художник. Часто под формой Viewed Sketch понимают также компьютерный рисунок, автоматически полученный из исходного цифрового изображения лица. Примеры Viewed Sketch-рисунков, выполненных художником по фотографии, показаны на рис. 1 в колонке «б». Дополнительно доработанный художником компьютерный рисунок (Viewed Sketch) определяется как Artist Sketch.

Forensic Sketch – рисунок, выполненный художником-криминалистом по словесному портрету со слов свидетеля. Если для составления скетча используется библиотека примитивов лица, то результат определяется как «Composite Sketch». Примеры Composite Sketch показаны на рис. 1 в колонке «в». Если при этом Composite Sketch составлен криминалистом по словесному портрету, то он определяется как Composite Forensic Sketch.

В настоящее время все фотороботы выполняются с помощью специальных компьютерных программ, позволяющих составлять композиционные портреты по примитивам, выбираемым из встроенной библиотеки этих программ. Первыми и наиболее простыми программами были «IdentiKit», «PhotoFit» и EFIT, более совершенными являются программы «Mac-a-Mug», «Портрет», «Облик» и «FACES», «IdentiKit 2000» [3-6, 8-12]. Основная идея, реализованная в этих программах, – механическая сборка (коллаж) оператором программы области лица из отдельных примитивов, содержащихся в базе. При этом выбранные в общий фоторобот примитивы могут принадлежать формально разным по генотипу людям. Однако поскольку склеивание примитивов и их подгонка по границам и текстуре области лица выполняется методами компьютерной графики, то это создает эффект хорошо выполненного фотопортрета.

Несмотря на представительные базы примитивов лиц и совершенную технику их склеивания в компьютерных программах в общий портрет, а также развитый интерфейс этих программ, качество получаемых фотороботов существенно зависит от опыта специалиста, обслуживающего саму программу, и субъективизма человека, составившего словесный портрет. Например, на рис. 1 видно, что исходное фото и Viewed Sketch практически точно совпадают между собой, что определено способом получения Viewed Sketch. Однако Composite Sketches (фотороботы) менее подобны исходному фото (хотя выполнены именно по нему), а также различаются и между собой, что обусловлено разными характеристиками использованных программ синтеза фотороботов.

W — J У*^

‘W-j!^-‘ ^(Brfc]

а б в

Рис. 1. Исходные изображения (фотопортреты) (а), Viewed Sketches (б) и два варианта Composite

Sketches [9] (в)

Можно также отметить, что этот факт «неподобия» наблюдается практически при любых способах механической сборки фотороботов по отдельным примитивам. И мера этого неподобия растет, если фо-

тороботы формируются не по исходному изображению, а непосредственно по показаниям свидетелей или составленных ими словесных портретов. Ситуация эта еще более усугубляется, если исходный словесный портрет составляется свидетелем по памяти через несколько дней после контакта с подозреваемым (или преступником), когда в памяти свидетеля сохранился уже не полный состав исходных примитивов лица подозреваемого.

Эти факты «неподобия» вызвали новый интерес к созданию более совершенных методов и компьютерных систем построения фотороботов, в результате чего появились системы композиции лиц на основе эволюционных алгоритмов (ЭА) и интерактивных стратегий. В этом случае исходные лица для фотороботов не составляются по отдельным примитивам, а выбираются из базы систем с учетом фенотипа (или особенностей лица, вытекающих из словесного портрета) и рассматриваются как единое целое, а все изменения лиц осуществляются в рамках ЭА и корректируются свидетелем в интерактивном режиме. Наиболее простыми исходными данными по фенотипу могут быть, например, форма головы и (или) особенности отдельных примитивов лица, а также, например, национальные особенности лиц, пол и возраст человека, представленные в словесном портрете.

Первой из систем на основе ЭА и интерактивных стратегий была представлена система К. Соломона «EFITV-V – Eigen FIT version V», а затем и система Чарльза Фровда «EvoFIT – Evolutionary Facial Imaging Technique for Creating Composites» [13, 14]. Обе системы используют представление изображений лиц на основе модели формы (Active Shape Model – ASM) и модели внешнего вида (Active Apperance Model – AAM). При этом ASM определяет контур всего лица, а AAM – его текстуру. Параметры этих моделей представлены 50-ю признаками в собственном подпространстве, основанном на методах анализа главных компонент (Principal Component Analysis – PCA) и преобразовании Карунена-Лоэва (KLT – Karhunen-Loeve Transform). И именно эти параметры моделей изменяются в рамках ЭА на основе процедур клонирования и случайной мутации 50-ти исходных признаков.

В этих системах уже на первой пробе синтеза фоторобота генерируется «популяция» из нескольких лиц, отвечающих как индивидуальности искомого лица (фенотипу), так и случайно измененным его параметрам. Пример такой исходной популяции для системы «EFITV-V» из работы [15] показан на рис. 2, a. Далее свидетелем в интерактивном режиме выбирается тот результат из исходной популяции изображений лиц, который наиболее точно соответствует описанию исходного словесного портрета или отдельным примитивам словесного портрета (например, на рис. 2, а, выбранный результат отмечен кругом). Опираясь на этот результат как на текущую модель фоторобота, система генерирует новую популяцию фотороботов по измененным на основе ЭА параметрам текущей модели. Полученный при этом результат – новая популяция лиц – показан на рис. 2, б (пример также взят из работы [15]).

а б

Рис. 2. Примеры популяции из 9 лиц в системе «EFIT-V» [13]: популяция нескольких изображений лиц,

отвечающих как индивидуальности искомого лица (фенотипу), так и случайно измененным его параметрам, где выбранная свидетелем модель фоторобота отмечена кругом (а); новая популяция изображений лиц, сгенерированная на основе выбранной свидетелем модели фоторобота (б)

Если сравнить обе популяции изображений лиц, представленных на рис. 2, то можно отметить два факта. Факт первый: популяция на рис. 2, а, представляет разные лица, имеющие подобие только по форме волос на голове, но заметные различия по форме головы и базовым примитивам лица. Факт второй: популяция рис. 2, б, действительно представляет генотип лица одного и того же человека с небольшими вариациями его основных особенностей (примитивов). Наконец, теперь уже из этой популяции (рис. 2, б) выбирается то лицо, которое более точно соответствует описаниям исходного словесного портрета или отдельным (ранее не учтенным) его примитивам. Процесс продолжается далее, до полного утверждения (или согласования) свидетелем полученного результата.

Подход, реализованный в системах «EFIT-V» и «EvoFIT», основан на идеях ЭА и интерфейса человек-компьютер, поскольку промежуточные решения ЭА корректируются самим автором исходного словесного портрета. Окончательное решение также определяется автором, что приводит к быстрому и более точному получению окончательного фоторобота. Именно поэтому эти идеи были определены их авторами как стратегия интерактивной эволюции в создании фотореалистичных композиционных лиц (фотороботов). В ряде выполненных экспериментов было показано, что получаемые в рамках данной стратегии фотороботы известных людей настолько близки своим оригиналам, что относительно легко были идентифицированы экспертами (психологами и криминалистами) [15, 16].

Подводя итог настоящему разделу, отметим, что эффект высокого уровня подобия между фотопортретом-оригиналом и синтезированным фотороботом определяется следующими характеристиками стратегии интерактивной эволюции:

1. отказом от механизма «сборки фотороботов» по отдельным примитивам;

2. выбором в качестве исходного фоторобота целостного изображения лица с учетом данных по фенотипу;

3. использованием параметрических моделей изображения лица в собственном пространстве признаков;

4. изменением параметров модели фоторобота на основе ЭА;

5. выбором наилучших решений в рамках интерактивного общения со свидетелем.

Проблемы автоматического сравнения фотороботов с оригинальными фотографиями

Возвращаясь к исходной проблеме, отметим, что построение фотороботов является только первым шагом в решении более общей задачи – задачи автоматического (т. е. без участия человека) поиска соответствий между фотороботом и оригинальным изображением лица. Эта задача появляется, например, при поиске оригинального изображения лица в большой базе данных по заданному фотороботу или при поиске соответствий между фотороботами и лицами людей в системах видеонаблюдений, а также при решении задач взаимного распознавания оригинального фото и скетча.

Как было показано выше, интерактив со свидетелем является чрезвычайно важным (можно сказать, даже принципиальным) в системах «EFIT-V» и «EvoFIT», поскольку только свидетель принимает окончательное решение о подобии фоторобота субъективному портрету. Однако даже фотороботы, построенные в рамках стратегии интерактивной эволюции, не решают проблемы автоматического сравнения фотороботов с оригинальными фотографиями.

Как показали результаты поиска, представленные в работах [10, 11], стабильное распознавание Composite Sketches и Composite Forensic Scetches и устойчивый поиск соответствующих им фотопортретов в специальных криминалистических базах являются на сегодня практически недостижимыми. Этот печальный факт является следствием трех основных причин:

1. низким качеством скетчей, отображающих реальный словесный портрет;

2. несовершенством методов взаимного распознавания пары скетч-фотопортрет;

3. отсутствием необходимых для этих случаев баз фотопортретов и соответствующих им фотороботов.

Первая причина определяется технологией перевода имеющегося словесного портрета в соответствующее изображение. И здесь мы сталкиваемся с субъективизмом свидетелей, как правило, случайных людей, не связанных с криминалистикой, и особенностями их внимания и описания подозреваемого, сложенным с участием свидетеля в процессе перевода словесного портрета в скетч и высокой ответственностью свидетеля за ошибки. Очевидно, что лучшее решение здесь можно получить при использовании систем «EFIT-V» и «EvoFIT», хотя это и не всегда возможно на практике. В этом случае либо отсутствует возможность использования подобного класса систем, либо отсутствует возможность интерактивного общения со свидетелем, либо, наконец, интерактивное общение проходит так поздно (через несколько дней), что свидетель утрачивает (забывает) часть важной информации о подозреваемом.

Вторая причина связана с неразвитостью методологии (идей, методов, подходов и практических решений) сравнения изображений скетч-фотопортрет, если скетчи выходят за рамки классов Viewed Sketch и Artist Sketch, а также отсутствием опыта такого сравнения ввиду недоступности информации по объектам сравнения (например, личностей криминального характера).

Третья причина является следствием неприспособленности «старых баз фотопортретов» преступников к современным компьютерным технологиям обработки изображений в лицевой биометрии. Кроме того, практически отсутствуют доступные специальные оценочные (бенчмарковые) базы данных, в которых каждый класс содержит оригинальный фотопортрет и различные варианты (или вариации) скетчей для него. Следует отметить, что из перечисленных причин третья является основополагающей: именно она не позволяет развивать методологию сравнения изображений скетч-фотопортрет, поскольку отсутствует объект исследований, что ограничивает или сдерживает выполнение задач сравнения на практике.

Именно поэтому исследователи обратились к задачам создания баз скетчей в дополнение к известным бенчмарковым базам изображений лиц [17, 18], к разработке методов сравнения скетчей с соответствующими фотопортретами и к моделированию задач поиска фотопортретов по заданным скетчам [6-9, 17-21]. В результате этого появились первые базы скетчей, наиболее популярные среди которых -CUHK Face Sketch database (CUFS) и CUHK Face Sketch FERET database (CUFSF), содержащие фото и полученные по ним скетчи классов Viewed Sketch и Artist Sketch [15, 16]. Кроме того, в работах [19-23] предложены новые идеи автоматического построения скетчей из исходных фотопортретов людей и методы их сравнения. При этом исследования выполнены на базах CUHK и CUFSF, а результатом являлись также скетчи класса Viewed Sketch. Если же говорить о методах сравнения фото и скетчей, то можно отметить следующее: использование достаточно сложных методов обработки в приложении к скетчам из баз CUHK и CUFSF не является оправданным. Возможно, большую роль здесь сыграла «мода» на перечисленные ниже методы, а не обоснованность их выбора. Среди них: скрытые марковские модели (HMM – Hidden Markov Models), методы на основе CITE (coupled information-theoretic encoding) и CITP (coupled information-theoretic projection), методы SIFT (Shift Invariant Feature Transform) и LBP (Local Binary Pattern), гистограммы BPH (Binary Pattern Histogram) и др., использованные в работах [8, 9, 17-23]. Заметим также, что при представлении результатов взаимного распознавания фото—скетч в рамках баз CUFS и CUFSF в этих работах недостаточно ясно изложены не только методы обработки, но и параметры обучающих и тестовых выборок изображений, что не позволяет однозначно представить модель выполненных экспериментов. А это существенно затрудняет оценку представленных результатов, не позволяет проверить реализованную модель выполненных экспериментов и использовать полученные результаты в рамках мета-анализа.

Состояние дел по этим проблемам (подходы, решения, результаты и их анализ) было представлено в работах [24, 25] и в настоящей работе дальше не анализируется.

Какие базы скетчей нужны сегодня?

База CUHK содержит скетчи, сгенерированные автоматически из исходных фото и дорисованные художниками, и включает 188 пар фото-скетч. База CUFSF содержит скетчи, передающие основные особенности портретов людей из базы FERET и особенности их лиц, но с элементами изменений (небольшого преувеличения с элементами карикатуризма), внесенными художником. Обе эти базы фактически составлены из скетчей, которые были определены выше как Artist Sketch.

Различие способов получения скетчей базы CUFS и базы CUFSF привело к тому, что первые из них распознаются простыми методами [24, 25] с большей эффективностью (почти до 100%), в то время как вторые также распознаются простыми методами, но только при очень точном согласовании размеров и ориентации области лица в плоскости XY. К сожалению, на сайте [18] доступны только выделенные изображения (cropped sketches) скетчей крайне низкого качества (по разрешению, размерам и текстуре), что практически не позволяет проводить с ними репрезентативные исследования.

Пример согласования выделенных областей лиц базы FERET и соответствующих им скетчей базы CUFSF [18] приведен на рис. 3.

В сравнении с выделенными скетчами (cropped sketches) из базы [18], на скетчах рис. 3, б, можно увидеть дополнительную ретушь областей лиц и элементов на ней (лба, носа, рта…). И, как видно, эти операции выполнены «вручную», т. е. не в автоматическом режиме обработки изображений. Кроме того, текстура на области лиц «выглажена» низкочастотной фильтрацией. И, наконец, выполнено согласование основных антропометрических параметров (линии глаз, расстояния между центрами глаз и т.д.).

Возможно, что для введения в задачи исследования методов сравнения скетчей и фото и их взаимного распознавания такое выравнивание необходимо. Однако, если исходить из реальных задач и, например, криминальных событий и сценариев (где актуальной становится задача поиска подозреваемого по заданному скетчу), то «условие выравнивания лиц по антропометрике» практически недостижимо. И это связано с тем, что заранее неизвестно, как выглядит оригинальное фото подозреваемого, а, следовательно, неизвестны и параметры лица на фото, и в какой степени будет оно соответствовать имеющемуся словесному портрету (и сгенерированному по нему скетчу).

Обратимся к рис. 4, где показаны пары фото/фоторобот (Composite Forensic Sketches), и отметим, что между фото и фотороботом нет такого высокого подобия, которое наблюдается, например, в соответствующих парах на рис. 1 или рис. 3.

б

Рис. 3. Примеры согласования областей лиц на фото (а) и скетчах [18] (б)

На рис. 4 на всех четырех парах фото/скетч заметно различие размеров (высоты и ширины) областей лиц, размеров и положения примитивов на лицах, а также нарушение симметрии областей лиц и различие в ориентации взгляда. Естественно, что сравнение таких скетчей с фотооригиналами, ориентированными, как правило, анфас и нормализованными по стандарту, будет весьма затруднительным или практически невозможным.

При этом возникает новый вопрос: как же тогда сравнивать между собой скетчи и фотооригиналы? И здесь напрашивается аналогия с теми стратегиями, которые реализованы в системах «EFIT-V» и «EvoFIT». Ответ получаем такой: каждый исходный скетч должен быть несколько раз модифицирован и представлен с новыми параметрами по геометрии областей лиц (размеру, симметрии, сдвигу) с целью создания «новой популяции» таких скетчей. Данная модификация как бы сымитировала получение K>1 скетчей от «группы из K свидетелей». И, уже в рамках этой популяции, можно решить задачу сравнения скетчей с фотооригиналом. Собственно само сравнение может выполняться со средним (для всей популяции) скетчем или с каждым скетчем из полученной популяции на основе мажоритарных механизмов или, например, на основе смеси экспертов (Mixtures of experts). И только в таком случае можно надеяться на хороший результат сравнения!

б

Рис. 4. Фотографии (а) и соответствующие им скетчи, составленные по описаниям свидетелей (данные с сайта http://prikol.i ua/view/474038) (б)

Именно эти факты послужили отправной точкой для предложенных в работах [22, 23] подходов по генерации нового состава (популяции) скетчей из любого заданного исходного скетча. Причем механизм получения этих своеобразных популяций скетчей реализуется достаточно просто, что показано и о чем свидетельствуют результаты экспериментов на примере баз и CUFSF, представленные в работах

[24, 25]. Справедливости ради отметим, что подобные же результаты можно было бы получить и на основе подходов для генерации «популяции карикатур», изложенных в работе [26]. Однако решения в [26] основаны на точных моделях форм (ASM) и моделях внешнего вида (AAM) изображений лиц, линейных преобразованиях между двумя изображениями (основанных на PCA и KLT) и различных вариантах перекомпоновки и «преувеличения» компактных областей лиц или примитивов лиц. С учетом этого отметим, что подход [26] проигрывает подходам [24, 25] по сложности алгоритмов генерации требуемых популяций лиц. А высокая точность моделей внешнего вида, достигаемая в подходе [26], совершенно не обязательна в задаче генерации популяции скетчей, поскольку, по определению, мы не знаем того фотопортрета, к которому принадлежит заданный нам скетч.

В следующем разделе, в отличие и в дополнение к [24, 25], приводится полное описание процесса генерации «популяции скетчей» и исследуются их характеристики на примере Composite Forensic Sketches. Хотя вместо скетчей можно генерировать и популяции новых фотопортретов из некоторого заданного фотопортрета (например, из портрета mug-shot, часто используемого в криминалистике [10, 11]).

Алгоритм генерации «популяции скетчей»

Блок-схема алгоритма генерации «популяции скетчей» приведена на рис. 5. По этому алгоритму из исходного скетча (поданного на вход 1) формируются K>2 новых скетчей с небольшими геометрическими изменениями области лица. На вход 2 подаются параметры изменений скетчей.

Рис. 5. Алгоритм генерации популяции скетчей, где 1 и 2 – входы для данных и параметров

Пусть задана матрица S размером MxN, представляющая исходное изображение скетча в формате GRAY. При этом примем, что область лица на скетче занимает не менее 80% всего исходного изображения, что определено, например, биометрическими стандартами.

Для каждого значения к = 1, 2, …, K сформируем три параметра p, p2 и p3 с использованием генератора случайных чисел и отмасштабируем их значения в диапазоне ± d так, что

pt = sign(R)fix(dR™), для i = 1, 2, 3, (1)

где pi – параметр; d – выбранное значение изменения параметров, причем 1< d < ст; ст – максимальное значение границ изменения параметров; R^ и R^ – нормально и равномерно распределенные случайные числа; sign (R’-1) – знак числа.

При этом параметры pj и p2 связаны с изменением длины и ширины лица на исходном изображении, что приводит к изменению положения линии глаз и расстоянию между центрами глаз. Параметр p3

связан с изменением положения линии симметрии на области лица. А параметр ст может быть, например, связан с числом пикселей, на которые изменяется (увеличивается или уменьшается) центральная область лица, положение линии глаз и расстояния между центрами глаз или оси симметрии лица. Далее алгоритм геометрических изменений области лица складывается из трех шагов, на каждом из которых выполняется одна операция изменения геометрии области лица.

Шаг 1. Еслир1 > 0, то удаляем первые (Р1-1) строк из матрицы 8. Еслир1 < 0, то удлиняем матрицу 8, дописывая ее первые (р1-1) строк сверху матрицы 8. Указанные действия можно записать следующим образом:

Ч1)(……..ЛГ) [ Я(Р1 : М,:), ^ р > 0

Sw (var x N ) = { 1 1 , (2)

‘ [S(1: abs(pl); S], if p <0

где S(1) (var^N) – матрица с уменьшенным или увеличенным числом строк, что определено параметром

«var».

Далее выполняем перемасштабирование матрицы S(1) до ее первоначального размера MxN так, что S(1)(var xN) ^S;i)(MxN). (3)

При этом длина лица в матрице-результате S(1) в (3) увеличивается, если выполнялось условие p1 > 0, или уменьшается, если выполнялось условие p1 < 0. При этом линия глаз и линия рта смещаются вверх или вниз. Заметим, что интересующее нас изменение области лица скетча будет находиться в пределах текущих значений d от исходной длины лица.

Шаг 2. Далее, если p2 > 0, то удаляем первые (p2-1) столбцы из матрицы S(1). Если p2 < 0, то удаляем последние (p2-1) столбцы матрицы S(1). Указанные действия можно записать следующим образом:

Г S(1)(:, p2 : N), if p2 > 0

S(2)(M x var) = к F2 ‘ F2 (4)

[ S(1)(:, 1: N – abs(p2 )), if p2 < 0

При этом матрица-результат S(2) в формуле (4) становится на abs(p2-1) столбцов меньше при любом значении p2.

Далее опять выполним перемасштабирование матрицы S(2) до первоначального размера MxN: S(2)(M xvar ) ^S(2)(Mx N), (5)

что неминуемо приведет к расширению области лица в поле изображения и к асимметрии области лица. При этом без учета изменения длины области лица в (3) расширение области лица по (5) определится величиной, близкой к значению d.

Шаг 3. Выполним циклический сдвиг матрицы S(2) влево на (p3-1) столбцов, если p3 > 0, или вправо, если p3 < 0. Этот шаг запишем следующим образом:

(3) Г [S(2)(:,p3 +1: N) S(2)(:, 1: p3)], ifp3 > 0;

S(3)(M x N) = ^ 3 3 3 (6)

[ [S(2)(:, 1: N – abs(p3)+1: N) S(2)(:, 1: N – abs(p3))] , if p3 < 0,

что приводит к циклическому сдвигу всего изображения скетча, нарушающему его симметрию относительно центральной линии симметрии лица.

Теперь перепишем формулу (6) в новой форме:

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.

S(i) =s®, (7)

где матрица-результат (7) представляет собой новый скетч.

Запишем результат S(k) в память и перейдем снова к формированию параметров p1, p2 и p3 и далее к шагам 1-3, вплоть до формирования нового скетча S(k1) в соответствии с (1)-(7) и т.д.

Теперь ответим на следующие вопросы: как и чем оценить меру подобия между исходным фото и соответствующим ему скетчем? Должно ли их внешнее сходство (видимое человеку) соответствовать некоторому формальному показателю? И что нам важнее – видимое человеком внешнее сходство фото и скетча или формальная оценка этого сходства? Эти вопросы особенно актуальны в связках «свиде-тель^словесный портрет^скетч» и «скетч^найденное по нему фото». Некоторые ответы на эти вопросы можно найти в работах [24-28]. Ниже дополним эти ответы новым анализом результатов и обзором по ним.

Метод повышения индекса подобия в паре скетч-фото

В работах [24, 25] было показано, что, если скетчи получаются непосредственно из исходных фотопортретов (Viewed Sketch или Artist Sketch), то они распознаются простыми системами со 100% результатом. Однако, как только эти скетчи пройдут этап локальных изменений области лица, результативность их распознавания существенно снижается. Отмеченные факты вполне объяснимы, поскольку мы изменили локальную структуру скетчей, добиваясь приближения их к ситуации, отвечающей правдивому сценарию. Подобные ситуации возникают при композиции скетчей по словесному портрету или при автоматическом получении скетчей для неточно заданных (или неполных) параметров «исходных данных». Если

же рассуждать на уровне «субъективного и формального подобия», в рамках полученной популяции скетчей мы сохранили их субъективное внешнее сходство с исходным скетчем, но существенно уменьшили значение формального параметра подобия – индекса структурного подобия (Structural SIMilarity Index – SSIM [27, 28]). Индекс SSIM (ISSIM) позволяет оценить степень подобия (искажения) двух изображений как комбинацию трех факторов: яркостных изменений, изменений контраста и потери корреляции между изображениями. При этом, поскольку результативность распознавания скетчей линейно связана со значением ISSIM, нашей следующей задачей является проведение нового (дополнительного) этапа обработки, сохраняющего субъективное внешнее сходство скетчей, но существенно увеличивающее значение индекса ISSIM.

Рис. 6. Блок-схема алгоритма создания новой популяции скетчей: блок 1 – ввод исходного скетча; блок 2 – кумулятивное суммирование всех поступающих скетчей; блок 3 – вычисление текущего среднего

скетча; блок 4 – запись результата в память

Исходный

Популяция 1

«А * * + Л

V- …..<§>

А А ^

| 1 . . . | .’ ‘ ч Популяция 2

‘к* Ш )

Выход

Рис. 7. Структура метода формирования популяции скетчей: блок 1 – генератор параметров Р1(к), Р2(к), рз(к); блок 2 – генератор случайных чисел; блок 3 – формирование К новых скетчей с локальными изменениями области лица; блок 4 – суммирование скетчей

Однако это не может быть операция, обратная той, что была описана выше, поскольку мы и дальше исходим из предположения «неполного знания параметров исходного фотопортрета» или «полного незнания этих параметров». Это будет этап создания новой популяции скетчей, предложенный в [24, 25],

идеи которого представляет рис. 6. Здесь на вход 1 последовательно поступают К скетчей 8®, представ_

ленных матрицами данных размером М*Ы. На выходе также получаем К новых скетчей 8 , что достигается кумулятивным суммированием всех поступающих скетчей и вычислением текущего среднего скетча

= (£•=! Ь^/к, для к = 1, 2, . . . , К. (8)

Операция кумулятивного суммирования (8) реализуется в блоках 2 и 3. Результат записывается в память (на промежуточном этапе это может быть память типа FIFO – блок 4), что показано на рис. 6. На рис. 7 показан фрагмент взаимодействия блоков 3 и 4, где под номером 4 показана линейка сумматоров.

Анализ результатов

Теперь покажем, что скетчи популяции 2 имеют более высокий индекс подобия с исходным изображением, чем скетчи, полученные в популяции 1.

Рассмотрим рис. 8, на котором показаны исходный фотопортрет (рис. 8, б) и соответствующие ему скетчи из [17]: Viewed Sketch (рис. 8, а) и Artist Sketch (рис. 8, в). На рис. 8, г, показаны значения индекса SSIM между исходным фотопортретом и Viewed Sketch из популяции 1 (нижняя кривая П1) и популяции 2 (верхняя кривая П2). На рис. 8, д, показаны значения индекса SSIM между исходным фотопортретом и Artist Sketch из популяции 1 (нижняя кривая П1) и популяции 2 (верхняя кривая П2). Кривые значений ISSIM приведены для 9 скетчей из этих популяций. Прямые горизонтальные линии отмечают пороги 0,62 и 0,495 как значения индекса подобия между фотопортретом (рис. 8, б) и исходными скетчами (рис. 8, а, в).

ISSIM ISSIM

Рис. 8. Изменения индекса SSIM для исходных скетчей и сгенерированных популяций скетчей:

Sketch (а); исходный фотопортрет (б); Artist Sketch (в); значения индекса SSIM между исходным фотопортретом и Viewed Sketch из популяции 1 (нижняя кривая П1) и популяции 2 (верхняя кривая П2) (г); значения индекса SSIM между исходным фотопортретом и Artist Sketch из популяции 1 (нижняя кривая П1)

и популяции 2 (верхняя кривая П2) (д)

Как видно из приведенных результатов, значения индекса SSIM для скетчей, сформированных в популяции 2, выше порога сравнения в обоих случаях. Таким образом, можно утверждать, что скетчи из популяции 2 ближе к портретам-оригиналам и, следовательно, качество этих скетчей стало выше. При этом сформированные скетчи отвечают требованиям правдивого сценария, поскольку учитывают возможность неполной информации о портретах-оригиналах – неточно заданных или неполных параметрах «исходного фотопортрета».

А теперь покажем, что предлагаемый способ повышения качества скетчей может быть применен также и для фотороботов, применяемых в криминалистической практике. Используем фоторобот из работы [10], который интересен тем, что был распознан при ранге 72, т.е. портрет-оригинал для него находился на 72 месте в последовательности найденных по нему результатов.

На рис. 9 приведены: оригинальное фото (рис. 9, а) и соответствующий ему фоторобот (рис. 9, б) из работы [10], а также значения индексов SSIM между ними в сформированных популяциях. В верхнем ряду показаны: портрет-оригинал, вариант этого портрета, полученного в популяции 1 (цифры над ним -значения параметров pb p2 и p3); портрет, полученный в популяции 2 для значения к = 10. В нижнем ряду показаны: фоторобот, вариант фоторобота, полученного в популяции 1 (цифры над ним – значения параметров pi, p2 и p3); фоторобот, полученный в популяции 2 для значения к = 10. Уже из этих результатов видно, что индекс SSIM для фотороботов популяции 2 выше, чем индекс SSIM популяции 1. Этот вывод подтверждается динамикой изменений индекса SSIM, что показано на графиках рис. 10.

-6 11 7

Фото

ISSIM=0,28 а

-2 2 -2

Скетч

ISSIM=0,28

б

Среднее фото

ISSIM=0,33

Значения индекса SSIM

ISSIM=0,33 Средний скетч

0,35

0,34

0,33

0,32

0,31

0,3

0,29

0,28

0,27

0,26

А

Популяция 2

» к

к к / 1 /

i /

Я * / 1 /J______

Г 1 1« ■ m * Am WW г я l! jH 1′ 1 У Поп 1 ■ ■ JÊ^* уляция 1 1 / *

к 1

6 в

10

Рис. 9. Портрет-оригинал (фото) (а); фоторобот (скетч) (б) и значения индекса SSIM для них (в)

На рис. 10 показаны варианты Composite Forensic Sketches (см. исходные скетчи на рис. 4) для популяции 1 и 2, а на рис. 11 – значения индекса SSIM для них. Здесь также видно, что индекс SSIM для скетчей популяции 2 выше, чем индекс SSIM популяции 1.

к

2

4

8

Ht Л A A i

Рис. 10. Варианты Composite Forensic Sketches для популяций: 1 (а); 2 (б)

а б

Рис. 11. Характеристики фотооригинала и Composite Forensic Sketch (а) и значения индекса SSIM

для популяций 1 и 2 (б)

Подводя итог, отметим следующее.

1. Модификация исходных данных (фотороботов/скетчей) и их представление в форме популяции 1 имитирует получение новых данных от группы из K свидетелей. Этот эффект можно воспринимать как создание более объективного представления для фоторобота по имеющимся исходным данным. В таких предпосылках, уже в рамках популяции 1, можно достаточно эффективно решать задачу сравнения новых данных с фотооригиналом.

2. При этом само сравнение может выполняться со средним (для всей популяции) фотороботом или с каждым фотороботом из популяции на основе мажоритарных механизмов или, например, на основе смеси экспертов (Mixtures of experts [29]).

3. Модификация результата популяции 1 в результат популяции 2 улучшает подобие между парами фоторобот-оригинальный фотопортрет. С учетом отмеченного эффекта и в совокупности с механизмами, перечисленными в пункте 2, это создает новые условия для еще более эффективного сравнения фотороботов с фотопортретами-оригиналами.

4. Для оценки подобия между парами фоторобот-оригинальный фотопортрет можно использовать индекс SSIM, поскольку он оценивает корреляцию и текстуру локальных областей между исходными данными [27, 28].

Заключение

В настоящей работе выполнен обзор задач, связанных с проблемой поиска людей по фотороботам, а также систематизирован опыт и результаты, накопленные за последние два десятилетия по этой проблеме. Представлены исходные понятия, используемая терминология, идеи и современные технологии создания фотороботов, а также показаны трудности и причины неудач, возникающих в реальных сценариях поиска. Представлена история развития систем формирования композиционных портретов (фотороботов и скетчей) и идеи, реализованные в этих системах. Выполнен анализ задач автоматического сравнения фотороботов с оригинальными фотографиями, вскрыты причины недостижимости устойчивого поиска фотопортретов-оригиналов по фотороботам в реальных сценариях.

Сформулированы требования к базам фотороботов в дополнение к существующим базам изображений лиц, а также способы реализации таких баз. Как один из возможных вариантов рассмотрены методы генерации популяции фотороботов из исходного фоторобота для повышения результативности поиска по нему фотопортрета-оригинала. Представлен метод повышения индекса подобия в паре фоторобот-фотопортрет (оригинал), основанный на вычислении среднего фоторобота из сформированной популяции. Показано, что сформированные таким образом фотороботы более подобны портретам-оригиналам, и

их использование в обсуждаемой проблеме поиска может привести к высоким результатам. При этом сформированные фотороботы отвечают требованиям правдивого сценария, поскольку учитывают возможность неполной информации в словесных портретах. Обсуждаются результаты применения этих методов для двух популярных баз фото-скетчи, а также опубликованных в открытой печати фотороботов и соответствующих им фотопортретов. Эти примеры демонстрируют, что выявленный способ генерации скетчей обладает характеристикой универсальности за счет возможности независимого его использования (для скетчей и фотороботов) и любых доступных баз исходных данных.

По результатам выполненного обзора можно прогнозировать, что методы сравнения скетчей с соответствующими фотопортретами должны быть основаны на подходах, ориентированных на конкретные сценарии. Исходя из этого, дальнейшие исследования необходимо связывать с анализом различных сценариев, взятых из реальных ситуаций. Именно для этих случаев необходимо искать и создавать новые варианты синтеза скетчей и методы их распознавания.

Литература

1. Uhl R.J. Jr., Lobo N.V. A framework for recognizing a facial image from a police sketch // Proc. IEEE Computer Society Conference on Computer Vision and Pattern Recognition. San Francisco, USA, 1996. P. 586593.

2. Konen W. Comparing facial line drawings with gray-level images: a case study on PHANTOMAS // Lecture Notes in Computer Science. 1996. V. 1112 LNCS. P. 727-734.

3. Криминалистика / Под ред. Н.П. Яблокова. 3-е изд. М.: Юристъ, 2005. 781 с.

4. Азбука криминалистики [Электронный ресурс]. Режим доступа: http://www.expert.aaanet.ru/arhiv/identif.htm, свободный. Яз. рус. (дата обращения 11.08.2014).

5. Identi-Kit Solutions [Электронный ресурс]. Режим доступа: http://www.identikit.net, свободный. Яз. англ. (дата обращения 11.08.2014).

6. IQ Biometrics. Faces Software [Электронный ресурс]. Режим доступа: http://www.iqbiometrix.com, свободный. Яз. англ. (дата обращения 11.08.2014).

7. Yuen P.C., Man C.H. Human face image searching system using sketch // IEEE Transactions on Systems, Man, and Cybernetics Part A: Systems and Humans. 2007. V. 37. N 4. P. 493-504.

8. Tang X., Wang X. Face photo-sketch synthesis and recognition // Proc. 9th IEEE International Conference on Computer Vision. Nice, France, 2003. V. 1. P. 687-694.

9. Wang X., Tang X. Face photo-sketch synthesis and recognition // IEEE Transactions on Pattern Analysis and Machine Intelligence. 2009. V. 31. N 11. P. 1955-1967.

10. Klare B., Li Z, Jain A.K. Matching forensic sketches to mug shot photos // IEEE Transactions on Pattern Analysis and Machine Intelligence. 2011. V. 33. N 3. P. 639-646.

11. Han H., Klare B.F., Bonnen K., Jain A.K. Matching composite sketches to face photos: a component-based approach // IEEE Transactions on Information Forensics and Security. 2013. V. 8. N 3. P. 191-204.

12. Davies G.M., Valentine T. Facial composites: forensic utility and psychological research. In: Handbook of Eyewitness Psychology. Mahwah: LEA, 2007. V. 2. P. 59-83.

13. Gibson S.J, Solomon C.J, Pallares-Bejarano A. Synthesis of photographic quality facial composites using evolutionary algorithms // Proc. British Machine Vision Conference. Norwich, UK, 2003. P. 221-230.

14. Frowd C.B., Hancock P.J.B., Carson D. EvoFIT: a holistic, evolutionary facial imaging technique for creating composites // ACM Transactions on Applied Psychology. 2004. V. 1. P. 1-21.

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.

15. George B., Gibson S.J., Maylin M.I.S., Solomon C.J. EFIT-V – Interactive evolutionary strategy for the construction of photo-realistic facial composites // Proc. 10th Annual Conference on Genetic and Evolutionary Computation. Atlanta, USA, 2008. P. 1485-1490.

16. Frowd C.D., Pitchford M., Skelton F., Petkovic A., Prosser C., Coates B. Catching even more offenders with EvoFIT facial composites // Proc. 3rd International Conference on Emerging Seurity Technologies, EST-2012. Lisbon, Portugal, 2012. P. 20-26.

17. CUHK Face Sketch Database [Электронный ресурс]. Режим доступа: http://mmlab.ie.cuhk.edu.hk/facesketch.html, свободный. Яз. англ. (дата обращения 11.08.2014).

18. CUHK Face Sketch FERET Database [Электронный ресурс]. Режим доступа: http://mmlab.ie.cuhk.edu.hk/cufsf/, свободный. Яз. англ. (дата обращения 11.08.2014).

19. Zhang W., Wang X., Tang X. Coupled information-theoretic encoding for face photo-sketch recognition // Proc. IEEE Computer Society Conference on Computer Vision and Pattern Recognition. Colorado Springs, USA, 2011. P. 513-520.

20. Li X., Cao X. A simple framework for face photo-sketch synthesis // Mathematical Problems in Engineering. 2012. V. 2012. Art. 910719.

21. Kiani Galoogahi H., Sim T. Face photo retrieval by sketch example // Proc. 20th ACM International Conference Multimedia. Nara, Japan, 2012. P. 949-952.

22. Sharma A., Jacobs D.W. Bypassing synthesis: PLS for face recognition with pose, low-resolution and sketch // Proc. 24th IEEE Computer Society Conference on Computer Vision and Pattern Recognition. Colorado Springs, USA, 2011. P. 593-600.

23. Chang L., Zhou M., Han Y., Deng X. Face sketch synthesis via sparse representation // Proc. 20th International Conference on Pattern Recognition. Istanbul, Turkey, 2010. P. 2146-2149.

24. Kukharev G.A., Buda K., Shchegoleva N.L. Methods of face photo-sketch comparison // Pattern Recognition and Image Analysis. 2014. V. 24. N 1. P. 102-113.

25. Kukharev G., Buda K., Shchegoleva N. Sketch generation from photo to create test databases // Przegl^d Elektrotechniczny (Electrical Review). 2014. V. 90. N 2. P. 97-100.

26. Yu H., Zhang J.J. Mean value coordinates-based caricature and expression synthesis // Signal, Image and Video Processing. 2013. V. 7. N 5. P. 899-910.

27. Wang Z., Bovik A.C. A universal image quality index // IEEE Signal Processing Letters. 2002. V. 9. N 3. P. 81-84.

28. Wang Z., Bovik A.C., Sheikh H.R., Simoncelli E.P. Image quality assessment: from error visibility to structural similarity // IEEE Transactions on Image Processing. 2004. V. 13. N 4. P. 600-612.

29. Masoudnia S., Ebrahimpour R. Mixture of experts: a literature survey // Artificial Intelligence Review. 2014. V. 42. N 2. P. 275-293.

Кухарев Георгий Александрович

Матвеев Юрий Николаевич

Щеголева Надежда Львовна

доктор технических наук, профессор, профессор, Западно-Поморский технологический университет в Щецине, Щецин, 70-310, Польша, gkukharev@wi.zut.edu.pl

доктор технических наук, профессор, Университет ИТМО, Санкт-Петербург, 197101, Российская Федерация; главный научный сотрудник, ООО «Центр речевых технологий», Санкт-Петербург, 196084, Российская Федерация, matveev@mail.ifmo.ru, matveev@speechpro.com кандидат технических наук, доцент, Санкт-Петербургский государственный электротехнический университет (ЛЭТИ), Санкт-Петербург, 197376, Россия, NLSchegoleva@etu.ru

Georgy A. Kukharev Yuri N. Matveev

Nadezhda L. Shchegoleva

D.Sc., Full Professor, Westpomeranian University of Technology, Szczecin, 70-310, Poland, gkukharev@wi.zut.edu.pl

D.Sc., Professor, ITMO University, Saint Petersburg, 197101, Russian Federation; Chief scientist, STC Ltd., Saint Petersburg, 196084, Russian Federation, matveev@mail.ifmo.ru, matveev@speechpro.com PhD, Associate professor, Saint Petersburg Electrotechnical University (LETI), Saint Petersburg, 197376, Russian Federation, NLSchegoleva@etu.ru

Принято к печати 25.09.14 Accepted 25.09.14

Поиск человека по фото

В этом уроке я покажу, как найти человека по фото в ВК и других социальных сетях. Для этого мы будем использовать бесплатные онлайн сервисы поиска людей по лицу.

ТОП-6 сервисов поиска людей по лицу

1. Search4faces – бесплатный сервис поиска в социальных сетях Вконтакте и Одноклассники. Работает без регистрации.
2. Findclone – ищет по ВК, требуется регистрация по номеру телефона. Бесплатно доступно 25 запросов.
3. Google Images – поисковик Гугл Картинки.
4. Yandex Images – поисковик Яндекс Картинки.
5. TinEye – сервис поиска по изображениям Тинай.
6. PimEyes – англоязычный сайт поиска людей по фото (платный).

Как найти человека по фото – инструкция

Шаг 1: подготовка фотографии

Сначала нужно обрезать снимок. Таким образом, мы уменьшим его размер (обычно он большой), и уберем лишнее.

1. Открываем программу для редактирования изображений: Пуск → Стандартные – Windows → Paint.

2. Добавляем фото в окно. Для этого перетягиваем его в программу или выбираем вручную из папки компьютера (Файл – Открыть).

3. Нажимаем на инструмент «Выделить» в верхнем меню, и обводим человека.

4. Нажимаем кнопку «Обрезать».

5. Сохраняем: – Сохранить как…

Шаг 2: поиск в соцсетях

Далее нужно загрузить снимок в систему поиска человека по фото. И если будут совпадения, сайт покажет страницы найденных людей. Два наиболее популярных сервиса:

1. Search4faces.com – бесплатный, без регистрации. Ищет людей по социальным сетям Вконтакте и Одноклассники. Большая база профилей.
2. Findclone.ru – требуется регистрация по номеру телефона. Умеет весьма точно находить человека по фото, но только в соцсети ВК. Бесплатно можно выполнить 25 поисков.

Был еще один хороший сервис Findface с очень точным распознаванием лиц, но, к сожалению, он закрылся.

Пример

Покажу, как найти человека через сервис Search4faces. Открываем сайт search4faces.com и выбираем режим поиска: «Аватарки Вконтакте и Одноклассников» или «Фотографии профиля Вконтакте». Нажимаем «Загрузить».

Затем добавляем фото человека (можно просто перетащить внутрь окошка) и нажимаем «Загрузить».

Обратите внимание: можно не только выбрать файл с ПК, но и загрузить фотографию по ссылке, в том числе из Инстаграма.

В следующем окне можно задать настройки: пол, страна, город, возраст. Но лучше их не указывать, а сразу нажать «Найти».

Появится список найденных профилей.

Шаг 3: поиск по всему интернету

Если не получилось найти человека по фото через сервис Search4faces и Findclone, попробуйте поискать в Гугле и Яндексе.

Сделать это можно через функцию поиска по изображениям:

• Google Images (images.google.com)
• Google Images (images.yandex.ru)

Пользоваться ими очень легко: нужно просто перетянуть фото в строку.

Google Images

Google Images

Результат появится сразу же. Сначала будет показана эта же картинка, но в других размерах (если таковые в сети имеются), чуть ниже – похожие фотографии. Еще ниже – страницы в интернете, на которых они размещены.

Рекомендую искать в обоих поисковиках. Частенько они выдают разные результаты.

TinEye (tineye.com). Популярный иностранный сайт поиска изображений.

Здесь все точно так же: перетаскиваем снимок со своего компьютера в поисковую строку, и сразу же получаем результат.

Подробнее об этих сервисах читайте в уроке Поиск по фото.

Расширения для браузера

Расширения или дополнения – это такие маленькие примочки, которые добавляются в программу для интернета и выполняют в ней определенные задачи. Например, переводят тексты, делают скриншоты. Такие программки есть и для поиска по фотографиям.

Практически у каждого браузера имеется своя коллекция разнообразных дополнений, но больше всего их в Google Chrome.

Для установки перейдите в магазин расширений:

• Google Chrome
• Яндекс и Opera
• Mozilla Firefox

В строке поиска напечатайте ключевые слова и нажмите Enter. Появятся найденные дополнения и приложения. Установите нужное – его потом в любой момент можно будет удалить.

Плагин добавится сразу после адресной строки.

На телефоне

С телефона можно также искать людей по фото через сервисы Search4faces.com и Findclone.ru. Или через поисковики Гугл (images.google.com) и Яндекс (images.yandex.ru). Кроме того, есть отдельные приложения для поиска по фото: работают они на основе всё тех же Яндекс, Гугл, TinEye. Это такие программы, как:

• Google Объектив (Play Market, App Store)
• Photo Sherlock (Play Market, App Store)

Но есть еще один хитрый, но точный способ поиска человека по фото в Одноклассниках. Для этого нужно установить официальное приложение ОК. Загрузить его можно по ссылке:

• Для Android
• Для iPhone

1. Зарегистрируйтесь или войдите в свой профиль, если он есть на сайте. Нажмите на иконку с изображением трех горизонтальных линий (вверху или внизу программы).

2. Выберите пункт «Друзья».

3. Перейдите в раздел «Дружба по фото» или «Найти по фото».

4. Разрешите доступ к камере.

5. Сделайте снимок человека или его фотографии (например, открыв ее на ПК или другом телефоне).

6. Если программа найдет страницу пользователя, он получит приглашение в «Друзья».

У каждого из нас хоть раз в жизни возникала необходимость найти человека по фото из социальных сетей. В сегодняшней статье разберем все рабочие способы поиска людей по фото, а также расскажем о бесплатных проверенных онлайн-сервисах. Научим вас искать страницы человека по фото Вк, Телеграм, Одноклассники и других сайтов.

• Можно ли найти человека по фото в интернете
  • Как найти человека по фото – инструкция
• Топ-8 сервисов для поиска человека по лицу
  • Найти человека по лицу в интернете с помощью гугл и яндекс
    • Как найти страницу по фото в яндекс
    • Как найти человека по фото в Гугл
  • Найти человека через search4faces — обзор сервиса
  • Найти информацию о человеке через Глаз Бога — обзор телеграм сервиса
  • Поиск человека по аватарке через TinEye
  • Найти страницу человека в интернете через Pimeyes
  • Поиск человека по фото Вк через Findclone — обзор сервиса
  • Поиск по фото FindFace
  • Не могу найти человека по фото
• Часто задаваемые вопросы от пользователей

Можно ли найти человека по фото в интернете

Да, в 2022 году это не составит никакого труда, для этого нужно воспользоваться простым поиском в гугл или яндекс, если его аватарка / фотография/ картинка достаточно уникальна, или специальным сервисом для поиска по фото.

С помощью искусственного интеллекта почти по любому фото можно моментально найти человека во ВКонтакте, Инстаграм, Одноклассниках и других соцсетях. С его помощью легко узнать, кто изображен на фото, найдя его страницу.

Также можно найти похожих людей, например, похожих на известную актрису или блогера, которые тебе нравится.

Как найти человека по фото – инструкция

Итак, для того чтобы найти страницы, профили, сайты, где упоминается человек, используя фото его лица, для начала нужно подготовить эту фотографию. Вам необходимо обрезать снимок, выделив только того человека, которого мы ищем. Таким образом, мы уменьшим размер его изображения и уберем лишнее, чтобы сервисы поиска по фото не отвлекались.

После того как вы обрезали изображение, можно выбрать один из 8 онлайн сервисов, для поиска по лицу.

Топ-8 сервисов для поиска человека по лицу

Существует масса онлайн сервисов, чтобы найти человека по фото из Вк, Инстаграм, Телеграм, Одноклассников и других соцсетей. Но не все из них являются рабочими. Подготовили список из 8 бесплатных и платных онлайн сервисов для поиска человека по лицу.

1. Search4faces – бесплатный рабочий онлайн-сервис поиска в социальных сетях Вконтакте и Одноклассники. Работает без регистрации и смс.
2. Глаз Бога (Eye of God) — сервис для поиска информации о человек по фото, номеру телефона или нику в телеграм, ВКонтакте и инстаграм.
3. Google Images – поисковик Гугл Картинки, ищет не только по лицу, но и по любым изображениям
4. Yandex Images – поисковик Яндекс Картинки, найдет все фото нужного человека, а также похожих людей
5. TinEye – сервис поиска по изображениям Тинай. Легко распознает нужное изображение и найдет его во всех уголках интернета.
6. Pimeyes.com — платный англоязычный сервис для поиска людей по фото.
7. Findclone – ищет по ВК, требуется регистрация по номеру телефона. Бесплатно доступно всего 25 запросов, но обычно этого хватает, чтобы найти человека по фото.
8. FindFace от NtechLab — закрылся в 2018 году, один из передовых сервисов, помогающего найти людей в социальной сети «ВКонтакте» по их фотографии.

Перейдем к обзору и инструкции для поиска страницы человека по фото в каждом из сервисов.

Найти человека по лицу в интернете с помощью гугл и яндекс

Современные поисковые системы типа гугл и яндекс отлично определяют людей, животных и другие объекты изображенные на фото. Поэтому найти человека по фото можно даже через обычный поиск в гугл и яндекс.

Как найти страницу по фото в яндекс

Для того чтобы найти человека по фото в яндекс, необходимо:

• открыть поиск по картинкам
• нажать на значок камеры
• перетащить изображение, загрузить фото или вставить ссылку из интернета
• нажать найти

После поиска человека по фото, Яндекс выдаст вам:
1) Сайты с информацией про изображение — это сайты на которых расположена фотография человека, которого вы искали.

2) а также «похожие изображения» на то фото, что вы загрузили. Здесь могут быть отображены люди имеющие внешние сходства с искомым человеком или же этот человек, но в других ракурсах и на других фото.

Кстати, еще Яндекс предложит найти товары, которые есть на загруженном изображении, в интернет магазинах. Если давно искали какое-то конкретное платье, украшение или часы — просто загрузите фотографию человека в поиск по картинкам от Яндекс и найдите нужную вещь.

Как найти человека по фото в Гугл

Найти страницу или профиль человека в соцсетях через гугл — проще простого. Сервис «Гугл Картинки» имеет функционал для поиска по загруженным изображениям.

Итак, чтобы сделать поиск по фото из Вк, Инстаграм или другой соцсети нужно:

• открыть сервис «Гугл Картинки»
• нажать на значок фотоаппарата
• используйте для поиска в Google изображения, а не текст. Перетащите изображение в окно или загрузите выбрав его на своем телефоне или компьютере
• Гугл найдет все соцсети и сайты, где использовалось данное фото, включая страницы Вконтакте, Инстаграм, Одноклассники и тд. А также найдет похожие фото или фотографии этого человека с другого ракурса.

Все страницы с фото человека, которого вы искали, расположены внизу под поисковым запросом.

А также есть раздел «похожие изображения», где вы можете увидеть похожих людей, а также другие фото человека, которого вы искали.

Найти человека через search4faces — обзор сервиса

Давайте разберемся, как с помощью сервиса search4faces найти человека по фото из Вк, Одноклассников и ТикТока. Для него не нужна регистрация или номер телефона.

1.Переходим на сайт search4faces.com и выбираем одну из нужных баз для поиска: фотографии Вконтакте, аватарки Вк и Одноклассники, аватарки ТикТок, свежие аватарки Одноклассники, аватарки Клабхаус или поиск по публичным персонам.

Я выберу поиск по фотографиям профиля Вконтакте и буду использовать аватарку какой-то девушки.

2.Жмем «загрузить» фото и указываем дополнительные параметры, если они известны, чтобы результат поиска по фото Вк был более точным.

3.Жмем найти и ожидаем результаты поиска

Как видим, сервис search4faces с легкостью нашел по лицу страницу нужного человека Вк. А также нашел похожих людей и остальные фото или профили.

Найти информацию о человеке через Глаз Бога — обзор телеграм сервиса

Глаз Бога (Eye of God) — популярный телеграм сервис, для поиска любой общедоступной информации о человек по его фото, номеру телефона, странице в соцсетях, а также никнейму телеграм и инстаграм. Сервис является «условно» платным.

Итак, для того чтобы найти человека по фото с помощью сервиса Глаз Бога, нужно:

1.Открыть глаз бога в телеграм

2. У вас высветится весь список информации, которую можно использовать для поиска человека. Но нас интересует именно поиск по фото человека, чтобы найти его или двойника на сайтах ВК, ОК.

3. Для такого поиска необходимо иметь 5 рублей на балансе сервиса, для этого нажмите «аккаунт», затем «пополнить баланс» и отправьте боту цифру 5.

Далее стандартная процедура, похожая на любую оплату в интернет-магазинах. После оплаты необходимо немного подождать (5 минут), чтобы деньги появились на счету в Глаз Бога. После зачисления средств, сервис пришлет уведомление.

Итак, теперь для поиска человека по фото в Глаз Бога необходимо нажать на скрепку в левом нижнем углу, выбрать фото на своем телефоне или компьютере и отправить его боту.

Теперь можете выбрать где именно искать человека. Для запроса вконтакте необходимо всего 5 рублей, для поиска по Вк и Ок, а также Альбомам нужна платная подписка.

Заказали поиск профиля Вконтакте по фото, в результатах нашлась нужная страница, а также 2 номера телефона человека.

Глаз Бога легко найдет не только другие фото и профиль человека в соцсетях, но может найти и другие вещи:

• Поиск по имени
• Поиск по другим социальным сетям
• Поиск по номеру телефона или email почте
• Поиск по адресу проживания
• Поиск по ИНН или Юр.лицу
• Поиск по номеру автомобиля

Поиск человека по аватарке через TinEye

TinEye — зарубежный сервис поиска профилей человека по лицу. Стоит учитывать, что в первую очередь TinEye будет искать на англоязычных сайтах.

Чтобы найти человека по фотографии с помощью TinEye, нужно:

• открыть сайт tineye.com
• нажать кнопку «upload» и выбрать фото, которое сервис будет искать

• если результат будет найден, сервис вынесет все упоминания данного человека, а также фотографии похожих людей.

Найти страницу человека в интернете через Pimeyes

PimEyes — еще один зарубежный онлайн-сервис для поиска людей по лицу. В использовании достаточно легкий и понятный инструмент, функционал которого позволяет охватить популярную соцсеть «Фейсбук», а также другие менее популярные сайты.

Ключевой особенностью можно считать сайты, которые охватывает PimEyes, ведь он будет искать человека по фото в:

• социальных сетях — Facebook, Instagram, Tumblr, Одноклассники, ВК,
• новостных ресурсах — таблоиды, местные новости и тд.
• видехостингах — YouTube, Vimeo, Coub и тд
• различных популярных платформах, типа WordPress

Итак, как же найти человека по фото с помощью PimEyes:

• открыть сайт PimEyes
• нажать на «upload photo» и выбрать фотографию с устройства

В случае нахождения результата, Pimeyes выдаст совпадения.

В бесплатном тарифе сервис покажет только совпадающие результаты с процентом сходства. Если же у вас есть платная подписка, то сможете получить доступ ко всем результатам вместе с источником изображения. 

Поиск человека по фото Вк через Findclone — обзор сервиса

Еще один популярный сервис для поиска людей по лицу — Findclone. Также сервис может быть представлен как findtwin, так как ранее являлся searchface — аналог, закрытого проекта FindFace .

Для использования сервиса понадобится зарегистрироваться, указав свой номер телефона и введя 5 последних цифр телефона, с которого поступит звонок.

Сервис дает всего 25 бесплатных распознаваний, но этого хватит для поиска нужного человека. Если на фото несколько людей, сервис предложить выбрать того, которого будет искать.

Поиск по фото FindFace

FindFace — технология распознавания лиц, разработанная российской компанией NtechLab, специализирующейся на решениях в области нейронных сетей.

Ранее технология использовалась в качестве веб-сервиса FindFace, помогающего найти людей в социальной сети «ВКонтакте» по их фотографии.

Как утверждают пользователи, первые 30 поисков людей по фото с помощью FindFace бесплатны, дальше сервис просит купить подписку.

В результате тестов, фотографии, которые сделаны в хороших условиях (лицо человека четко видно), проблем с распознаванием практически не возникает. 9 из 10 попыток найти человека по фото в интернете с помощью FindFace увенчались успехом.

Однако, к сожалению, в июле 2018 сервис был закрыт. Но не стоит отчаиваться, ведь в этой статье есть еще 7 актуальных рабочих аналогов, в том числе FindClone, который, как утверждается, от тех же разработчиков из NtechLab.

Не могу найти человека по фото

Если у вас не получилось найти страницу человека по фото с первого раза — не отчаивайтесь.

• Попробуйте другие доступные сервисы. В статье мы указали 7 актуальных онлайн сервисов для поиска человека по фото, какой-то из них обязательно его найдет.
• Попробуйте другие фото человека, которого нужно найти. Если таких фото нет, постарайтесь убрать лишние объекты из кадра, обрезав лицо человека.

В ряде случаев человека по фото найти не удаётся. Например, если у него стоят настройки приватности, либо же фото является некачественным, с большим количеством шумов.

Часто задаваемые вопросы от пользователей

Мы собрали наиболее частые вопросы от пользователей в группах VK, одноклассниках и других социальных сетях, ответы на них прилагаем ниже.

Как найти человека по лицу на фото?

Чтобы найти данные о человеке по его лицу на фото Вы можете воспользоваться одним из описанных в обзоре сервисом: Search4faces, Findclone или аналогом, ботом сервиса Глаз Бога.

Как найти человека по аватарке Вконтакте?

В первую очередь попробуйте осуществить поиск профиля VK по аватарке в сервисе Tineye.

Возможно вам будет интересно:

• 3 способа как скачать видео из TikTok без водяного знака
• 9 бесплатных онлайн сервисов, чтобы удалить фон с фото, картинок и видео

Не забывайте подписаться на канал:
Больше годноты на канале — Довольный Арбитражник 
Обсудить и задать вопросы в чате — Арбитраж трафика | Довольный