Как найти распознавание лиц

Распознавание лиц — это технология, которая позволяет автоматически идентифицировать (распознать, кто на фото) или верифицировать (подтвердить, что на фото именно этот человек) человека на фото, видео или вживую. Для распознавания используют нейросети, которые умеют считывать и анализировать уникальные черты человеческого лица, а затем сверять их с базой.

Об эксперте: Татьяна Гайнцева, преподаватель Deep Learning School (МФТИ), автор блога об искусственном интеллекте и нейронных сетях.

• Первые эксперименты в области машинного распознавания лиц представил в 1960-х годах Вуди Бледсо — профессор Техасского университета в Остине, исследователь искусственного интеллекта. Его рабочая группа создала базу из 800 снимков людей в разных ракурсах. Далее ученые размечали лица 46 точками-координатами с помощью прототипа современного планшета. Посредством специального алгоритма система разворачивала лица под разными углами, увеличивала и уменьшала масштаб. На втором этапе алгоритм использовал 22 измерения, действуя согласно байесовской теории принятия решений — чтобы общий вывод был максимально точным. В итоге система, разработанная Бледсо, справлялась в 100 раз быстрее, чем человек.
• В 1988 году Майкл Кирби и Лоуренс Сирович из Университета Брауна применили подход Eigenface с использованием линейной алгебры для анализа изображений. Для разметки лиц они применяли менее 100 различных значений.
• В 1991 году Алекс Пентланд и Мэтью Терк из MIT усовершенствовали технологию Eigenfaces, задействуя факторы окружающей среды. Им удалось автоматизировать процесс распознавания.
• В конце 1990-х годов Управление перспективных исследовательских проектов при Минобороне США (DAPRA) и Национальный институт стандартов и технологий выпустили программу FERET с самой обширной базой лиц — более 14 тыс. изображений. Изначально ее использовали, чтобы находить и распознавать преступников по всему миру, но затем представили для открытого доступа.
• С 2010 года Facebook (с 21 марта 2022 года соцсеть запрещена в России решением суда) начал использовать функцию распознавания лиц, чтобы находить пользователей на публикуемых фото и предлагать их отметить.
• В 2011 году власти Панамы и США запустили совместный проект FaceFirst. Это технология распознавания лиц, которую использовали для пресечения незаконной деятельности в аэропорту Токумен в Панаме. В том же году полиция и спецслужбы США начали применять распознавание лиц для опознания трупов — включая Усаму бен Ладена.
• С 2014 года распознавание лиц используют в камерах мобильных телефонов, а с 2017 — в ретейле.

В основе технологии — две нейросети:

Первая — сеть-«выравниватель» (англ. aligner). Она берет картинку, которая поступает с камеры наблюдения, детектирует на ней все лица, которые сможет найти, «вырезает» и «выравнивает» их.

Вот как это выглядит:

Программа вырезает обнаруженные лица (те, что плотно расположены друг к другу, повернуты в профиль или просто очень маленькие и нечеткие, система может не распознать).

Затем она их выравнивает: детектирует на лице точки глаз, носа и рта.

Наконец, поворачивает и подгоняет размер фото так, чтобы точки глаз, носа и рта находились в определенных местах.

Некоторые алгоритмы используют больше семи точек — то есть, обводят контуры лица. Это может понадобиться, к примеру, для создания дипфейков.

Вторая — сеть-«распознаватель». Она принимает на входе выровненное изображение, которое передала первая нейросеть, а на выходе выдает вектор лица — то есть, набор чисел фиксированной длины. У разных сетей эти векторы могут отличаться, но чаще всего это некая степень двойки. Например, 512:

На похожие лица сеть выдает похожие векторы и наоборот.

Возьмем одно фото Анджелины Джоли и два изображения Брэда Питта и прогоним их через сеть. На выходе получим три вектора. Измерим расстояние между вектором Анджелины Джоли и вектором первого Брэда Питта, а также между векторами двух Брэдов Питтов. В первом случае расстояние будет большим — это разные люди, а во втором — маленьким: это один человек.

Чтобы обучить нейросети, используют огромные базы данных с лицами людей. Нейросети на входе сообщают, кому принадлежит это лицо, а затем, в ходе обучения, добиваются, чтобы она выдавала максимально точные результаты. Обучившись на миллионах разных людей, нейросеть начинает распознавать и новые лица — те, которых не было в базе.

💣 Безопасность

Криминалисты, полиция и спецслужбы используют автоматизированные системы биометрической идентификации (ABIS) для поиска преступников, доказательства преступлений и их предотвращения — например, терактов или мошенничества с документами.

Камеры с распознаванием лиц применяют для обеспечения безопасности на массовых мероприятиях, для прохождения контроля в аэропортах, контроля доступа в различных организациях. Системы помогают находить пропавших детей, дезориентированных взрослых или людей, которых держат в рабстве.

💊 Здравоохранение и медицина

Распознавание лиц в больницах и домах престарелых помогает отслеживать, принимают ли пациенты лекарства и следить за их состоянием через специальный монитор. Нейросети даже умеют обнаруживать по лицу генетические заболевания по характерным признакам на лице — такие, как синдром Ди Джорджи, — и оценивать общее состояние пациента.

🍕 Ретейл, общепит и банки

Технология распознавания лиц помогает идентифицировать клиента и предотвратить мошенничество во время покупки в магазине, анализировать поведение покупателей и оптимизировать сервис так, чтобы продавать больше.

С помощью онлайн-биометрии можно открыть счет и получить кредит, а также снять деньги в банкомате. Например, в Китайском KFC и американском Amazon Go действует «оплата по лицу». В России биометрию планируют внедрить во всех крупнейших банках вместо обычной идентификации.

📚 Образование

Сервисы на базе распознавания лиц помогают во время онлайн-обучения: следят, чтобы ученик не отвлекался во время экзамена, не списывал и не пользовался устными подсказками.

С 2016 по 2020 год точность распознавания лиц нейросетями улучшилась в 50 раз: коэффициент ошибок составил 0,8%. Согласно исследованию Facial Recognition Market 2019 года, мировой рынок распознавания лиц тогда оценивали в $3,2 млрд. Прогноз на 2024 год — $7 млрд, при ежегодном росте в 16%.

Самые масштабные разработки в области распознавания лиц — у Google, Apple, Facebook, Amazon и Microsoft (GAFAM).

В 2014 году Facebook запустил сервис DeepFace, который определяет, принадлежат ли два сфотографированных лица одному и тому же человеку с точностью 97,25%.

В 2015 Google представила свою разработку — FaceNet. Благодаря огромному массиву данных, которые собирают сервисы Google, FaceNet достигла рекордной точности — 99,63%. Технологию, в частности, используют в Google Фото для сортировки изображений и автоматических отметок людей на них.

Amazon с 2018 года активно продвигает свой облачный сервис распознавания лиц под названием Rekognition, которым пользуются правоохранительные органы США. Система умеет распознавать до 100 человек на одном фото и искать их в базах данных, содержащих десятки миллионов лиц.

По данным Центра стратегических и международных исследований, а также Управления по науке и технологиям МВД США, лучшим решением в 2020 году было признано FRT: его точность распознавания составила 99,97%.

В России есть пять крупных игроков на рынке распознавания лиц:

1. NTechLab;
2. VisionLabs;
3. Sensemaking Lab;
4. Группа ЦРТ. 

NTechLab — разработчик нашумевшего приложения FindFace, которое использовали для поиска людей во «ВКонтакте» по фото. Сервис неоднократно оказывался в центре скандалов с нарушением приватности. Максимальная точность их алгоритмов для распознавания лиц — 99%. Компания также выступила подрядчиком для внедрения камер с распознаванием лиц в Москве.

Второй подрядчик московских властей в этой области — VisionLabs. Они также разрабатывали системы для московских камер и участвовали в других городских проектах. С недавних пор VisionLab стала частью экосистемы «Сбера», и теперь их разработки применяют, в том числе, для внедрения биометрии в банковских сервисах.

Группа ЦРТ в 2014 году первой внедрила систему распознавания лиц в спорте. Ее решения используются на стадионах «Газпром-Арена», «ВТБ-Арена» и других.

В Москве действует одна из крупнейших в мире сетей с распознаванием лиц — более 200 тыс. камер общей стоимостью около 5 млрд руб.

Российскую технологию NTechLab признали лучшей в результате тестирования Национального института стандартов и технологий США. NTechLab вели совместные разработки с Genetec — поставщиком систем видеонаблюдения для американского правительства и спецслужб.

Систему для Москвы начали разрабатывать еще в 2015 году, а пилотный проект запустили в 2017-м: тогда это были 1,5 тыс. камер во дворах и подъездах. В 2018-м систему расширили, протестировав на чемпионате мира по футболу. Камеры помогли задержать около 100 нарушителей из базы уголовного розыска. В том же году с помощью камеры с распознаванием лиц задержали грабителя, находящегося в розыске МВД.

Московскую систему видеонаблюдения использовали во время пандемии в 2020 году. С ее помощью выявили более 200 нарушителей карантина и самоизоляции, которым пришлось выплатить штрафы.

Правозащитники указывают на опасность технологии для обычных граждан. Например, юрист Алена Попова неоднократно подавала иски к управлению МВД Москвы и московскому Департаменту информационных технологий с требованием запретить систему распознавания лиц на митингах.

В феврале 2021-го появилась информация о том, что с помощью камер власти отслеживали участников митингов в Москве и привлекали их к ответственности. Полицейские останавливали людей на входе в метро или приходили к ним домой. Такое бывало и в других странах.

Во время протестов в Гонконге 2019-20 годов власти тоже использовали распознавание лиц, чтобы вычислять активистов. Для борьбы с этим протестующие использовали лазерные указки, маски с чужими лицами и проекторы для лица, а также громили столбы с камерами.

По мнению оппозиции, для распознавания используют программу Face++ от китайского стартапа Megvii. Эта система, предположительно, попала в черный список властей США за нарушение прав человека.

Еще один недавний пример — сайт Faces of the Riot, созданный студентом из Вашингтона. Он использовал приложение с открытым исходным кодом, чтобы извлечь лица из 827 видео, размещенных в соцсети Parler во время штурма Капитолия 6 января 2021 года. Затем он применил нейросеть для распознавания лиц, обученную на 200 тыс. фото из базы ФБР, и идентифицировал людей.

👁️‍🗨️ Утечки. В данном случае в сеть утекают доступы к камерам наблюдения и результатам распознавания. За деньги можно проверить по фотографии, где и когда камеры засекли конкретного человека.

🤦 Ошибки в распознавании. В 2018 году технология распознавания лиц от Amazon ошибочно опознала 28 членов Конгресса США как преступников. Недавний пример — москвич Сергей Межуев, которого система распознавания лиц в метро ошибочно приняла за преступника в розыске. В итоге мужчину задержали, собрали все данные и не сняли подозрения, пока реальный подозреваемый не нашелся.

❌ Использование лиц без согласия. В США до недавнего времени для обучения нейросетей распознаванию лиц использовали датасеты с лицами из открытых источников. Готовые датасеты тоже были в открытом доступе. Однако сейчас их убрали, так как это нарушает законы о защите персональных данных. Теперь доступ к ним можно получить по запросу и только для исследовательских (некоммерческих) целей.

The New York Times опубликовала расследование, согласно которому система распознавания лиц ClearView использует фото из Facebook и Twitter, чтобы помогать полиции находить людей. Аналогичные претензии были и к NtechLab: у компании был доступ к фото пользователей в «ВКонтакте».

😠 Дискриминация и расизм. Для обучения нейросетей используют датасеты, которые содержат, в основном, фото людей титульной нации и расы. В итоге системы распознавания лиц плохо распознают азиатов, латиноамериканцев или афроамериканцев. Системы, которые используют в криминалистике, чаще указывают на чернокожих людей как на потенциальных преступников.

Исследование MIT от 2018 года показало, что алгоритмы Microsoft, IBM и китайского Megvii (FACE ++) очень часто ошибаются при идентификации темнокожих женщин по сравнению со светлокожими мужчинами.

Есть примеры дискриминации по полу: например, нейросеть, которая дорисовывает женским фото тело в бикини, а мужским — в костюме. Просто потому, что в сети большинство изображений именно такие.

👮 Использование технологии для манипуляции людьми. Оказавшись в руках властей, системы с распознаванием лиц вместе с базами персональных данных дают неограниченные возможности. Самый радикальный пример того, к чему это может привести — Китай.

Чтобы бороться с «умными» камерами, в ход идут специальные маски, проекторы, лазеры и другие приемы:

• В 2017 году Григорий Бакунов, отвечающий за ИИ-технологии в «Яндексе», придумал специальный макияж, который якобы помогает обмануть нейросети. При создании макияжа он использовал генетический алгоритм, который подбирает образ по принципу анти-сходства.

  

  Пример макияжа, который использовал Григорий Бакунов

• Во время протестов в Лондоне в марте 2020 года участники пытались обмануть системы распознавания лиц с помощью цветных патчей на лице.
• Специалисты компании Videomax попытались обмануть алгоритм «Face-Интеллект». Они выяснили, что это возможно только если одновременно надеть парик с длинными волосами и головной убор, наклеить пластыри и усы, а а также нарисовать синяки. В этом случае точность идентификации падала до 51%.
• Вьетнамским разработчикам удалось взломать функцию распознавания лиц Face ID на iPhone X с помощью 3D-маски, силикона и скотча. Но повторить их метод сможет далеко не каждый.
• Состязательные примеры: когда рядом с объектом помещают специальные стикеры, объемные фигуры или картины, которые сбивают нейросеть с толку.

Однако все эти способы вряд ли помогут. Во-первых, мы до конца не знаем, по каким именно приметам нейросети распознают лица. Во-вторых, алгоритмы обучают по разным схемам и на разных датасетах. Чтобы их обмануть, нужно точно знать, как устроена конкретная нейросеть.

Можно, конечно, полностью скрыть лицо в публичных местах и на массовых мероприятиях. Но во многих странах — включая Россию и Китай — это запрещено законом.

Есть способы, которые помогают изменить уже готовые фото. Например, компания Generated Media создала Anonymizer: приложение, которое генерирует серию портретов на основе ваших фото и делает их неузнаваемыми для нейросетей.

Можно использовать специальную маску. К примеру, возьмем фото, на котором нейросеть опознала актрису Еву Лонгорию и немного изменим его:

Слева — исходное фото, справа — маска, наложенная на него, посредине — результат. Теперь алгоритм его не узнает, хотя для нас очевидно, что это та же самая женщина. Но и этот способ можно применить только если у вас есть доступ к архитектуре нейросети.

В ЕС и Великобритании действует самый жесткий регламент по защите данных — GDPR. Он запрещает любое посягательство на личную жизнь человека со стороны частных компаний и госорганов без его согласия. Это касается и систем распознавания лиц.

В США нет единого закона, который бы регулировал использование технологии. Ближе всех к европейскому GDPR по сути стоит Закон о конфиденциальности потребителей в Калифорнии (CCPA). В некоторых штатах действуют ограничения для полиции и других органов — например, в Орегоне, Вашингтоне, Техасе, Иллинойсе, Массачусетсе, Вермонте.

ИТ-корпорации настаивают на принятии законов на федеральном уровне. В 2020 году IBM объявила о прекращении продаж своих продуктов для распознавания лиц. Вслед за ними Amazon и Microsoft временно приостановили сотрудничество с госорганами в этой области. А в июле правозащитники из ACLU подали иск против ClearviewAI за нарушение закона штата Иллинойс о конфиденциальности биометрической информации.

В Китае распознавание лиц используют повсеместно, и у госорганов есть неограниченные возможности по применению технологии. С недавних пор биометрия является обязательной даже при регистрации телефонного номера.

В России есть закон о защите персональных данных. Но он направлен, в первую очередь, на сохранность самих данных: их необходимо защищать, чтобы предотвратить утечки. Права самих граждан, чьи данные используются, никак не защищены. Безопасность биометрических данных в частной сфере пока не регулируется, но у властей с 2019 года есть право использовать распознавание лиц без согласия граждан.

Эксперты считают, что в ближайшие пару лет распознавание лиц окончательно станет массовой технологией. Ее будут применять в «умных» и обычных гаджетах, для идентификации и оплаты, прохода в офисы и регистрации в аэропорту, а также для доступа к онлайн-сервисам и аккаунтам в соцсетях. В течение 15-20 лет мы полностью перейдем на биометрические паспорта. А вот обмануть алгоритмы или укрыться от камер с распознаванием лиц станет практически невозможно.

Это означает полную утрату приватности и частной жизни.