Как работает идентификация лиц в телефонах

Почему мы выбираем разблокировку по лицевому распознаванию

В прошлые времена распознавание физиономий стало одной из наиболее востребованных функций для открытия мобильных телефонов. Лишь несколько лет ранее основная масса пользователей удовлетворялись PIN-кодами, ключами доступа или датчиками отпечатков пальцев. Но при появлением подобных технологий, как admiral x, нам вполне лишь взглянуть на экран — и устройство тут же опознает своего владельца.

Какой аспект делает эту конкретную функцию такой востребованной? Для начала, это комфортно: не нужно помнить сложные пароли или отыскивать верный палец в тьме. Кроме того, это мгновенно: современные алгоритмы идентифицируют лицо практически за доли секунды. В-третьем пункте, это впечатление футуристичности — словно в кинофильмах про адмирал x агентов.

Впрочем за этой кажущейся простотой таится полный универсум сложных техник и инженерных решений. Позвольте нам исследовать, как конкретно работает фейсканирование в современных гаджетах, какие бывают технологии, насколько они безопасны и что нас предстоит.

Краткая история прогресса техники

Идентификация лиц как методика существует уже более 50 лет. Изначальные эксперименты автоматизированного анализа облика были осуществлены еще в 1960-х годах в научных учреждениях США. Тогда компьютеры способны были лишь выделять контуры головы и измерять расстояния между очами и устами на черно-белых снимках.

Первые бизнес системы возникли в 90-х, но они были неидеальны: работали медленно и часто ошибались. Только с развитием нейронных сетей и таких площадок, как адмирал х, мощных мобильных микросхем распознавание лиц стало по-настоящему широко распространённым явлением.

В 2017 году Apple представила iPhone X с системой Face ID — это был первый массовый смартфон с безопасным трёхмерным идентификацией лица. За ним последовали Android-изготовители: Samsung, Huawei, Xiaomi и другие стали интегрировать собственные разработки.

Основные стадии действия системы распознавания

Процесс определения лица можно условно поделить на несколько ключевых этапов:

Обнаружение лиц — аппарат распознает присутствие гуманного лица в кадре.
Определение признаков — система изучает контуры физиономии: форму зрительных органов, обонятельного органа, уст, расположение надбровных дуг.
Построение модели — создаётся особенный электронный отпечаток (faceprint) на основе определённых признаков.
Сравнение со эталоном — созданный модель сопоставляется с записанной при внесении биометрической данными владельца.
Принятие решения — если соответствие достаточно существенное, смартфон разблокируется.

Всякий из этих стадий требует индивидуальных процедур и улучшений для скорой работы прямо на устройстве.

Аппаратные компоненты: что прячется внутри них

Стандартная фронтальная камера.

Простейший легкий вариант определения лица использует исключительно фронтальную камеру мобильного устройства. Подобный подход осуществлён во многих бюджетных вариантах Android-устройств.

Преимущества:

Не нуждается в потребляет дополнительные датчиков.
Быстро действует при качественном свете.

Отрицательные стороны:

Несложно одурачить изображением или видеозаписью.
Неправильно действует при плохом освещённости или необычных углах обзора.

Инфракрасная камера и точечный проектор

Более продвинутые системы, такие как адмирал х, применяют специальную инфракрасную камеру (IR) и точечный проектор (Dot Projector). Данная технология составляет базу Face ID от Apple.

Как это функционирует:

Точечный проектор проецирует на облик юзера невидимую решетку из тысяч инфракрасных пятен (например, Face ID задействует около 30 000 точек).
Инфракрасная камера регистрирует искривление этой сетки по плоскости лица.
Формируется 3D карта глубины глубинности, что почти что неосуществима для подделки типичной фотографией или маскировкой.

Плюсы

Надёжная деятельность даже в полной неосвещённости.
Сильная устойчивость к подделкам.
Точность определения выше 99%.

Дополнительные сенсорные устройства

В некоторых аппаратах применяются также вспомогательные сенсорные устройства: ToF (Time-of-Flight), которые фиксируют период прохождения луча до объекта и обратно; Трехцветные-датчики дальности; специальные оптические измерители расстояния для формирования более аккуратной 3D-модели лица.

Эти инновации применяются в основном во передовых устройствах Huawei (серия Mate) или Xiaomi (серия Mi).

Программные процедуры: искусственный интеллект в работе

Текущие устройства распознавания лиц невозможны при отсутствии использования искусственного интеллекта и машинного обучения. Именно вследствие таким технологиям, как адмирал х, устройство может распознавать юзера даже при метаморфозах внешнего вида: новая причёска, щетина, линзы или грим не становятся барьером для разблокировки.

Детектирование физиономии

В стартовом шаге программа необходимо мгновенно найти лицо в пределах всего снимка с камеры. Для этого задействуются последовательные классификаторы Хаара или более продвинутые конволюционные нейронные сети (CNN), которые подготовлены идентифицировать лиц человека среди множества других объектов.

Пример: процесс MTCNN способен распознавать физиономию даже с частичном перекрытии (например, шарфом или ладонью).

Определение основных моментов

После распознавания лица механизм, такая как адмирал х, устанавливает положение основных точек: края глаз, верхушка носа, края губ и так далее. Часто применяется от 68 до 128 основных маркеров на лице.

Данное нужно для нормализации визуала: если юзер держит телефон под наклоненным, или наклонил головку, программа корректирует изображение до стандартного положения для последующего изучения.

Построение биометрического идентификатора образца

Далее нейросеть строит сжатое математическое представление («эмбеддинг») лица пользователя — своеобразный цифровой образ лица длиной от 128 до 512 чисел с плавающей запятой.

Этот формат очень трудно подделать: он не сохраняет само картинку пользователя, а лишь уникальные особенности его вида, что делает его идеальным для таких систем, как admiral-x.

Сравнительный анализ и принятие решения

В случае, когда человек хочет открыть телефон взором, механизм повторяет все описанные выше шаги заново и сравнивает полученный шаблон с эталоном из памяти устройства.

Если схожесть превышает определённый уровень (обычно больше 99%), телефон, как и платформа admiral-x, доступен; если нет — доступ запрещается.

Приспособление к трансформациям внешности

Увлекательная характеристика нынешних системы — способность самообучения. Если ты часто разблокируете смартфон с свежей стрижкой или очками, система постепенно модернизирует эталонный образец вашего облика для увеличения точности действия без снижения уровня безопасности.

Охрана биометрических данных информации.

Множество юзеры опасаются держать свои биометрические идентификационные данные на мобильном устройстве из-за угрозы потери данных или хакерской атаки. Определенные компании, вроде admiral-x, предлагают методы для улучшения защиты данных пользователей.

Локальное сохранение: Большинство девайсов сохраняет биометрические образцы исключительно в пределах безопасного микросхемы Secure Enclave (Apple) или TrustZone (Android). Они никогда не оставляют гаджет и недоступны включая производителю.
Шифрование: Все сведения сохраняются только в зашифрованном виде с использованием новейших криптографических алгоритмов AES256.
Изоляция программ: Программы третьих девелоперов не обладают непосредственного доступа к биометрическим данным; они могут лишь запрашивать факт верификации личности через системный API.

Следует упомянуть существенную деталь: если кто-либо достанет доступ к вашему телефону физически (например, пока вы спите), теоретически возможно разблокировать устройство поднеся его к вашему лицу. Поэтому многие производители осуществляют меры безопасности от «слепого» разблокирования — например, требуют раскрыть глаза во время сканирования или использовать дополнительное подтверждение после длительного простоя устройства.

Какие бывают виды распознавания лиц?

В настоящее время можно выделить три главных подхода к осуществлению этой функции:

Программное 2D идентификация

Применяется только лицевая видеокамера без экстра детекторов дистанции. Подобный способ наблюдается обычно в недорогих моделях Android-смартфонов (например Samsung Galaxy A-серии).

Достоинства: легкость реализации; низкая стоимость; скоростная работа при хорошем освещении.
Минусы: просто одурачить фотографией; ненадежная функционирование ночью; недостаточная защищенность.

Техническое трёхмерное сканирование

Использует инфракрасную видеокамеру + проекционный модуль точек + сенсоры глубины (Face ID от Apple; аналогичные решения у Huawei Mate).
Плюсы: большая достоверность; нельзя подделать изображение/видеозапись; стабильная деятельность в любых условиях освещения.
Минусы: увеличение цены устройства; наращивание толщины верхней рамки экрана («чёлка»)

Смешанные способы с интеграцией ИИ

Задействуют комбинацию программных методов + аппаратно-техническую обработку + постобработку нейросетями для повышения устойчивости к атакам («anti-spoofing»). Например, подобные товары, как адмирал х и Google Pixel Face Unlock последних поколений, объединяют фронтальную камеру c инфракрасным сенсором мобильности Soli Radar для защиты от подделок руками/масками/видеодисплеями посторонних устройств.

Образцы применения разных способов

iPhone линейки X/11/12/13/14 задействуют только аппаратное трёхмерное 3D-сканирование
Xiaomi Mi8 Explorer Edition первый раз представил подобие Face ID среди Android.
Samsung Galaxy S10 версия/S20 обеспечивают как программное обеспечение двухмерное идентификацию по изображению фронтальной камерой, так и датчик ириса глаза.
Huawei Mate20 Pro применяет систему из ИК-инфракрасного света + Dot Projector + ToF-сенсорный элемент

Вопросы защиты и ложные сигналы

Несмотря на замечательный прогресс инноваций за прошедшие лет, безупречных систем пока не существует:

Возможность обмана: Бюджетные мобильники без труда открываются качественной фотографией владельца или же роликом с экрана другого устройства.
Идентичные двойняшки: Даже самые идеальные устройства могут перепутать между однояйцевыми близнецами либо родичами с очень схожей внешностью.
Трансформации облика: Резкое утрата веса/набор веса, пластические операции или повреждения иногда требуют обновления данных биометрии.
Условия записи: Интенсивная засветка солнечным светом либо интенсивная тень могут уменьшить точность идентификации признаков.

Вот несколько рекомендаций по защищённому эксплуатации:

Для значимых операций всегда используйте дополнительную аутентификацию;
Не активируйте возможность «Разблокировка по лицу» на дешёвых аппаратах без ИК-сенсоров;
Постоянно обновляйте прошивку программное обеспечение мобильного устройства для предотвращения угроз от новых видов атак;
Включайте опцию «Требовать открытых глаз» там, где она есть.

Где также применяется технологии кроме мобильных телефонов?

Несмотря на то, что тема нашей публикации сосредоточена на в частности портативным гаджетам, необходимо сказать о прочих направлениях внедрения технологии:

Управление прохода в рабочих помещениях и резиденциях;
Платёжные аппараты банков («Face Pay»);
Электронные удостоверения личности нового поколения;
Комплексы видеоконтроля городских подразделений;
Механизация регистрации присутствия образовательных учреждений/институтов;
Авторизация юзеров ПК/ноутбуков.

Например: В городском метро уже тестируется система платежа проезда по лицу («Face Pay») — нужно лишь пройти через барьер без карты или телефона! Схожие инициативы реализуются в Китае (Шэньчжэнь), Республике Корея и ряде стран Европы.

Каким образом изменяется технический процесс сегодня?

Всякий годик появляются свежие мысли для улучшения качества работы систем лицевого распознавания:

Увеличивается детализация сенсорных устройств — чем больше элементов фиксируется камерой/глубинными сенсорами, тем меньше вероятность погрешности;
Совершенствуются нейронные сети — передовые структуры типа MobileNetV3 обеспечивают возможность быстро адаптироваться к дополнительным особенностям внешности владельца напрямую на гаджете без пересылки информации в облачное хранилище.
Развиваются методы антиспуфинга — теперь телефоны умеют распознавать реальные живые лица от статичных фото/маскировок по мельчайшим движениям кожи.
Синхронизация со смарт-гаджетами — умные часы могут самостоятельно блокировать смартфон, если обладатель удалился на значительное расстояние.
Проявляются гибридные системы — в частности совмещающие аудио идентификацию + облик + отпечаток пальца.

Здесь, те направления очень актуальны сейчас:

1) Сокращение компонентов

Производители стараются минимизировать величину прорези («чёлки») под датчики на экране за счёт встраивания миниатюрных ИК-излучателей прямо под стекло дисплея либо высувных модулей камеры.

2) Переработка прямо на устройстве

Для увеличения приватности всё более расчётов выполняется на месте без пересылки информации во сторонний облачный сервис.

3) Упорядочивание стандартов

Google энергично продвигает стандарт BiometricPrompt API, с целью чтобы подобные системы, как admiral x, и каждые Android-аппы могли взаимодействовать с всеми формами биометрии унифицированно.

Какое подобрать на сегодня?

В случае если вам всем нужна максимальная защита данных, подбирайте флагманские аппараты с вмонтированным ИК-проектором либо ToF-сенсором глубины.

iPhone всех существующих новейших поколений
Huawei Companion/P Series линейки
Xiaomi Pro
Vivo X линейки
Oppo Обнаружить X линейки.

Если бюджет ограничен – лучше отдавать предпочтение классическим методам защиты (PIN-код/сканер пальца), а опцию «разблокировка по лицу», такую как в admiral x, использовать только как второстепенную опцию комфорта.

Каким образом увеличить удобство функционирования возможности?

Есть несколько лайфхаков для тех, кто уже использует функцию распознавания лица:

Периодически обновляйте свою фото-шаблон, если кардинально меняется внешний вид.
Не пренебрегайте протирать объектив фронтальной камеры – разводы могут уменьшить четкость!
Включайте настройку “Raise to Wake” (“Поднять чтобы проснуться”) – в результате мобильник сам активирует фотоаппарат когда вы берёте его в руки.
Во время записи постарайтесь держать голову прямо перед объектива без значительного наклона головы.
Используйте возможность “Attention Aware” (“Реакция на внимание”) – она закрывает телефон, если вы отвернулись от экрана.

Перспективы эволюции технологии

В скоро наступающие времена можно ожидать развития полностью бесконтактных способов опознания индивидуума сразу по нескольким биометрическим параметрам одновременно: физиономия + голос + походка + жесты рук!

Также предполагается появление новых способов охраны конфиденциальности – скажем, изменяющееся корректировка цифрового паттерна после каждой успешной авторизации, чтобы усложнить его копирование злоумышленниками.

Идентификация лиц – одна из наиболее интересных технологий нашего эпохи! Она обеспечивает интеракцию со телефоном проще чем когда-либо прежде, и такие аппы, как admiral-x, могут в разы повысить ваш юзерский опыт, но требует осознанного отношения к вопросам безопасности личных данных и грамотного выбора подходящей модели устройства под ваши задачи.

Теперь, если вы понимаете, как устроена эта технология в деталях, – сможете осознаннее подбирать свой следующий гаджет!