Каким образом действует идентификация лицевых образов в мобильных устройствах

Почему мы предпочитаем разлочивание по фейсу

В последние годы распознавание лиц превратилось в одной из наиболее востребованных опций для деблокировки умных телефонов. Лишь несколько годков ранее основная часть пользователей обходились пин-кодами, ключами доступа или сканерами отпечатков пальцев. Но с появлением подобных технологий, как вулкан россия, нам достаточно лишь взглянуть на экран — и аппарат тут же опознает своего владельца.

Какая вещь обуславливает эту особенность такой востребованной? Для начала, это комфортно: не нужно помнить сложные пароли или искать нужный палец в темноте. Во-вторых, это мгновенно: современные системы распознают лицо фактически за мгновение. В-третью очередь, это впечатление футуристичности — словно в фильмах про vulkan russia агентов.

Тем не менее за данной на первый взгляд простотой таится полный мир сложных методов и инженерных решений. Давайте разобраться, как именно работает распознавание лиц в новейших смартфонах, какие бывают технологии, насколько они надёжны и что нас ждёт впереди.

Сжатая повествование эволюции инноваций

Идентификация лиц как техника присутствует уже более 50 лет. Изначальные попытки автоматического анализа лица были предприняты еще в 1960-х годы в исследовательских центрах США. Тогда компьютеры умели лишь обозначать силуэты головы и определять расстояния между очами и ртом на ахроматических снимках.

Начальные бизнес платформы возникли в девяностых годах, но они были далеки от совершенства: функционировали медленно и часто давали сбои. Только с прогрессом нейронных сетей и таких систем, как вулкан россии, сильных мобильных чипов идентификация лиц стало по-настоящему массовым явлением.

В 2017 году Apple представила iPhone X с системой Face ID — это был первый массовый смартфон с достоверным трёхмерным идентификацией лица. За этим последовали Android-производители: Samsung, Huawei, Xiaomi и другие начали внедрять собственные разработки.

Ключевые стадии работы устройства идентификации

Процесс идентификации лица можно условно разделить на несколько важных этапов:

Обнаружение лица — аппарат выявляет существование людского лица в снимке.
Извлечение признаков — механизм анализирует особенности лица: очертания глаз, носа, уст, позицию бровей.
Построение шаблона — создаётся особенный виртуальный отпечаток (faceprint) на основе выделенных признаков.
Сравнение с эталоном — полученный шаблон сравнивается с зафиксированной при учёте биометрической информацией владельца.
Принятие решения — если совпадение достаточно существенное, смартфон разблокируется.

Каждый из данных шагов требует специальных алгоритмов и оптимизаций для скорой работы непосредственно на девайсе.

Аппаратные составляющие: что находится внутри них

Типичная передняя камера.

Простейший простой метод идентификации лица задействует лишь лицевую камеру смартфона мобильного устройства. Такой подход внедрён во многочисленных недорогих версиях Android-устройств.

Преимущества:

Необходимо потребляет дополнительных датчиков.
Шустро действует при достаточном освещённости.

Отрицательные стороны:

Несложно обмануть фотографией или видео.
Неудачно работает при слабом свете или непривычных точках зрения.

ИК камера и точечный проекционный аппарат

Более усовершенствованные системы, такие как вулкан россии, применяют специальную инфракрасную камеру (IR) и точечный проектор (Dot Projector). Эта самая методика лежит в основе Face ID от Apple.

Каким образом это функционирует:

Точечный проектор показывает на физиономию юзера невидимую сетку из тысяч инфракрасных меток (например, Face ID задействует около 30 000 точек).
ИК устройство фиксирует искривление данной решетки по поверхности лица.
Формируется трехмерная карта глубины, что практически невозможна для фальсификации обычной фото или маской.

Преимущества

Надёжная работа даже в полной темноте.
Большая сопротивляемость к фальсификациям.
Точность идентификации выше 99%.

Дополнительные сенсоры

В отдельных девайсах используются также вспомогательные датчики: ToF (Time-of-Flight), которые фиксируют время прохождения света до цели и обратно; Цветные-датчики глубины; специальные оптические лидары для формирования более детализированной 3D-модели физиономии.

Эти разработки встречаются чаще всего во передовых аппаратах Huawei (серия Mate) или Xiaomi (серия Mi).

Компьютерные процедуры: синтетический ум в работе

Современные механизмы распознавания лиц неосуществимы при отсутствии эксплуатации artificial intelligence и machine learning. Именно из-за таким технологиям, как вулкан россии, устройство способно идентифицировать пользователя даже при трансформациях внешнего вида: новая укладка, растительность на лице, линзы или грим не становятся препятствием для деблокировки.

Распознавание лица

При начальном этапе алгоритм должна быстро обнаружить лицо внутри полного кадра с камеры. Для этого применяются многоуровневые классификаторы Хаара или более новейшие сверточные нейронные сети (CNN), которые подготовлены идентифицировать человеческие лица среди множества других объектов.

Пример: процесс MTCNN способен обнаруживать лицо даже в случае частичном перекрытии (например, платком или рукой).

Идентификация основных аспектов

После идентификации лица механизм, такая как вулкан россии, устанавливает местоположение ключевых точек: уголки глаз, конец носа, края губ и так далее. Как правило используется от 68 до 128 ключевых меток на лицевой области.

Данное требуется для выравнивания картинки: если человек находится с смартфон под углом, или наклонил головку, программа «выпрямляет» изображение до нормального состояния для дальнейшего анализа.

Формирование биометрии шаблона

Далее нейронная сеть строит компактное числовое представление («эмбеддинг») лица пользователя — своеобразный цифровой след лица длиной от 128 до 512 вещественных чисел.

Этот шаблон весьма затруднительно сфальсифицировать: он не хранит само картинку пользователя, а лишь особенные характеристики его вида, что делает его совершенным для таких систем, как vulkan russia.

Сравнительный анализ и вынесение решения

Когда юзер желает открыть телефон взором, система осуществляет все описанные описанные выше шаги заново и сравнивает полученный шаблон с эталоном из памяти устройства.

Если похожесть превышает определённый уровень (обычно превышает 99%), телефон, как и платформа vulkan russia, доступен; если нет — доступ запрещается.

Привыкание к трансформациям внешнего вида

Занимательная особенность нынешних системы — способность самообучения. Если вы часто доступаете к смартфон с новой прической или оптикой, программа постепенно модернизирует основной шаблон вашего лица для увеличения точности действия без снижения уровня безопасности.

Охрана биометрических информации.

Множество пользователи боятся хранить свои био-идентификационные данные на смартфоне из-за угрозы утечки информации или взлома устройства. Определенные организации, например vulkan russia, предлагают варианты для улучшения сохранности данных юзеров.

Локальное сохранение: Преимущественно аппаратов записывает био-идентификационные образцы исключительно внутри безопасного чипа Secure Enclave (Apple) или TrustZone (Android). Они никогда не покидают аппарат и не доступны в том числе производителю.
Шифрование: Все информация хранятся только в зашифрованном виде с использованием актуальных криптографических алгоритмов AES256.
Изоляция программ: Программы сторонних девелоперов не обладают прямого возможности доступа к биометрическим данным; они могут лишь запрашивать факт верификации идентичности через системный API.

Стоит подчеркнуть важную особенность: если кто-либо сможет получить доступ к вашему телефону физически (например, пока вы спите), теоретически можно разблокировать устройство, поднеся его к вашему лицу. Поэтому многие компании реализуют систему защиты от «слепого» разблокирования — к примеру, требуют открыть глаза во время сканирования или применять дополнительное подтверждение после длительного простоя устройства.

Какие существуют типы распознавания лиц?

На сегодняшний день можно выделить различить три ключевых способа к выполнению этой операции:

Программируемое 2D идентификация

Используется только фронтальная видеокамера без дополнительных сенсоров глубины. Подобный метод используется обычно в бюджетных моделях Android-смартфонов (например Samsung Galaxy A-серии).

Плюсы: легкость осуществления; низкая затраты; оперативная функционирование при хорошем освещении.
Минусы: несложно ввести в заблуждение снимком; нестабильная работа ночью; слабая охрана.

Аппаратное объёмное сканирование

Задействует инфракрасную видеокамеру + проекционный модуль точек + сенсоры глубины (Face ID у Apple; подобные решения у Huawei Mate).
Плюсы: большая надёжность; не получится обмануть фото/видео; устойчивая работа при любом освещении.
Минусы: удорожание устройства; наращивание толщины верхней рамки экрана («чёлка»)

Смешанные методы с дополнением ИИ

Применяют комбинацию софтверных методов + аппаратно-техническую обработку + последующую обработку нейросетями для усиления устойчивости к атакам («anti-spoofing»). Например, такие продукты, как вулкан россии и Google Pixel Face Unlock последних версий, комбинируют фронтальную камеру c инфракрасным датчиком мобильности Soli Radar для защиты от фальсификаций руками/масками/видеоэкранами чужих устройств.

Образцы применения разнообразных методов

iPhone модели X/11/12/13/14 задействуют только аппаратное трёхмерное сканирование
Xiaomi Mi8 Explorer Edition в первый раз внедрил подобие Face ID среди Android.
Samsung Galaxy S10 модель/S20 поддерживают как программное плоское определение по снимку селфи-камерой, так и сенсор радужки глаза.
Huawei Mate20 Pro применяет набор из ИК-подсветки + Dot Projector + ToF-датчик

Проблемы безопасности и неверные срабатывания

Несмотря на поразительный развитие техники за последние лет, безупречных механизмов пока не имеется:

Шанс обмана: Недорогие смартфоны без труда «разблокируются» четкой снимком владельца или видео с дисплея иного гаджета.
Идентичные двойняшки: Даже самые совершенные устройства могут ошибиться между монозиготными близнецами либо родственниками с очень похожей внешностью.
Метаморфозы облика: Внезапное похудение/набор веса, пластические операции или повреждения в некоторых случаях необходимы для повторной регистрации биометрических данных.
Условия фотографирования: Интенсивная освещённость солнцем или же интенсивная темнота могут понизить точность идентификации признаков.

Вот несколько рекомендаций для безопасному применению:

Для критически важных операций всегда применяйте двухфакторную аутентификацию;
Не включайте функцию «Разблокировка по лицу» на недорогих аппаратах без ИК-сенсоров;
Систематически апгрейдите прошивку мобильного устройства для предотвращения угроз от актуальных атак;
Включайте функцию «Требовать распахнутых глаз» везде, где она доступна.

В каких местах ещё находится применение технологии кроме смартфонов?

Хотя предмет этой работы касается в частности смартфонам и планшетам, необходимо сказать о альтернативных областях использования технологии:

Управление доступа в офисах и резиденциях;
Платёжные устройства банков («Face Pay»);
Электронные удостоверения личности последнего образца;
Системы видеонаблюдения городских подразделений;
Автоматизация учёта явки учебных заведений/вузов;
Авторизация юзеров компьютеров/ноутбуков.

Например: В городском метро уже тестируется система платежа проезда по фейсу («Face Pay») — нужно лишь пройти через турникет без пластика или мобильника! Похожие программы развиваются в Китае (Шэньчжэнь), Республике Корея и ряде стран Европы.

Как изменяется технология сегодня?

Любой год появляются свежие мысли для улучшения уровня функционирования систем идентификации лиц:

Увеличивается чёткость сенсорных устройств — чем больше элементов фиксируется камерой/глубинными сенсорами, тем меньше вероятность погрешности;
Улучшаются нейросети — новейшие архитектуры типа MobileNetV3 дают возможность быстро обучаться дополнительным характеристикам внешности владельца прямо на устройстве без пересылки информации в облачное хранилище.
Улучшаются технологии антиспуфинга — теперь телефоны могут отличать подлинные анимированные облики от фиксированных снимков/маскировок по незаметным микродвижениям.
Взаимодействие со смарт-гаджетами — смарт-часы могут самостоятельно блокировать мобильный телефон, если пользователь удалился на значительное расстояние.
Появляются смешанные механизмы — в частности совмещающие речевую аутентификацию + физиономию + дактилоскопический след.

Вот, какие тенденции в особенности популярны на сегодняшний день:

1) Уменьшение элементов

Компании намереваются уменьшить габариты прорези («чёлки») под сенсоры на дисплее за счёт внедрения миниатюрных ИК-излучателей прямо под стекло дисплея либо высувных модулей камеры.

2) Обработывание прямо на устройстве

Для повышения приватности всё больше вычислений осуществляется на месте без пересылки данных во дополнительный облачный услугу.

3) Упорядочивание регламентов

Google активно пропагандирует эталон BiometricPrompt API, с целью чтобы аналогичные площадки, например как вулкан россия, и все Android-программы были совместимы с различными типами биометрии унифицированно.

Какое выбрать на сегодня?

Когда тебе необходима наивысшая сохранность информации, выбирайте топовые модели с вмонтированным ИК-излучателем или ToF-сенсором глубины.

iPhone всех новейших моделей
Huawei Mate/Series P серии
Mi Pro
Vivo X модели
Оппо Find Х серий.

Если бюджет скромен – лучше отдавать предпочтение традиционным способам защиты (PIN-код/сканер пальца), а функцию «разблокировка по лицу», такую как в вулкан россия, применять только как опциональную опцию удобства.

Как повысить практичность функционирования возможности?

Есть пара лайфхаков для тех, кто уже пользуется разблокировку через лицо:

Часто меняйте свою фотографию-шаблон, если значительно меняется внешний вид.
Не упускайте из виду протирать линзу фронтальной камеры – загрязнения могут уменьшить четкость!
Включайте опцию “Raise to Wake” (“Поднять чтобы проснуться”) – так мобильник сам включает фотоаппарат когда вы берёте его в руки.
В процессе регистрации пытайтесь держать лицевую часть неподвижно напротив камеры исключая резкого наклона головы.
Применяйте возможность “Attention Aware” (“Реакция на внимание”) – она блокирует мобильное устройство, если вы отвернулись от экрана.

Возможности развития технологии

В скоро наступающие времена можно предполагать появления полностью безконтактных способов распознавания персоны сразу по нескольким биометрическим параметрам одновременно: лицо + звучание + походка + жесты рук!

Также возможно развитие новых подходов защиты конфиденциальности – например, изменяющееся корректировка электронного шаблона после каждой удачной авторизации, чтобы осложнить его копирование злоумышленниками.

Распознавание лиц – одна из очень захватывающих инноваций нашего эпохи! Она обеспечивает взаимодействие со мобильным устройством удобнее чем до этого, и такие приложения, как vulkan russia, могут в разы улучшить ваш юзерский опыт, но нуждается в внимательного подхода к вопросам защиты личной информации и правильного выбора соответствующей модели гаджета для ваших нужд.

Теперь, когда вы осведомлены, как функционирует эта методика изнутри, – сможете осознаннее выбирать свой следующий устройство!