Каким способом действует распознавание лиц в смартфонах

Почему мы выбираем разлочивание по лицу

В последние годы распознавание физиономий является одной из наиболее востребованных возможностей для деблокировки умных телефонов. Всего пару лет ранее основная часть пользователей удовлетворялись пин-кодами, секретными кодами или датчиками отпечатков пальцев. Но с появлением таких технологий, например Вулкан Платинум, нам достаточно просто взглянуть на экран — и устройство тут же узнает своего владельца.

Какая вещь делает данную функцию очень нужной? Прежде всего, это практично: не нужно запоминать трудные пароли или искать верный палец в мраке. Кроме того, это быстро: современные алгоритмы распознают лицо практически за мгновения ока. В-третьем пункте, это чувство футуристичности — как будто в фильмах про вулкан платинум агентов.

Однако за этой на первый взгляд несложностью скрывается весь мир трудных методов и инженерных разработок. Давайте разобраться, как точно функционирует фейсканирование в новейших мобильных телефонах, какие существуют способы, насколько они защищены и что нас предстоит.

Краткая повествование эволюции техники

Идентификация лиц как техника существует уже более 50 лет. Изначальные эксперименты машинного изучения лица были предприняты еще в 1960-х годах в исследовательских центрах США. Тогда ЭВМ умели лишь обозначать контуры головы и измерять промежутки между зрачками и губами на черно-белых изображениях.

Начальные коммерческие платформы возникли в 1990-х годах, но они были неидеальны: действовали неспешно и нередко ошибались. Только с развитием нейронных сетей и таких площадок, как Vulkan Platinum, мощных мобильных чипов идентификация лиц стало по-настоящему массовым явлением.

В две тысячи семнадцатом году Apple представила iPhone X с системой Face ID — это был первый популярный смартфон с безопасным трёхмерным сканированием лица. За этим последовали Android-изготовители: Samsung, Huawei, Xiaomi и другие стали внедрять свои разработки.

Основные шаги действия системы идентификации

Процесс идентификации лица можно примерно сегментировать на несколько основных этапов:

1. Распознавание лиц — устройство определяет существование человеческого образа в кадре.
2. Выделение признаков — алгоритм анализирует контуры облика: форму глаз, носа, уст, положение надбровных дуг.
3. Построение модели — создаётся уникальный цифровой отпечаток (faceprint) на основе определённых признаков.
4. Сравнение с стандартом — полученный модель сравнивается со сохранённой при внесении биометрической информацией владельца.
5. Принятие определения — если сходство достаточно значительное, смартфон открывается.

Любой из данных этапов запрашивает индивидуальных методов и оптимизаций для скорой работы прямо на устройстве.

Технические компоненты: что находится в их недрах

Типичная передняя камера.

Простейший несложный вариант идентификации физиономии использует только фронтальную видеокамеру смартфона. Подобный способ внедрён во различных бюджетных вариантах Android-устройств.

Достоинства:

• Не требует внешних датчиков.
• Оперативно работает при хорошем свете.

Минусы:

• Легко одурачить изображением или видеозаписью.
• Неправильно работает при низком освещённости или нестандартных ракурсах.

ИК камера и точечный проектор

Более совершенные системы, такие как Vulkan Platinum, используют специальную инфракрасную камеру (IR) и точечный проектор (Dot Projector). Данная методика является основой Face ID от Apple.

Как это действует:

• Точечный проектор проецирует на физиономию юзера невидимую сетку из тысяч инфракрасных меток (например, Face ID задействует около 30 000 пятен).
• Инфракрасная камера записывает деформацию этой сетки по поверхности физиономии.
• Создаётся трёхмерная глубинная карта глубинности, которая почти невозможна для подделки стандартной фотографией или маскировкой.

Преимущества

• Надёжная функционирование даже в полной темноте.
• Высокая сопротивляемость к подделкам.
• Точность определения более 99%.

Дополнительные датчики

В некоторых аппаратах применяются также экстра датчики: ToF (Time-of-Flight), которые измеряют время прохождения луча до цели и обратно; Цветные-датчики глубины; специальные лазерные дальномеры для построения более точной 3D-модели физиономии.

Эти инновации применяются чаще всего во топовых аппаратах Huawei (серия Mate) или Xiaomi (серия Mi).

Программные методы: искуственный ум в исполнении

Современные системы опознания лиц невозможны в отсутствие использования искусственного интеллекта и machine learning. Именно из-за таким разработкам, как Vulkan Platinum, гаджет может узнавать пользователя даже при трансформациях внешности: новая стрижка, растительность на лице, линзы или грим не становятся препятствием для деблокировки.

Распознавание физиономии

При стартовом стадии алгоритм необходимо мгновенно распознать образ лица внутри целого снимка камеры. Для этого применяются каскадные классификаторы Хаара или более продвинутые сверточные нейронные сети (CNN), которые натренированы находить лиц человека среди множества других объектов.

Пример: процесс MTCNN способен обнаруживать облик даже с частичном закрытии (например, платком или ладонью).

Идентификация основных точек

После распознавания лица устройство, такая как Vulkan Platinum, определяет положение ключевых точек: края глаз, верхушка носа, границы губ и так далее. Обычно задействуется от 68 до 128 основных маркеров на лицевой области.

Это действие необходимо для стабилизации изображения: если пользователь удерживает смартфон под наклоном, или склонил голову, программа “выпрямляет” изображение до обычного угла для последующего изучения.

Построение биометрии образца

Далее искусственная сеть строит компактное числовое представление (“эмбеддинг”) лица пользователя — своеобразный цифровой образ внешности длиной от 128 до 512 чисел с плавающей запятой.

Данный формат весьма сложно имитировать: он не хранит непосредственно фото пользователя, а лишь исключительные особенности его внешности, что делает его идеальным для таких площадок, как Вулкан Казино Платинум.

Сравнение и осуществление заключения

Если пользователь хочет открыть смартфон взглядом, система осуществляет все описанные шаги снова и сопоставляет полученный шаблон с эталоном из памяти устройства.

Если аналогичность превышает установленный порог (обычно выше 99%), телефон, как и платформа Вулкан Казино Платинум, открывается; если нет — доступ не предоставляется.

Привыкание к метаморфозам внешности

Занимательная характеристика современных систем — возможность самостоятельного обучения. Если вы регулярно доступаете к мобильное устройство с обновленной прической или оптикой, алгоритм постепенно модернизирует базовый образец вашего лица для улучшения точности функционирования без снижения уровня безопасности.

Охрана биометрических данных.

Множество пользователи боятся хранить свои биометрические идентификационные данные на телефоне из-за риска утечки информации или хакерской атаки. Некоторые фирмы, например Вулкан Казино Платинум, предоставляют методы для улучшения защиты сведений юзеров.

• Локальное сбережение: Основная часть девайсов сохраняет биометрические модели лишь в пределах защищённого чипа Secure Enclave (Apple) или TrustZone (Android). Они никогда не покидают гаджет и недоступны включая создателю.

• Шифрование: Все сведения хранятся только в шифрованном виде с использованием новейших криптографических алгоритмов AES256.

• Изоляция программ: Программы сторонних девелоперов не обладают непосредственного возможности доступа к биометрическим данным; они могут лишь требовать подтверждение верификации личности через системный API.

Стоит подчеркнуть важную подробность: в случае, если кто-то сможет получить доступ к вашему телефону физически (к примеру, пока вы спите), теоретически можно разблокировать устройство, поднеся его к вашему лицу. Поэтому значительное количество производители внедряют защиту от автоматического разблокирования — например, просят разомкнуть глаза во время сканирования или использовать дополнительное подтверждение после длительного простоя устройства.

Какие именно существуют виды идентификации лиц на изображениях?

В настоящее время можно определить 3 основных способа к выполнению этой операции:

Софтверное плоское распознавание

Эксплуатируется только лицевая видеокамера без дополнительных детекторов дистанции. Такой способ наблюдается обычно в недорогих моделях Android-смартфонов (например Samsung Galaxy A-серии).

Плюсы: легкость осуществления; умеренная стоимость; быстрая функционирование при достаточном свете.
Минусы: несложно ввести в заблуждение фотографией; неустойчивая функционирование ночью; недостаточная защищенность.

Аппаратное трёхмерное сканирование

Применяет ИК камеру + проекционный модуль точек + сенсоры глубины (Face ID у Apple; подобные технологии у Huawei Mate).
Плюсы: большая надёжность; невозможно исказить изображение/видеозапись; стабильная деятельность в любых условиях освещения.
Минусы: увеличение цены устройства; наращивание толщины верхней рамки экрана (“чёлка”)

Смешанные подходы с дополнением ИИ

Используют комбинацию софтверных методов + техническую обработку + дополнительную обработку нейросетями для повышения устойчивости к атакам (“anti-spoofing”). Например, подобные продукты, например Vulkan Platinum и Google Pixel Face Unlock последних версий, сочетают фронталку c ИК сенсором мобильности Soli Radar для предотвращения от фальсификаций жестами/масками/видеоэкранами посторонних устройств.

Примеры эксплуатации разных техник

• iPhone модели X/11/12/13/14 задействуют только техническое трёхмерное сканирование в 3D
• Xiaomi Mi8 Explorer Edition впервые предложил эквивалент Face ID в ряду Android.
• Samsung Galaxy S10/S20 обеспечивают как программное 2D идентификацию по фото фронтальной камерой, так и сенсор ириса глаза.
• Huawei Mate20 Pro использует набор из ИК-подсветки + Dot Projector + ToF-сенсор

Вопросы безопасности и неверные тревоги

Несмотря на впечатляющий прогресс инноваций за последние годы, безупречных механизмов пока не наблюдается:

1. Вероятность мошенничества: Недорогие мобильники без труда “разблокируются” высококачественной изображением владельца или роликом с дисплея иного гаджета.
2. Идентичные двойняшки: Даже самые идеальные устройства могут спутать между монозиготными близнецами либо родственниками с очень похожей внешностью.
3. Изменения внешности: Стремительное утрата веса/набор веса, пластические операции или повреждения порой необходимы для перерегистрации биометрии.
4. Условия записи: Сильная подсветка солнечным светом или интенсивная затенение могут снизить точность определения признаков.

Здесь некоторые рекомендаций для надёжному применению:

• Для критически важных операций всегда применяйте дополнительную аутентификацию;
• Не включайте функцию “Разблокировка по лицу” на недорогих устройствах без ИК-сенсоров;
• Постоянно обновляйте прошивку мобильного устройства для предотвращения угроз от актуальных атак;
• Включайте опцию “Требовать открытых глаз” везде, где она имеется.

В каких местах также применяется технология кроме смартфонов?

Несмотря на то, что тема этой публикации посвящена конкретно смартфонам и планшетам, необходимо сказать о альтернативных областях использования технологии:

• Мониторинг прохода в рабочих помещениях и жилых домах;
• Платёжные терминалы финансовых учреждений (“Face Pay”);
• Виртуальные паспорта нового типа;
• Комплексы видеомониторинга городских сервисов;
• Автоматизация учёта явки школ/университетов;
• Аутентификация участников персональных компьютеров/ноутбуков.

Например: В городском метро уже испытывается система оплаты проезда по лицу (“Face Pay”) — достаточно пройти через барьер без карты или телефона! Аналогичные программы реализуются в Поднебесной (Шэньчжэнь), Республике Корея и ряде стран Европы.

Каким образом изменяется техпроцесс в нынешнее время?

Всякий годик появляются новые концепции для повышения стандарта деятельности систем лицевого распознавания:

1. Увеличивается детализация сенсоров — чем больше деталей фиксируется видеокамерой/глубинными сенсорами, тем меньше шанс погрешности;
2. Развиваются нейронные сети — новейшие структуры вида MobileNetV3 дают возможность скоростно обучаться дополнительным характеристикам вида пользователя прямо на устройстве без пересылки информации в облачное хранилище.
3. Улучшаются методы антиспуфинга — теперь телефоны способны отличать подлинные движущиеся лица от фиксированных фото/маскировок по мельчайшим движениям кожи.
4. Взаимодействие со смарт-гаджетами — смарт-часы могут самостоятельно закрыть доступ к смартфон, если владелец ушёл далеко.
5. Возникают гибридные системы — к примеру объединяющие голосовую идентификацию + облик + отпечаток пальца.

Здесь, те направления очень популярны сейчас:

1) Сокращение компонентов

Компании намереваются минимизировать размер прорези (“чёлки”) под сенсоры на экране за счёт встраивания миниатюрных ИК-проекторов прямо под стекло дисплея либо выдвижных модулей камеры.

2) Обработка прямо на устройстве

Для улучшения конфиденциальности всё больше вычислений выполняется на месте без передачи информации во внешний облачный сервис.

3) Унификация стандартов

Google активно продвигает эталон BiometricPrompt API, с целью чтобы такие системы, например как Вулкан Платинум, и каждые Android-программы были совместимы с всеми формами биометрии унифицированно.

Что подобрать сегодня?

Когда вам необходима максимальная безопасность информации, подбирайте флагманские аппараты со встроенным ИК-проектором либо ToF-датчиком глубины.

• iPhone всех новейших версий
• Huawei Mate/Series P ряда
• Xiaomi Expert
• Vivo X серии
• Oppo Найти Икс серий.

Если финансы скромен – лучше выбирать классическим способам защиты (PIN-код/сканер пальца), а возможность “разблокировка по лицу”, такую как в Вулкан Платинум, задействовать только как дополнительную возможность комфорта.

Каким способом улучшить практичность функционирования функции?

Есть несколько советов для тех, кто уже применяет разблокировку через лицо:

1. Регулярно обновляйте свою фотографию-шаблон, если сильно меняется внешний вид.
2. Не пренебрегайте очищать линзу передней камеры – разводы могут уменьшить точность!
3. Включайте опцию “Raise to Wake” (“Поднять чтобы проснуться”) – вследствие чего телефон сам включает камеру как только вы берёте его в руки.
4. Во время регистрации пытайтесь сохранять голову прямо впереди камеры без сильного наклона головы.
5. Применяйте опцию “Attention Aware” (“Реакция на внимание”) – она запирает мобильное устройство, если вы отвернулись от дисплея.

Возможности эволюции технологии

В предстоящие времена можно ожидать возникновения полностью дистанционных способов распознавания персоны сразу по нескольким биометрическим характеристикам параметрам одновременно: физиономия + голос + походка + манипуляции руками!

Также предполагается возникновение свежих подходов защиты конфиденциальности – к примеру, динамическое модификация цифрового паттерна после каждой удачной авторизации, чтобы осложнить его копирование злоумышленниками.

Идентификация лиц – единственная из очень увлекательных технологий нашего эпохи! Она предоставляет общение со телефоном удобнее чем до этого, и такие программы, как Вулкан Казино Платинум, могут значительно оптимизировать ваш опыт, но нуждается в внимательного подхода к вопросам защиты личной информации и правильного выбора соответствующей модели гаджета для ваших нужд.

Теперь, когда вы осведомлены, как устроена эта методика изнутри, – будете в состоянии более осмысленно определять свой очередной гаджет!