Описание
Компания NEC захотела сделать “умную” стойку регистрации , через которую будут проходить посетители. Компания планировала с помощью такой стойки регистрировать улыбку, эмоции, пол, возраст по лицу каждого проходящего человека и присваивать ему кратковременный уникальный идентификатор. За реализацией NEC обратилась в компанию «Наносемантика».
Задача
Необходимо было разработать систему распознавания улыбки, эмоций, пола и возраста людей на основе нейронных сетей. На вход системе будут поступать снимки со стойки регистрации, на которых будут лица людей, на выходе будет JSON файл со статистическими данными по каждому человеку на фотографии (guid человека, биометрический id человека, эмоция на момент снимка, пол, возраст, дата и время съемки, время нахождения перед камерой, confidence factor по биометрическим оценкам), а также вырезанная фотография лица человека. Данные будут передаваться на сервер заказчика для дальнейшей статистической обработки.
- FaceDetector. На вход детектор получает кадры с видеопотока. На выход выдает координаты детекций лиц и их вероятности
- FaceRecognizer. На вход получает лицо из детектора лиц, на выход выдает вектор из 128 чисел, который называется “эмбеддинг”
- AgeAndGenderClassifier. На вход получает лицо из детектора лиц, на выход выдаёт: возраст человека и его пол
- EmotionsAndSmileClassifier. На вход получает лицо из детектора лиц, на выход выдаёт: эмоцию человека и наличие улыбки человека. Выводится самый вероятный статус. При равенстве вероятностей выдается отсутствие улыбки.
Результаты
Был разработан софт для прототипа “умной” стойки регистрации. KPI Заказчика по качеству работы системы и её нейросетевых подмодулей были успешно выполнены.
