Проект «Цифровой аватар Лили»
Название проекта
Внутренний корпоративный проект «Наносемантики», созданный для демонстрации возможностей продукта «Цифровые аватары» клиентам и потенциальным заказчикам в рамках маркетинговых активностей (выставки, конференции).
Даты проекта
2023 ‒ первая версия цифрового аватара Лили
2024 ‒ модернизация внешнего вида и анимаций
Апрель 2025 ‒ глобальное обновление образа и базы знаний аватара
Используемые технологии и продукты
«Наносемантика»: диалоговая платформа DialogOS, синтез речи NLab Speech TTS, распознавание речи NLab Speech ASR.
YandexGPT: генеративная текстовая нейросеть.
Unity: 3D-образ цифрового аватара, технология визуализации и синхронизации голоса с мимикой.
Описание
Цифровые аватары, на сегодня один из флагманских продуктов «Наносемантики», ‒ это уникальные анимированные персонажи с полной синхронизацией речи, эмоций, мимики и жестов с возможностью взаимодействия с помощью голоса. Крупный бизнес и госкорпорации уже активно задействуют цифровых аватаров в разных каналах (сайты, мобильные и ПК-приложения, интерактивные стенды) для создания персонализированной коммуникации с пользователями, сотрудниками и клиентами и поддержания высокотехнологичного имиджа.
Первая версия корпоративного аватара Лили была создана в 2023 году для демонстрации основных функций и возможностей продукта. При ее разработке «Наносемантика» использовала современные методы распознавания и обработки голоса (собственные технологии синтеза речи NLab Speech TTS и распознавания речи NLab Speech ASR), профессиональное ПО разговорного ИИ с применением нейросетей (диалоговая платформа DialogOS для текстовых и голосовых роботов), генеративные сети (GPT) и полноценную 3D-модель с глубокой проработкой анимаций, карт нормалей, шейдеров и липсинка (Unity). С помощью платформы DialogOS Лили была обучена отвечать на вопросы о «Наносемантике»: истории компании, ключевых сотрудниках, продуктах и услугах, а подключенная генеративная нейросеть позволяет ей поддерживать разговор на любую тему. Аватар общается на русском языке.
Цифровой аватар был неоднократно использован на стенде «Наносемантики» на крупных мероприятиях, среди которых Techweek-2024, Ecom-2024, ВЭФ-2024, ПМЭФ-2024. Лили отвечала на вопросы, выступая полноценным консультантом, и по отзывам наших сотрудников, значительно увеличила поток посетителей на стенд (до 30%). Среднее количество диалогов в день ‒ около 260, среднее количество реплик (вопрос-ответ) в диалоге ‒ 5.
Цифровой аватар Лили также не раз демонстрировала возможности ИИ модерировать сессии и выступать в качестве спикера. На ПМЭФ-2024 Лили полноценно участвовала в сессии про использование ИИ: она сформировала актуальную повестку дня, дала рекомендации по привлечению спикеров и выполнила функции сомодератора, оценивая выступления и участвуя в дискуссии. По итогам сессии цифровой аватар сгенерировал резюме сессии с выводами и рекомендациями.
В апреле 2025 года визуальный облик Лили был существенно обновлен: лицо, прическа, одежда и фон аватара стали более современными и привлекательными, была добавлена фоновая музыка и возможность отправлять запрос текстом напрямую в TTS для озвучки и в DOS. Это позволяет напрямую управлять диалогом, минуя предустановленные ответы и генеративную сеть.
Диалоговая платформа DialogOS уже сегодня поддерживает 40 языков и позволяет подключить большинство существующих больших языковых моделей (YandexGPT, GigaChat, ChatGPT, LLaMA, Mistral AI, OpenLLaMA, DeepSeek, Qwen, Stable AI, Falcon, GPT-Neo). В последнем обновлении Лили в качестве генеративной модели был подключен YandexGPT, выбранный разработчиками после тестирования разных LLM.
В данный момент продолжаются работы над дополнительным функционалом (подключение китайского языка, узнавание пользователя с помощью технологий компьютерного зрения), который будет включен уже в последующие обновления.
