Мультимедийный стенд «Снежинка»

Описание

Мультимедийный стенд c голосовым 3D-аватаром для международной арктической станции. Стенд состоит из комплекса высокотехнологичных инструментов и используется для презентации достижений отечественной команды исследователей в Арктике.

Цель проекта:

создание информационной платформы для детального донесения информации, касающейся проекта международной арктической станции «Снежинка» с интеграцией функционала цифрового аватара выполняющего роль помощника-консультанта и взаимодействующего с пользователями при помощи визуального контакта и общения на естественном языке.

Задачи:

• cоздание аппаратной части платформы (стендовая и серверная части);
• создание приложения для стенда (информация по проекту и цифровой аватар);
• установка приложений для серверной части (нейросетевые технологии для функционала аватара);
• коммутация всех элементов.

Аппаратная часть

Аппаратная часть представляет из себя набор из нескольких главных компонентов, которые взаимодействуют друг с другом:

• вычислительный блок, состоящий из компьютеров и периферийных устройств для обеспечения их работы таких как: бесперебойный блок питания, блок вентиляции для охлаждения установки, видеоконтроллер для вывода изображения на несколько экранов и т.д. Все устройства вычислительного блока располагаются в специальной кофре, что позволяет осуществлять удобную транспортировку без необходимости полной разборки конструкции.
• видеостена из 6 мониторов для вывода различной информации (4 из них при помощи видеоконтроллера объединены вместе и используются как один большой монитор). Также присутствует один большой экран для вывода изображения с цифровым помощником. И еще один монитор располагается в специальной стойке и имеет сенсорный экран для интерактивного взаимодействия со стендом. Кроме того, в наличии — видеокамера и микрофон с колонками.

Приложение для стенда

Приложение для стенда содержит в себе информацию по проекту и цифрового аватара. На сенсорный экран выводится меню со списком тем, а на остальные экраны выводится цифровой помощник и общая информация по проекту. При выборе темы, на интерактивной панели появится окно с информацией по данной теме и на остальных экранах также информация будет обновлена в соответствии с выбранной темой. На стенде есть и кнопка для активации микрофона, что позволяет поговорить с помощником.

При общении с помощником можно задать как общие вопросы по проекту, так и вопросы по конкретной теме. Помощник может дать ответы общего характера или сориентировать пользователя по тому, к какой теме относится информация, которой он интересуется. Если речь идет о конкретной теме, подробная информация по которой заложена непосредственно в приложении (то есть данная тема присутствует в списке, и по ней есть развернутые материалы), то приложение автоматически выведет всю необходимую информацию на экраны и помощник начнет озвучивать всю информацию.

На экране с помощником во время его речи выводятся субтитры. Таким образом, нет необходимости самостоятельно что-либо искать в списке тем — всю необходимую информацию можно получить, просто общаясь с помощником. Для удаления, добавления или изменения тем и загрузки необходимых материалов по темам в приложении присутствует режим администратора. Также приложение может быть адаптировано и под другие языки. Сам помощник не является статичным. Персонаж всегда двигается и имеет эмоциональные реакции на различные вопросы, а во время разговора активно жестикулирует. Таким образом осуществляется визуальный контакт с пользователем. Кроме того, приложение получает с камеры изображение, которое используется для аналитики и классификации пользователей, которые используют стенд и может быть использовано для изменения модели поведения цифрового помощника.

Для распознавания и синтеза речи, а также для логики помощника и видеораспознавания, приложение использует программное обеспечение на сервере. То есть приложение отправляет данные на сервер и в ответ получает результаты работы сервисов.

Серверная часть

Серверная часть представляет из себя набор программных сервисов. Сам сервер располагается в вычислительном блоке стенда, что позволяет обеспечить полную автономную работу стенда без необходимости подключения к интернету.

В набор сервисов входят: распознавание речи (ASR), синтез речи (TTS), сервис с логикой поведения цифрового помощника (DOS), распознавание видео (CV).

Соответственно, за счет совместной работы сервисов помощник может полноценно общаться с пользователями и выполнять их запросы.