Чат-бот с 3D-сурдопереводчиком

Задача

В рамках технологического партнерства Лаборатория «Сенсор-Тех» и «Наносемантика» решали задачу по созданию интеллектуального чат-бота с виджетом для сайта «Теплого контакта» с встроенным 3D-сурдопереводчиком, а также функциями переключения на видеоконференцсвязь (ВКС) и живого оператора.

Описание решения

Чат-бот был создан на диалоговой платформе DialogOS от «Наносемантики», на которой работает коммуникативный ИИ многих передовых отечественных компаний-лидеров в своих отраслях.

DialogOS предназначена для разработки и поддержки разговорных систем на основе ИИ. Ее главной особенностью является модульная архитектура, которая позволяет гибко настраивать и масштабировать систему. Это делает платформу идеальной для создания решений любой сложности — от виртуальных ассистентов до сложного ИИ для робототехники. Платформа работает на 40 языках и включает в себя огромную базу знаний, которая насчитывает 3611 диалоговых сценариев, 5230 специализированных словарей и более 3 миллионов адаптивных вопросов. Одним из главных преимуществ DialogOS является сочетание нейросетевых алгоритмов и ручных правил. В зависимости от задач платформа может использовать нейросети для решения сложных вопросов, требующих глубокого анализа контекста и интерпретации, а ручные правила — для обработки более простых и предсказуемых сценариев.

Основная функция чат-бота на сайте «Теплого контакта» ‒ это анкетирование пользователя. Глухой человек может зайти в виджет и вступить в диалог с чат-ботом, который задает разные вопросы: например, о доступности среды, социальной жизни и возможностях трудоустройства для людей с ОВЗ. Все свои текстовые вопросы и ответы чат-бот автоматически дублирует на языке жестов. Также если глухой человек испытывает трудности в процессе опроса, он может обратиться к оператору: тот через программу экранного доступа может ему помочь и соединить с живым сурдопереводчиком.

Виртуальный сурдопереводчик Даша генерирует русский жестовый язык на основе введенного текста. Всё работает с помощью искусственного интеллекта, который был обучен на основе собранного датасета из более чем 50 тысяч жестов.

В тестировании чат-бота принимали участие более 500 человек ‒ это были глухие, слабослышащие, сурдопереводчики, сурдопедагоги. До конца анкеты дошло 87% аудитории, и это высокий показатель для данной аудитории.

Пообщаться с чат-ботом можно по ссылке: https://signs-widget-dev.sensor-tech.ru/