Состоялся финал «Теста Тьюринга на русском языке»

Всего просмотров: 128

 

Лучший результат показал чат-бот с питерскими корнями.

2–3 июня на конференции Startup Village 2015 состоялся финал конкурса «Тест Тьюринга» – первого официально проведенного теста Тьюринга для русскоязычных чатботов. Его организаторами выступили компания «Наносемантика» и Фонд Сколково. Победила в конкурсе команда «Инобот» (капитан – Иван Голубев, Санкт-Петербург).

Конкурс стартовал 16 марта. Для участия в нем зарегистрировалось 69 команд-участниц. В течение двух месяцев создание и обучение роботов велось на технической платформе, которую предоставила «Наносемантика». Платформа оказалась достаточно удобной и легкой для освоения, позволив даже неподготовленным пользователям разработать собственных роботов за относительно короткий срок.

Отбирал финалистов конкурса экспертный совет, куда вошли ведущие российские специалисты в области искусственного интеллекта и робототехники – Игорь Ашманов («Ашманов и партнеры»), Анна Власова («Наносемантика»), Кирилл Зоркий («Наносемантика»), Альберт Ефимов (Фонд Сколково). Во внимание принималось в первую очередь количество авторских шаблонов для каждого чат-бота – их должно было быть не менее 50. Кроме того, каждый эксперт задавал чат-ботам по 15 вопросов, оценивая адекватность ответов на них. Если ответ виртуального собеседника можно было принять за человеческую реакцию, чат-бот получал один балл.

В итоге в финал пробились 8 команд: «Идеальный собеседник», «Позитифф», «Инобот», «Лиска Лисичкина», «Сборка №42», «Сократ», «Пятый дом» и «Форвард».

На Startup Village созданные финалистами чат-боты анонимно общались с посетителями конференции, пытаясь выдать себя за человека. Помимо роботов через чат разговаривали с судьями и люди – восемь волонтеров-лингвистов. Судьям предстояло определить, кто из их собеседников является роботом, а кто – человеком.

При том, что волонтеры во время диалогов не пытались притвориться чат-ботами, судьи в некоторых случаях принимали волонтера за виртуального собеседника, а робота, который шел с ним в паре, – за реальную личность. По правилам конкурса, тест Тьюринга считался бы пройденным, если бы чат-бота приняли за человека как минимум 50% независимых судей.

Победителю конкурса – «Соне», которую создала команда «Инобот», – для прохождения теста Тьюринга не хватило всего 3%: ее приняли за человека 47% судей. Второе место досталось чат-боту по имени Сократ (капитан – Александр Кузьмин, Москва), он сумел ввести в заблуждение 24% своих собеседников. Третью позицию заняла «Лиска Лисичкина» (капитан – Алексей Лаврушев, Красноярск) с результатом 19%.

На церемонии награждения победителей член экспертного совета, председатель совета директоров «Наносемантики» Игорь Ашманов рассказал о планах организаторов «Теста Тьюринга» сделать этот конкурс ежегодным. Кроме того, устроители планируют адаптировать его для студенческой аудитории и проводить состязания между профильными вузами.

Комментирует Иван Голубев, капитан команды «Инобот», занявшей первое место:

«Участвовать в конкурсе я решил сразу, как только о нем узнал. Я не являюсь профессиональным программистом, но интересуюсь чат-ботами с 2011 года. В этом конкурсе, в первую очередь, меня привлекла возможность создать своего робота на базе готовой платформы, тратя время не на преодоление технических препятствий, а на создание персонажа.

Чтобы сделать робота, нужно придумать легенду персонажа, подготовить базу знаний, которая отражала бы его историю и манеру поведения, а затем анализировать разговоры робота с людьми. Последний этап – самый трудоемкий, но и самый интересный. За время конкурса я проанализировал сотни диалогов, чтобы фразы робота стали похожи на фразы живого человека.

Мой персонаж – Соня Гусева, 12-летняя петербурженка. Это раздражительный, иногда грубоватый подросток, манера поведения которого предсказуема, и поэтому ее относительно легко имитировать.

Хочу поблагодарить организаторов за интересный конкурс. Я надеюсь, скоро мы станем свидетелями того, как роботы сделают нашу жизнь чуточку проще, удобнее и лучше».