Source: Novosibirsk State University – Новосибирский государственный университет –
Ярослав Чеканов, студент 3-го курса Института интеллектуальной робототехники НГУ, создал программу RSL Interpreter, которая позволяет переводить жесты в текст. Приложение основано на технологиях искусственного интеллекта, работает на ПК в режиме реального времени и на мобильных устройствах. На текущий момент поддерживает только дактиль[1], в дальнейшем Ярослав планирует доработать модель, сделав ее более устойчивой, добавить больше жестов для перевода и обратный перевод.
Студенты Института интеллектуальной робототехники НГУ уже с третьего курса начинают работать над реальными проектами, которые направлены на решение задач индустриальных партнеров и разных социально-значимых задач. В программу обучения включен специальный предмет «Управление производственным процессом и разработка программного обеспечения». Идея создать переводчик русского жестового языка пришла Ярославу именно в ходе обучения по данному курсу, студенту хотелось разработать что-то новое, при этом связанное с искусственным интеллектом.
— Для создания приложения, над которым я работал самостоятельно, мне пришлось изучить русский жестовый язык. Очень трудоемкой была задача собирать огромный датасет (массив данных для обучения модели) и сделать тестовое решение на нем. Однако оно оказалось удачным. Я собрал приложение в исполняемый файл. Оно читает изображение с видеокамеры до момента, пока не будет закончен перевод, который в дальнейшем выводится на экран, — рассказывает о работе над проектом Ярослав Чеканов.
На рынке есть подобное решение, которое предлагает СБЕР, однако отличие разработки Ярослава в том, что использована другая архитектура, а само приложение работает быстрее и результат перевода более точный.
— Мой проект имеет важное социальное значение: он не только способствует инклюзивности, но и открывает новые возможности взаимодействия для людей с ограниченными возможностями. Кроме того, проект может быть интересен специалистам в области обучения жестовому языку, машинного обучения и лингвистам, изучающим эту форму коммуникации. Во многом мне помог мой наставник — Михаил Витальевич Филиппов. Именно благодаря ему я пришёл к уникальному решению этой сложной задачи. На текущий момент готовы версии приложения для компьютера и телеграм-бот, которому можно присылать видео для перевода. Также на днях я завершил разработку мобильного приложения. В дальнейшем я собираюсь представить свой проект в рамках трека Делаю от ТвойХод, — делится планами разработчик технологии Ярослав Чеканов.
[1] Дактиль — жестовая азбука.
Обратите внимание; Эта информация является необработанным контентом непосредственно из источника информации. Это точно соответствует тому, что утверждает источник, и не отражает позицию MIL-OSI или ее клиентов.
Please note; This information is raw content directly from the information source. It is accurate to what the source is stating and does not reflect the position of MIL-OSI or its clients.
https://www.nsu.ru/n/media/news/nauka/student-3-go-kursa-instituta-intellektualnoy-robototekhniki-ngu-razrabotal-demoversiyu-perevodchika-/