Новосибирский программист обучил систему жестовому русскому языку
Выпускник НГТУ НЭТИ Алексей Приходько глухой с рождения. Он закончил работу над системой, которая помогает людям с нарушениями слуха управлять компьютером при помощи жестов.
Основная функция созданной программы — перевод жестового языка. С помощью камеры система считывает жесты, затем обрабатывает их, сопоставляя с имеющимися в нейронной сети данными, а затем выдает на экран перевод. Кроме основной функции, программа умеет управлять компьютером с помощью жестов. Пользователь может настроить громкость, яркость и управлять курсором.
С письменного языка на жестовый переводить не сложно. Технически тяжело распознать жесты и их перевести. Все зависит еще от того, какая камера и какие датчики. Существует два способа распознавания жестов при помощи техники: безмаркерный и маркерный. Маркерная система — это когда у человека надеты специальные перчатки, приборы на запястья, браслеты и современные агрегаты, которые учитывают движение мышц и точки на корпусе человека. Я пошел сложным путем, который не требует больших затрат на специальное оборудование для создания программы с маркерной системой. Моя программа безмаркерным методом распознает человека и его жесты при помощи камер, — пояснил пресс-службе НГТУ Алексей Приходько.
Автор разработки планирует расширить знания своей программы. Сейчас она использует только азбуку глухих. Алексей в скором времени добавит и грамматику жестового языка. Это позволит сделать программу доступной для использования глухими.
