перчатка для глухих с ИИ интерпретирует язык жестов

16.01.2024
Учительница из Индии, ставшая предпринимателем, Айшвария Карнатаки описывает, что привело ее стартап GlovatriX к разработке устройства под названием «Пятое чувство».

В 2008 году Айшвария Карнатаки училась в 8-м классе Шотландской средней школы в Гургаоне, где было специальное отделение для обучения детей с ограниченными возможностями. Она была членом студенческого совета, который еженедельно общался с этими детьми.

Во время этого общения она сблизилась с шестилетним глухим ребенком по имени Атхарва.

  «В отделении был слепой ребенок, был кто-то с ДЦП, был ребенок-аутист, был кто-то с нарушениями опорно-двигательного аппарата. Я проводила время со всеми. Но пока они все решали свои проблемы, у них были друзья, с которыми они могли поговорить, за исключением Атхарвы. У него не было друзей. Он пытался понять, что говорят другие люди, но в итоге лишь кивал головой и улыбался. Никто не понимал его языка жестов, поэтому он всегда играл один. Поэтому я начала изучать язык жестов, чтобы взаимодействовать с ним»,
 — рассказала Карнатаки. Однажды, используя язык жестов, Карнатаки спросила его: «Ты будешь моим другом?» и поняла, как счастлив Атхарва видеть, как кто-то общается с ним.

Aishwarya-Karnataki-Co-Founder-GlovatriX-left_-fifth-sense-when-worn.png
Айшвария Карнатаки, соучредитель Glovatr

«С того дня мне всегда хотелось сделать что-нибудь для глухих. Он был блестящим ребенком, который знал все ответы, но не мог дать их учителям из-за проблем с общением. Поэтому с того дня я захотела преодолеть разрыв в общении между глухими людьми»,
— сказала Карнатаки. Она изучала электронную инженерию и в своем проекте работала над роботизированным автомобилем, управляемым жестами вместо пультов дистанционного управления, что стало ступенькой к ее стартапу GlovatriX.

Перенесемся в январь 2022 года в Пуне . Карнатаки объединилась с соучредителем Парикшитом, специалистом по данным, чтобы воплотить это видение в реальность. Это привело к разработке «Пятого чувства», устройства, похожего на перчатку, на основе искусственного интеллекта с датчиками, которые отображают движения рук и пальцев в трехмерном пространстве.

Устройство переводит их жесты в голос, обеспечивая беспрепятственное общение глухих людей с другими людьми. Кроме того, микрофон на перчатках улавливает произнесенные слова, преобразуя их в текст и изображения для глухих пользователей. Говоря о точности, Карнатаки сказала:
 «Нам удалось достичь точности 98 процентов на основе 50 жестов».

Чтобы добавить новые жесты, необходимо записать их десять раз от десяти глухих людей, чтобы уловить изменчивость. Каждые две недели они добавляют 100 жестов. Устройство, предназначенное для эффективного перевода слов, фраз и написания пальцев в речь, стоит 20 000 рупий.

 Карнатаки работала учителем, прежде чем полностью посвятила себя GlovatriX. Первоначально она и Парикшит основали свое предприятие, используя свои зарплаты. Позже они заручились финансовой поддержкой в ​​виде государственных грантов, конкурсов стартапов, а также от друзей и семьи.

GlovatriX, которая в настоящее время находится на восьмой итерации аппаратного обеспечения и второй итерации приложения, стремится позиционировать себя как инструмент общения на рабочем месте. Команда уже оформила заказ для правительства штата Одиша и ведет переговоры с различными компаниями, в том числе с гостиничными сетями и авиакомпаниями, о пилотировании устройства для своих глухих сотрудников.

Сейчас они работают над повышением масштабируемости продукта. Карнатаки заявили, что хотят выйти на рынок через канал «бизнес для бизнеса» (BB). Их цель — инклюзивные организации, которые нанимают на работу глухих и людей с нарушениями речи. В конце концов, примерно через год, они захотят запустить бизнес для потребителя (BC), где они также будут продавать напрямую частным лицам. 

«Мы все видели на заправочных станциях или в кафе, как глухие люди обычно заправляют топливо или собирают посуду. Их найм входит в число этих организаций. Но большинство из них – выпускники. Они знают программирование и компьютеры, но не получают заслуженной работы из-за отсутствия связи. Вот почему им приходится выполнять ручную работу, главным образом из-за отсутствия связи. Поэтому с помощью этого устройства мы стремимся преодолеть этот разрыв», — сказала Карнатаки.

В будущем GlovatriX планирует стать комплексным решением для языка жестов, включающим учебные модули и профессиональные навыки. По ее словам, конечной целью является создание мира, дружественного к инвалидам, в котором никто не сталкивается с социальной изоляцией из-за коммуникационных барьеров.