21.10.2024
Компания Sydney Trains и члены австралийского сообщества глухих разрабатывают усовершенствованный аватар жестов на базе искусственного интеллекта, который сможет автоматически переводить аудиообъявления на ауслан.
Для глухих людей путешествие на поезде может быть азартной игрой. В обычный день все идет нормально: они садятся на поезд до места назначения и продолжают заниматься своими делами.
Но когда происходит что-то необычное, ситуация может быстро стать пугающей, потому что большинство обновлений доставляются только посредством аудиообъявлений.
Глухой путешественник может опоздать на свой поезд, потому что его переместили на другую платформу, или наблюдать, как его станция проносится мимо, потому что сегодня поезд там не останавливается.
Они также могут остаться в вагоне поезда в чрезвычайной ситуации после того, как все остальные эвакуировались, и их придется спасать персоналу станции.
Каждый из этих примеров взят из реального жизненного опыта глухих людей в Сиднее. Но Sydney Trains и члены австралийского сообщества глухих работают над разработкой продвинутого аватара жестов на основе искусственного интеллекта (ИИ), который может автоматически переводить аудиообъявления на ауслан (австралийский язык жестов).
Работа над аватаром также приближает к следующему шагу: разработке систем искусственного интеллекта, которые смогут «понимать» язык жестов.
Путешествия не всегда идут по плану
Ранее в этом году разработчики провели пилотное исследование с тремя глухими пассажирами поезда в Сиднее. Помимо историй, которыми они поделились о том, что может пойти не так во время поездки на поезде, авторы проекта узнали, что они используют проверенные стратегии, чтобы их поездки проходили гладко.
Их стратегии могут быть знакомы обычным пассажирам. Например, они планируют свои поездки с помощью приложения, приезжают заранее и ищут указатели, которые сообщают им, если что-то изменилось.
Но они также сказали, что чувствовали необходимость стоять возле информационных экранов, чтобы следить за обновлениями, и спрашивать у персонала станции или других пассажиров информацию об изменении ситуации. Они также сообщили о том, что были сверхбдительными в поезде, следя за тем, чтобы не пропустить свою остановку.
Но эти стратегии не всегда гарантировали, что глухие путешественники получат важную информацию, в том числе о чрезвычайных ситуациях. Например, хотя сотрудники станции обычно были полезны, иногда они были слишком заняты, чтобы помочь.
Наибольшее разочарование возникало в ситуациях, когда другие пассажиры не хотели или не могли предоставить информацию, оставляя глухих путешественников просто «следовать за толпой».
Это часто означало, что они оказывались не в том месте.
Разработка аватара для подписи
Программное обеспечение для преобразования речи в текст может показаться простым решением некоторых из этих проблем. Но для многих глухих людей английский не является родным языком, и Auslan может обрабатываться гораздо проще и быстрее.
глухие путешественники сказали, что в идеальном мире им бы хотелось иметь живых переводчиков. Однако автоматический перевод на основе искусственного интеллекта с использованием аватара жестов, отображаемого на платформе или экране поезда, который мог бы определять ключевые слова в аудиообъявлении, генерировать предложение с правильной грамматикой ауслана и сшивать соответствующие жесты из словарной библиотеки, был привлекательным по ряду причин.
Во-первых, он позволяет в режиме реального времени переводить объявления, в которых используется известная лексика, что актуально в контексте поездов и станций, где многие объявления охватывают схожие темы.
Во-вторых, аватар и его жесты можно настраивать в соответствии с потребностями конкретной ситуации, например, используя информацию о местоположении экрана, чтобы аватар показывал жесты в правильном направлении, указывая выходы или другие платформы.
В-третьих, несколько человек, говорящих на языке жестов, могут добавлять знаки в словарный запас аватара, которые затем можно легко "сшить" вместе, чтобы составить предложение.
И что важно, аватар означает, что никакой реальный человек не должен быть «лицом» автоматически генерируемых объявлений организации. Это особенно важно, поскольку австралийское сообщество глухих небольшое и сплоченное, и если что-то пойдет не так с переводом, никто не пострадает от репутационного ущерба.
С технической точки зрения аватар также позволяет обеспечить минимальный порог качества для жестов. Разработчики используют захват движения, чтобы убедиться, что каждый жест в библиотеке словаря жестов точен, а движения четкие.
ИИ для всех
Эта работа является одним из шагов более широкой цели создания системы ИИ, которая может понимать Auslan. Этот ИИ может быть использован для помощи глухим и слышащим сотрудникам станции общаться или для создания «чатбот-будок» или помощников на основе приложений, которые позволят глухим людям получать информацию по запросу на Auslan о своих поездках на поезде или других повседневных задачах.
Языки жестов и культуры глухих по всему миру имеют нюансы и сложности, о которых исследователи слуха и разработчики ИИ могут не знать .
Эти нюансы и сложности должны быть встроены в новые технологии, а исследователи и разработчики должны использовать языковой подход к сбору данных и проектированию ИИ с глухими людьми, а не только для них.
Только тогда ИИ сможет удовлетворить реальные потребности глухих людей: обеспечить их безопасность и независимость во всех аспектах повседневной жизни.
Для глухих людей путешествие на поезде может быть азартной игрой. В обычный день все идет нормально: они садятся на поезд до места назначения и продолжают заниматься своими делами.
Но когда происходит что-то необычное, ситуация может быстро стать пугающей, потому что большинство обновлений доставляются только посредством аудиообъявлений.
Глухой путешественник может опоздать на свой поезд, потому что его переместили на другую платформу, или наблюдать, как его станция проносится мимо, потому что сегодня поезд там не останавливается.
Они также могут остаться в вагоне поезда в чрезвычайной ситуации после того, как все остальные эвакуировались, и их придется спасать персоналу станции.
Каждый из этих примеров взят из реального жизненного опыта глухих людей в Сиднее. Но Sydney Trains и члены австралийского сообщества глухих работают над разработкой продвинутого аватара жестов на основе искусственного интеллекта (ИИ), который может автоматически переводить аудиообъявления на ауслан (австралийский язык жестов).
Работа над аватаром также приближает к следующему шагу: разработке систем искусственного интеллекта, которые смогут «понимать» язык жестов.
Путешествия не всегда идут по плану
Ранее в этом году разработчики провели пилотное исследование с тремя глухими пассажирами поезда в Сиднее. Помимо историй, которыми они поделились о том, что может пойти не так во время поездки на поезде, авторы проекта узнали, что они используют проверенные стратегии, чтобы их поездки проходили гладко.
Их стратегии могут быть знакомы обычным пассажирам. Например, они планируют свои поездки с помощью приложения, приезжают заранее и ищут указатели, которые сообщают им, если что-то изменилось.
Но они также сказали, что чувствовали необходимость стоять возле информационных экранов, чтобы следить за обновлениями, и спрашивать у персонала станции или других пассажиров информацию об изменении ситуации. Они также сообщили о том, что были сверхбдительными в поезде, следя за тем, чтобы не пропустить свою остановку.
Но эти стратегии не всегда гарантировали, что глухие путешественники получат важную информацию, в том числе о чрезвычайных ситуациях. Например, хотя сотрудники станции обычно были полезны, иногда они были слишком заняты, чтобы помочь.
Наибольшее разочарование возникало в ситуациях, когда другие пассажиры не хотели или не могли предоставить информацию, оставляя глухих путешественников просто «следовать за толпой».
Это часто означало, что они оказывались не в том месте.
Разработка аватара для подписи
Программное обеспечение для преобразования речи в текст может показаться простым решением некоторых из этих проблем. Но для многих глухих людей английский не является родным языком, и Auslan может обрабатываться гораздо проще и быстрее.
глухие путешественники сказали, что в идеальном мире им бы хотелось иметь живых переводчиков. Однако автоматический перевод на основе искусственного интеллекта с использованием аватара жестов, отображаемого на платформе или экране поезда, который мог бы определять ключевые слова в аудиообъявлении, генерировать предложение с правильной грамматикой ауслана и сшивать соответствующие жесты из словарной библиотеки, был привлекательным по ряду причин.
Во-первых, он позволяет в режиме реального времени переводить объявления, в которых используется известная лексика, что актуально в контексте поездов и станций, где многие объявления охватывают схожие темы.
Во-вторых, аватар и его жесты можно настраивать в соответствии с потребностями конкретной ситуации, например, используя информацию о местоположении экрана, чтобы аватар показывал жесты в правильном направлении, указывая выходы или другие платформы.
В-третьих, несколько человек, говорящих на языке жестов, могут добавлять знаки в словарный запас аватара, которые затем можно легко "сшить" вместе, чтобы составить предложение.
И что важно, аватар означает, что никакой реальный человек не должен быть «лицом» автоматически генерируемых объявлений организации. Это особенно важно, поскольку австралийское сообщество глухих небольшое и сплоченное, и если что-то пойдет не так с переводом, никто не пострадает от репутационного ущерба.
С технической точки зрения аватар также позволяет обеспечить минимальный порог качества для жестов. Разработчики используют захват движения, чтобы убедиться, что каждый жест в библиотеке словаря жестов точен, а движения четкие.
ИИ для всех
Эта работа является одним из шагов более широкой цели создания системы ИИ, которая может понимать Auslan. Этот ИИ может быть использован для помощи глухим и слышащим сотрудникам станции общаться или для создания «чатбот-будок» или помощников на основе приложений, которые позволят глухим людям получать информацию по запросу на Auslan о своих поездках на поезде или других повседневных задачах.
Языки жестов и культуры глухих по всему миру имеют нюансы и сложности, о которых исследователи слуха и разработчики ИИ могут не знать .
Эти нюансы и сложности должны быть встроены в новые технологии, а исследователи и разработчики должны использовать языковой подход к сбору данных и проектированию ИИ с глухими людьми, а не только для них.
Только тогда ИИ сможет удовлетворить реальные потребности глухих людей: обеспечить их безопасность и независимость во всех аспектах повседневной жизни.