Система автоматического распознавания элементов жестового языка и модель ассистивного интеллектуального пространства

Введение

Основным способом межчеловеческой коммуникации в обществе глухих и слабослышащих людей является жестовый язык (ЖЯ), в котором каждому смысловому понятию соответствует определенный уникальный жестовый эквивалент. В нем для передачи информации используются различные визуально-кинетические средства естественного межчеловеческого общения: жесты рук, мимика и эмоции лица, артикуляция губ. ЖЯ не является универсальным во всех странах мира, так как он возникает и развивается естественным путем в разных локальных сообществах и изменятся со временем с появлением новой лексики. По данным международного интернет-каталога Ethnologuе, в разных странах мира насчитывается порядка 140 различных жестовых языков, не считая их региолекты. Основной задачей автоматизированных систем, основанных на компьютерной обработке ЖЯ и речи, является обеспечение равноправной коммуникации слышащих и глухих людей с нарушениями слуха, которых во всем мире насчитываются десятки миллионов человек. Одним из самых эффективных средств обучения и взаимодействия являются мультимедийные компьютерные системы, поэтому создание информационных приложений, способных работать с ЖЯ, является одной из приоритетных задач при работе с глухими и слабослышащими людьми. Особый интерес в этой области представляют системы компьютерного синтеза жестового языка и речи по входному тексту. Одним из наиболее эффективных вариантов для реализации компьютерных систем синтеза ЖЯ является использование трехмерных анимированных моделей человека, которые могут управляться посредством символов жестовой нотации, описывая требуемые конфигурации рук и различные типы движений. Жесты из лексикона в такой системе синтеза представляют собой цепочку символов в выбранной нотации, поэтому словарь может легко модифицироваться и расширяться без использования специального оборудования. Специфика автоматических систем человеко-машинного взаимодействия и коммуникации состоит в том, что ЖЯ и жестовый словарь должны быть определенным образом формализованы, чтобы компьютер мог обрабатывать и синтезировать жесты. Для описания жеста по его визуальным признакам существуют несколько различных систем нотации, позволяющих зафиксировать описание жеста. Довольно широкое распространение в последнее время в мире получила «Гамбургская система нотации». Эта система отличается наибольшей проработанностью инвентаря знаков и пригодна для использования в компьютерных приложениях за счет того, что ее знаки переведены в компьютерную систему кодировки Юникод с соответствующими компьютерными шрифтами. Инвентарь НаmNoSys позволяет записать практически любой жест, выполняемый одной или двумя руками, что делает эту систему универсальной и пригодной для записи практически любого ЖЯ мира. Таким образом, наиболее перспективным вариантом использования трехмерных виртуальных аватаров для синтеза ЖЯ является их управление посредством символов нотации жестов, которые описывают требуемые конфигурации рук и различные типы движений, Словарь жестов в такой системе представляет собой цепочку символов в одной системе нотации, поэтому может легко модифицироваться и расширяться без использования специального оборудования. Используя такой подход, за последние годы на вполне создания ассистивных технологий был разработан ряд моделей компьютерного синтеза жестовой речи для нескольких ЖЯ, включая американский, британский, французский, чешский ЖЯ и др.Система автоматического распознавания элементов жестового языка В языке жестов информация передается от говорящего человека к слушателю через движение рук, глаз или тела. Передача данных на жестовом языке включает и движения головой, которые также несут дополнительные сведения. К примеру, наклоняя голову и одновременно опуская веки, собеседник высказывает полное одобрение. Можно не сомневаться в его уважительном отношении. А как распознать движения головы машинным технологиям? Рассмотрим по подробнее.Существует два подхода в исследованиях, которые рассматривают задачу автоматического распознавания движений головы:Используются данные, в которых лицо или его часть отслеживаются с помощью различных устройств и на таких данных, как правило, моделируют НММ модели;Движения головы выделяют из необработанных видео-данных с использованием различных видеотехнологий (результаты очень сильно зависят от качества видео, освещения, используемые модели: LDCRF, SVM и НМ) [1].Фичи, которые необходимо выделять: скорость — изменение положения головы в единицу времени;ускорение — изменение скорости в единицу времени;рывок/толчок — изменение ускорения в единицу времени Т.е. ожидается, что последовательность кадров, для которых рывок в горизонтальном или вертикальном положении имеет высокое значение, будет соответствовать самой сильной части движения головы (это ещё называется штрихом).Датский видеокорпус NOMСО, в котором в том числе размечены движения головы: кивки, повороты и т.д. Выбраны два видео с одним и тем же носителем. Одно для обучения, а второе для тестирования. В обоих видеороликах используется библиотека ОрenCV. Производится анализ каждого кадра (рассматриваются координаты головы х и у, на основании этих координат вычисляются скорость, ускорение и рывки для каждого кадра. затем эта информация добавляется в аннотацию + для каждого кадра добавляется информация о наличии или отсутствии в нем движения головы).Затем был обучен классификатор SVM (метод опорных векторов) При таком алгоритме и фичами удалось достигнуть 68% точности классификации жестов головы. Дальше в этой работе попробовали улучшить baseline при помощи добавления информации о речи говорящего (но это не наш случай).Методы, определяющие положение головы: 1. отслеживание лица на видео [2] (нейронная сеть разбивает изображение на маленькие кусочки и решает, относятся ли они к объекту "лицо");2. метод, в котором строится зD-модель позы головы путем вычисления областей кожи и волос на изображении [3] (сначала делают изображение однотонным, потом при помощи какого-то своего алгоритма находят кожу и волосы, затем вычисляется площадь этих областей);3. метод, основанный на отслеживании глаз [4].Проблемы SLR:Некоторые жесты трудно отличить друг от друга;Скорость жестикуляции может различаться;Размер ладони у разных людей существенно отличается;Следует учитывать такие факторы, как разные цвета кожи у людей и изменения освещенности;Распознавание жестов необходимо осуществлять в реальном времени;Несмотря на правила, каждому человеку свойственны свои особенности жестов (вариативность).Проблемы SLR:Хотя большинство жестов одноручные, они так же могут быть двуручными;Система должна определять доминирующую руку;Руки могут перекрывать друг друга или лицо.Необходимо обратить внимание на следующее: - Форма рук; - Позиция рук движение само по себе выражение лица; - Положение тела; - Ритм "жестопроизводства".Наиболее популярные методы распознавания жестов:3D-распознавание (алгоритмы, использующие шарнирную модель человеческой руки для определения ключевых параметров, например, скелетный метод);Использование внешнего подобия.Дополнительные инструменты для SLR:Microsoft kinect (+PrimeSense);Беспроводные перчатки, оснащенные сенсором (минусы: неуклюжесть жестов, высокая стоимость перчаток);трёхмерный сенсор ASUS Xtion PRO (+-PrimeSense).Преимущество трехмерных сенсоров относительно цветных видеокамер:Устойчивость к изменениям освещения;Возможность получения дальностного изображения, каждый пиксель которого характеризуется расстоянием до сенсора;наличие библиотек, позволяющих распознавать позиции рук, ног и головы человека, а именно ОреnNI и Nite.Автоматическое преобразование жестов русской ручной азбуки в текстовый вид. Опираются на концепции, изложенные в системах Наmburg Notation System и SignWriting. B SignWriting 261 конфигурация руки. В дактиле используются 26 из них, которые образуют множество S = 3 (s1, s2, ..., s26). При показе жестов Е и К конфигурация руки меняется => - вместо буквы Ё используется Е;- вместо жеста буквы К используется жест с конфигурацией s 10, но отсутствием движения.B SignWriting насчитывается > 500 разных движений, совершаемых во время жестикуляций, которые обозначаются через множество M = (m0, m1, m2, …, m7). Таким образом любой жест представляет собой элемент из множества SxM. Например, буква А - это элемент (s1, m0), Щ (s21, m6).Рис.1 Конфигурация в движенииРис.2 Схема работы системы автоматического переводаПри помощи ОреnNI и Nite выделяется рука посредством создания сферы вокруг искомой точки и удаления всех точек, лежащих вне её. Изображение представляется в виде плоской полутоновой картинки, которая получается специальным преобразованием исходного дальностного изображения.Рис.3 Обработка видеокадраДля распознавания формы руки используется метод построения и анализа скелета руки. В данной работе для идентификации сравнивается скелет руки с эталонным для сравнения выполняется развертка скелетов.Рис.4 Вычисление ключевых характеристик рукиРезультаты классификатора конфигураций руки: - точность - доля конфигураций руки, действительно принадлежащих данному классу относительно всех конфигураций, которые система отнесла к этому классу (средняя точность-83, 4%); - полнота доля найденных классификатором конфигураций, принадлежащих классу относительно всех конфигураций этого класса в тестовой выборке (средняя полнота-76,7%).Рис.5 Результаты классификатора конфигураций рукиКоартикуляция - это артикуляция со слиянием конечной фазы жеста с начальной фазой следующего жеста. Для сегментирования непрерывных динамических жестов руки и нахождения коартикуляций:используют данные о позиции ладони, т.е. жест завершен, когда ладонь в течение короткого времени не меняет свою позицию;используются условные случайные поля (Conditional Random Field, CRF- это статистический метод классификации, характерным отличием которого является возможность учитывать «контекст» классифицируемого объекта.); Скрытые Марковские Модели (НМM); И т.д.Рис.6 Изменение формы руки во время показа слова "Добрый"-T - это упорядоченное множество отсчетов-кадров, приходящихся на сеанс показа отдельного слова или предложения;-S - изменение формы руки.Рис.7 SignAllSignAll -это автоматический переводчик для ASL. Inroduction video.Модель ассистивного интеллектуального пространстваКонцептуальная модель универсального многомодального интерфейса пользователя представлена на рис.8. Интерфейс выполняет автоматическое преобразование входной текстовой информации Т в жестовую G, а также речевую аудиоинформацию А и видеоинформацию V, объединение и вывод ее в виде мультимедийной информации М (при этом преобразование g является функцией автоматической обработки текста, а f выполняет функцию объединения разнотипной информации в мультимедийное представление):Рис.8 Концептуальная модель универсального многомодального человеко-машинного интерфейса на основе синтеза аудиовизуальной речи и жестового языкаТакой пользовательский интерфейс вывода информации является универсальным, так как он предназначен для вывода входных текстовых данных посредством синтеза звучащей речи, артикуляции губ аватара и жестового языка как для обычных пользователей, так и для людей с ограниченными возможностями (глухих и незрячих людей). На рис.9 представлена разработанная архитектура многомодальной системы синтеза аудиовизуальной речи и ЖЯ по тексту: ее основными компонентами являются:текстовый процессор анализа входного текста для последующего аудиосинтеза звучащей речи (по словам) и видеосинтеза жестовой и дактильной речи (показ фраз по словам или по буквам); имитационная трехмерная модель головы человека;аудиосинтезатор звучащей речи, осуществляющий преобразование текст-речь по входному тексту;компьютерная система синтеза аудиовизуальной речи (говорящая голова (talking head)) на основе виртуальной объёмной модели головы человека и машинного синтеза речи;имитационная трехмерная модель верхней части тела и рук человека, в которой настраиваются параметры движений рук для синтеза элементов жестового языка на основе управляющих символов жестовой нотации НamNoSys; многомодальный пользовательский интерфейс, интегрирующий компоненты генерации звучащей, визуальной и жестовой речи по входному тексту [6].В многомодальной системе артикуляция губ, которые являются видимой частью органов речеобразования, сопровождается также синтезированной речью, которая может и не быть доступна полностью глухим людям, однако для слышащих людей синтез аудиовизуальной речи доступен и даже необходим для повышения разборчивости и естественности синтезируемой компьютером речи.Рис.9 Архитектура многомодальной системы синтеза аудиовизуальной речи и жестового языка по текстуПрограммная реализация двуязычной многомодальной системы синтеза. В качестве практической реализации универсального многомодального интерфейса была программно разработана двуязычная многомодальная система синтеза аудиовизуальной речи и элементов ЖЯ. За основу была взята компьютерная система видеосинтеза чешского ЖЯ [7], созданная ранее Западночешским университетом в рамках исследовательского проекта Мusslap, которая была адаптирована к обработке русского ЖЯ. В итоге была разработана не просто система видеосинтеза жестов рук трехмерного аватара, а многомодальная система синтеза, в которой, помимо видеообработки, выполняется также аудиовизуальный синтез звучащей речи (хотя для глухих людей она и не доступна, но необходима для правильного синтеза артикуляции губ и мимики лица). На вход системы подается произвольный грамматически корректный текст (на русском или чешском языке), который анализируется текстовым процессором, в нем выделяются предложения, слова (для аудиосинтеза речи и видеосинтеза артикуляции губ аватара) и буквы (для машинного синтеза дактильной речи [8]), которые автоматически преобразуются в символы жестовой нотации, на основе которой аватар воспроизводит мануальные жесты, декодируя символы нотации. Элементы жестовой речи в системе описываются при помощи системы записи жестов НamNoSys, отражающей основные дифференциальные признаки каждого жеста: форму кисти, ориентацию руки, место и характер движения. Виртуальная модель головы и верхней части туловища человека реализована на языке моделирования виртуальной реальности (Virtual Reality Modelling Language, VRML) и управляется программными средствами графической библиотеки ОpenGL под управлением операционной системы семейства Mіcrosoft Windows. Cоздан трехмерный жестовый аватар (signing avatar), который может иметь светлую либо черную одежду (в зависимости от предпочтений пользователя). Данный аватар, демонстрирующий финальную статью динамического жеста для числительного «16», показан в различных проекциях на рис.10.Рис.10 Трехмерный жестовый аватар в различных проекцияхПодсистема аудиовизуального синтеза речи (так называемая говорящая голова) производит компиляционный синтез звучащей разговорной речи по тексту, совмещенный с движениями губ и лицевых органов трехмерной виртуальной головы человека. Для синтеза ЖЯ визуальная модель головы человека объединена с моделью туловища и рук (включая пальцы) человека. Как уже говорилось, ЖЯ складывается из комбинации динамических жестов, воспроизводимых обеими руками (либо одной рукой), и артикуляции губ, проговаривающих показываемое слово. При этом многие глухие люди, которые в детстве обладали слухом, способны «читать речь по губам» собеседника даже без использования жестов руками, поэтому такая речевая модальность должна являться неотъемлемым элементом компьютерной системы синтеза жестовой речи. Также для системы многомодального синтеза разработан специальный метод синхронизации выходных аудио- и видеомодальностей. Синхронизация звучащей речи и жестов в системе осуществляется на основе временных меток начала и конца слов звучащей речи, синтезированной системой по тексту. Так как звучащая речь в среднем имеет более высокий темп воспроизведения, чем жестовая речь, то виртуальный аватар последовательно проговаривает и артикулирует с невысокой скоростью изолированные слова звучащей речи, дожидаясь окончания жестикуляции соответствующего слова (может включать в себя несколько последовательных букв дактильной азбуки), плавно переходя к следующему жесту слитной жестовой речи. Разработанный жестовый аватар максимально имитирует стиль жестикуляции живых людей. Так, все жесты следуют в речи без пауз с соблюдением «плавности» и «текучести» жестов, что позволяет оформлять целые фразы и лексемы, а не набор изолированных друг от друга жестов. На данный момент словарь жестов системы составляет несколько сотен жестов для наиболее распространенных слов, цифр, букв и т.д. Следует отметить, что компьютерный синтез ЖЯ с использованием трехмерного аватара обладает рядом достоинств при организации вывода информации пользователям с нарушениями слуха, в частности: 1. позволяет просматривать видеосинтез жестовой речи с разных сторон и углов обзора, что дает возможность лучше воспринимать пространственную информацию, например, степень удаленности рук от туловища и друг относительно друга (в отличие от двухмерных моделей);2. дает возможность относительно легко пополнять и корректировать словарь жестов, так как вместо видеозаписей реального человека в словаре присутствуют компьютерные анимированные аватары, соответственно, для расширения словаря не обязательно записывать того же самого человека- демонстратора жестов в той же самой одежде и с той же прической, а также уровнем освещенности; 3. позволяет выполнять слитный синтез ЖЯ, в котором отдельные слова во фразах стыкуются бесшовно, т.е. не видны явные границы между соседними словами; 4. дает возможность заменять виртуальный аватар, используя новые высокореалистичные модели людей (мужчин или женщин, а также любых персонажей); 5. позволяет воспроизводить жестовую речь на экране с любой необходимой скоростью, как замедляя, так и ускоряя видеоряд. Демонстрация и тестирование системы в Санкт-Петербурге были организованы при помощи сотрудников «Всероссийского общества глухих». Отзывы и качественная оценка системы потенциальными пользователями позволяют говорить об обеспечении естественности и разборчивости синтезированных элементов русского ЖЯ и дактильной речи (дактилологии), а также артикуляции и мимики губ виртуального аватара при речеобразовании. Разработанная многомодальная система аудиовизуального синтеза речи и жестового языка (жестовый аватар) предназначена для организации универсальных человеко-машинных интерфейсов с целью коммуникации с людьми, имеющими тяжелые нарушения слуха полностью глухими, посредством элементов разговорного ЖЯ (калькирующей жестовой речи и дактильной речи, воспроизводимых движениями жестами рук виртуального помощника-аватара) и визуальной речи (артикуляции губ, обязательно сопутствующей жестовой модальности), а также речевой коммуникации со слепыми и слабовидящими людьми и полноценного мультимедийного общения со зрячими и слышащими пользователями. Данная система может использоваться для задач организации коммуникации человек-человек и человек-машина, в системах электронного обучения. машинного перевода [9], виртуальной и дополненной реальности и т.д. Представленная многомодальная система аудиовизуального синтеза речи и ЖЯ входит в состав большего комплекса-универсальной ассистивной информационной технологии (assistive technology) для людей с ограниченными возможностями здоровья. в состав которой также входят многомодальная система для бесконтактной работы с компьютером. система аудиовизуального распознавания речи. система автоматического распознавания элементов жестового языка и модель ассистивного интеллектуального пространства [10].

Заключение
В работе был представлен универсальный многомодальный интерфейс и разработана программная компьютерная система для аудиовизуального синтеза элементов жестового языка и звучащей речи по тексту, объединяющая бимодальную систему синтеза речи (виртуальная говорящая голова), обеспечивающая аудиовизуальный синтез речи, и модель тела и рук человека (жестовый аватар), наполняющую видеосинтез динамических жестов. Система предназначена для вывода входных текстовых данных посредством синтеза звучащей речи, артикуляции губ аватара и жестового языка как для обычных пользователей, так и для людей с ограниченными возможностями (глухих и незрячих). Дальнейшие исследования, разработки и внедрение в жизнь глухих людей автоматизированных компьютерных систем должны дополнительно привлечь к этой проблеме внимание общественности, а также обратить усилия ученых, разработчиков и компьютерных лингвистов к междисциплинарным исследованиям и работам в этой сфере обработки естественного языка.В рамках рефератной работы исследуется исключительно математическое, программное и информационное обеспечение (жестовый интерфейс), направленное на автоматическое визуальное распознавание элементов исключительно русского ЖЯ. Подчеркивается, что проблема эффективности распознавания жестов до сих пор не решена из-за серьезных различий в семантико-синтаксической структуре письменного и жестового языков, что пока не позволяет выполнять однозначный перевод ЖЯ. Поэтому на данный момент не существует эффективных методов и моделей для автоматического сурдоперевода. Для создания таких полноценных моделей необходимо производить глубокий семантический анализ и разбор письменных фраз, а это пока возможно лишь на поверхностном уровне из-за несовершенства алгоритмов анализа текстов и баз знаний.

Список использованной литературы

1. Рaggio, Patrizia. Costanza Navarretta, Bart Jongejan (2о17). Automatic identification of head movements in video-recorded conversations: can words help? In Proceedings of the Sixth Workshoр оп Viston and Lanдuage, pp. 40-42.2. Rowley, Henry A, Shumeet Baluja, Takeo Kanade (1998). Neural network-based face detection. IEEE Transactions on pattern anabysis and machinе intelligence 2o(1), 23-38.3. Chen. Qlan, Haiyuan Wu, Takeshi Fukumoto, Masahiko Yachida (1998). 3d head pose estimation without feature tracking, In Automatie Faсе and Gesture Reсодnition, 1998. Prоceedings Thin IEEE International Соmference on, pp. s8-93. IEEE4. Tian, Ying-li, Takeо Кanade, Jeffrey F Cohn (2000). Dual-state parametric eye tracking, In Automatic Face and Gesture Recognition, 2o0а. Proceedings Fourth IEEE Interпational Сonference on, pр, но-15. IE.5. Мартынова С., Автоматическое распознавание ЖЯ, 2018, 1-27.6. Каrроv А., Кmoul Z., Zeleznу М., Ronzhin A. Multimodal synthesizer for Russian and Czech sign lan- guages and audio-visual speech. Lecпure Notes in Comрuter Seience (including subseries Lестure Notes in Arificial Intelligeпce and Lecture Notes in Bioinformatics), 2013, vol. 8009 LNCS, рart 1, pp. 520-529. doi: 10.1007/978-3-642-39188-0-567. Krhoul Z., Kanis J.. Zelezny M.., Мüller L., Czech text-to-sign speech synthesizer. Lecture Notes in Cотрuler Science (including subseries Lechure Notes in Artiffcial Intellgence and Lecture Notes in Bioinformatcs). 2008, vol. 4892 LNCS, рp. 180-191. doi: 10.1007/978-3-540-78155-4_168. Каrроv A.A. Мashinnyi sintez nusskoi daktif'noi rechi po tekstu (Computer synthesis Russian finger spelling by text]. Nauchnо-Tekhnicheskaya Informatsiya. Seriva 2: Informatsionnye Protsessy i Sistemy, 2013, nо. 1, pp. 20-26. 17. Каrроv9. Hruz M., Campr P. Dikici E., Kindiroglu A.A. Krtoul Z., Ronzhin A., Sak H., Schormo D., Yalgin Н., Аkarun L. Aran O., Кaгрov A., Saraglar M., Zelezny M. Automatic fingersign to speech translation sys- tem. Journal on Multimodal User Interfaces, 2011, vol. 4, по. 2, рр. 61-79. doi: 10.1007/s12193-011-0059-310. Каrроv А.А., Akarun L., Ronzhin A.L. Mnogomodal'nye assistivnye sistemy dlya intellektual'nogo zhilogo prostranstva [Multimodal assistive systems for a smart living environment). SPIRAS Proceedings, 2011, по. 4 (19). рр. 48-64.