Особенности машинного перевода. Автоматическое самообучение программы Яндекс. Переводчик

Данная статья посвящена рассмотрению особенностей машинного перевода, а также изучению автоматического самообучения программы Яндекс. Переводчик. В первой главе будет дано понятие машинного перевода, рассмотрены основные подходы и особенности. Во второй главе будет изучено автоматическое самообучение программы Яндекс.Переводчик.
Ключевые слова: Машинный перевлод, Яндекс, Переводчик, Статистический подход, нейронная сеть.  
This article is devoted to the consideration of automated self-training program Yandex. Translator. The first chapter will give the concept of machine translation, consider the main approaches and features. In the second chapter, the automatic self-learning of the Yandex.Translate program will be studied.
Keywords: Machine Relocation, Yandex, Translator, Statistical Approach, neural network.
1. Особенности машинного перевода
Машинный перевод (Machine Translation) – это набор инструментов, который позволяет пользователям вводить текст на одном языке, и механизм генерирует полный перевод на другом языке [1].
Существует три типа систем машинного перевода:
1. Системы на основе правил используют комбинацию правил языка и грамматики, а также словари для общих слов. Специализированные словари создаются для того, чтобы сосредоточиться на определенных отраслях или дисциплинах. Системы, основанные на правилах, обычно предоставляют согласованные переводы с точной терминологией.
2. Статистические системы не знают языковых правил. Вместо этого они «учатся» переводить, анализируя большие объемы данных для каждой языковой пары. Их можно обучать для конкретных отраслей или дисциплин, используя дополнительные данные, относящиеся к нужному сектору [2].
3. Нейронный машинный перевод (NMT) – это новый подход, используемый в настоящее время в SDL Machine Translation, который позволяет машинам учиться переводить, используя большую нейронную сеть. Этот подход становится все более популярным среди исследователей и разработчиков MT, поскольку обученные системы NMT начали демонстрировать лучшую производительность перевода во многих языковых парах по сравнению со статистическим подходом.
Машинные переводчики никогда не заменят человека, даже в аспекте скорости, не говоря уже о точности и эффективности. Ниже будут рассмотрены некоторые особенности машинного перевода.
1. Машины не могут понять культуру. Невозможно запрограммировать машину для понимания культуры. Разные культуры в мире имеют разные лексические элементы, которые являются уникальными для этой конкретной культуры. В некоторых культурах, некоторые слова означают одно, а те же слова в другой культуре означают совершенно другое. У разных людей разный акцент, что означает, что их произношение отличается, даже если слова означают одно и то же. Только человек может понять разницу, потому что машинный переводчик просто сделает прямой перевод слова в слово.
2. Машины не могут связать слова с контекстом. В разных языках есть слова с двойным значением, и это может стать серьезной проблемой для машинных переводчиков. Эти слова должны быть связаны с контекстом, чтобы помочь определить их истинное значение и только человек способен на это. Если попытаться перевести документ с такими словами с помощью машинного переводчика, это приведет к неточным переводам, которые нарушат содержание текста.
3. Трудно локализовать машины для разных языков. Новые фразы появляются в любом языке в зависимости от диалекта. Машинные переводчики не могут быть в состоянии понять эти изменения быстро, как человек. Машина должна регулярно обновляться, постоянно «изучая» новые фразы, основываясь на том, как часто слова встречаются в новых контекстах или в разговоре, прежде чем они смогут найти подходящий перевод.
4. Машины не могут воспроизвести стиль и тон. Каждый написанный текст имеет разный стиль и тон по сравнению с другим. Документ может иметь поэтичный, смешной или убедительный стиль и тон, однако, когда дело доходит до перевода, машины опускаю данный факт. Предполагается, что документ должен иметь конкретный стиль и тон, чтобы его мог понять читатель, и если ему этого не хватает, то смысл документа может потеряться. Конкретные типы текстов, такие как поэзия и спорные сочинения, в частности, представляют собой серьезную проблему для машинных переводчиков. Они не могут точно передать настроение текста, и в результате получается плоский перевод.
5. Перевод не может быть полным без человеческого участия. Машинные переводчики используют искусственный интеллект, и, хотя он развивается изо дня в день, он никогда не может сравниться с человеческим интеллектом. Машинные переводчики становятся более эффективными, а качество производимых переводов становится более понятным. Однако необходимость участия людей в коррекции машинного перевода существует всегда. После того, как машина произвела перевод, должны быть редакторы и корректоры, чтобы гарантировать, перевод является грамматически правильным и понятным.
2 Автоматическое самообучение программы Яндекс
Яндекс вот уже пять лет работает над собственной системой машинного перевода, которая обучается на данных из интернета. Ее результаты используются в Переводчике, Поиске, Браузере, Почте, Дзене и во многих других сервисах. Обучается она следующим образом. Изначально система находит параллельные тексты по адресам документов – чаще всего такие адреса различаются только параметрами, например, «en» для английской версии и «ru» для русской. Для каждого изученного текста система строит список уникальных признаков. Это могут быть редко используемые слова, числа, специальные знаки, находящиеся в тексте в определённой последовательности. Когда система набирает достаточное количество текстов с признаками, она начинает искать параллельные тексты ещё и с их помощью – сравнивая признаки новых текстов и уже изученных [3].
Чтобы переводчик соответствовал современным стандартам качества, система должна изучить миллионы фраз на обоих языках. Поисковые технологии могут найти их, но только для наиболее популярных направлений перевода. Для всех остальных можно пытаться по старинке обучаться только на Википедии или Библии, но качество перевода откатывается на десятилетия назад.
Использованные источники:
1. Machine Translation in 2020 [Текст]. – https://www.smartling.com/resources/101/state-of-machine-translation.
2. The Evolution Of Machine Translation [Текст]. – https://localizeblog.com/the-evolution-of-machine-translation.
3. Как Яндекс научил машину самостоятельно создавать переводы для редких языков [Текст]. – https://habr.com/ru/company/yandex/blog/317910.