Разработка принципов создания системы разметки речи для определения диалектов

СОДЕРЖАНИЕ:
Введение…………………………………………………………………….3
Глава 1. Разработка принципов создания системы разметки речи для определения диалектов…………………………………………………………...5
1.1. Современное состояние корпусной лингвистики…………………...8
1.2. Обзор существующих речевых корпусов…………………………..11
Глава 2. Лингвистические принципы разработки речевого корпуса для определения диалектов………………………………………………………….11
2.1. Определение минимальных единиц при разметке в речевом корпусе……………………………………………………………………………13
Заключение………………………………………………………………..14
Список использованных источников……………………………………17
Приложение……………………………………………………………….18
ВВЕДЕНИЕ
Современный русский язык - один из богатейших языков мира. Его величие создается большим словарем с оговорками, широкой многозначностью слов, обилием синонимов, неисчерпаемыми возможностями словообразования, множеством словоформов и разнообразием стилистических средств. Русский язык разделяется на русский национальный язык и литературный русский язык. Национальный язык - язык русского народа, охватывающий все сферы языка народа независимо от образования, места жительства, профессии. Он содержит диалекты, специальный словарь и сленг, также, стоит отметить, что национальный язык неоднороден: он содержит специальные языковые варианты, что является диалектами. По сути, любой локальный язык - это целостная система, элементы которой взаимосвязаны. Нарушение законов и правил речи снижает слух носителя.
Современные диалекты - результат развития древних русских ораторов, история которых уходит корнями в античность. Да и сам литературный русский язык тоже является "потомком" диалектов: он основан на речи Москвы и окрестных деревень.
Диалектология - раздел лингвистики, изучающий диалекты конкретного языка в их синхронном состоянии и историческом развитии.
Диалект - это языковая система, которая служит средством общения для небольшой географически замкнутой группы людей, обычно жителей одного или нескольких сельских поселений. Диалект также представляет собой совокупность наречий, объединенных общими языковыми особенностями. Непрерывность ареала распространения как условие объединения наречий в диалекте не признается всеми исследователями. Термин "диалект" широко используется в диалектологических работах для обозначения близлежащих диалектов определенной исторической области. Данные из географии языка имеют большое значение для понимания сущности диалекта и принципов его отбора.
В качестве объекта работы была рассмотрена сущность разметки речи для определения диалектов.
Цель работы – раскрыть сущность разметки речи для определения диалектов. Исходя из цели работы, выделим ключевые задачи, которые предстоит решить:
Раскрыть теоретические особенности разработки принципов создания разметки речи для определения диалектов;
Проанализировать сущность лингвистических принципов разработки речевого корпуса для определения диалектов;
Произвести необходимые выводы.
Глава 1. Разработка принципов создания системы разметки речи для определения диалектов
В лингвистике рассматриваются принципы построения текстовых структур как коммуникативных моделей. В дополнение к этим корпусам, которые представляют функционирование национальных языков в различных областях коммуникации, корпуса также должны моделировать коммуникацию в отдельных языковых общинах, которые распределены на национальном языке. Наиболее важными языковыми образованиями этого типа являются диалекты.
Создание диалектных текстовых структур имеет особое значение для диалектологии, которая ограничивается определенным набором источников. До недавнего времени основным источником диалектологии был материал, собранный из специальных анкет и представленный в индексных карточках, словарях, атласах. Своеобразие материала отражается также в особом периферийном статусе диалектологии в композиции мест, значительно сужая круг решаемых диалектологических проблем и ограничивая диалектологическую сферу системно-структурного своеобразия русских народных песен.
Один и тот же диалектный материал, который существует в различных диалектологических центрах, во-первых, еще не доступен широкому кругу исследователей, а во-вторых, в том виде, в котором он обычно существует, не может быть использован с наибольшей пользой.
Разработка принципов создания системы разметки речи для определения диалектов основывается на идее диалекта как самостоятельной коммуникативной системы, полностью обеспечивающей коммуникативные потребности в условиях традиционного сельского общения. При основании корпуса реализуется неференциальный подход к диалекту, при котором изучение диалектного языка по отношению к литературному языку не является основной задачей.
Задача создания модели традиционной сельской коммуникации требует разработки специальной программы, обеспечивающей презентабельность материала. Общим принципом формирования текстовой базы корпуса является принцип полного и адекватного отражения в корпусе особенностей диалектной коммуникации. Применение этого принципа предполагает наполнение каждого субкорпуса разнообразным текстовым материалом, представляющим значительный объем:
- основные типы диалектного языка (бытовой, фольклорный, язык в условиях формального, ритуального общения);
- различные формы речи (диалог, разговор, монолог);
- разнообразная тема коммуникации;
- социальная дифференциация говорящих (по полу, возрасту, роду занятий, уровню образования).
Для построения коммуникативной модели языкового общения в определенных условиях жизни конкретного языкового коллектива необходимо учитывать социокультурные языковые условия. Решение этой задачи осуществляется путем включения в состав каждого подкорпуса разнообразной неязыковой информации: фотографий, видеоиллюстраций, диаграмм, карт, демографических и этнографических данных. Что же касается текста (основной части) диалектического корпуса, то здесь необходимо решить следующие принципиальные вопросы:
- способ хранения диалектного языка в основании падежа;
- способ членства в языковом потоке;
- способ написания знаков устного диалектного языка.
Но в настоящее время разработка принципов создания системы разметки речи для определения диалектов определяется в рамках электронного диалекта, который связан с рядом трудностей:
- систематические языковые различия стандартного языка;
- исключительно устный характер диалектического общения, как следствие-невозможность опираться на письменные источники;
- изменчивость на всех уровнях, что затрудняет идентификацию единиц измерения в этом случае;
- отсутствие однородности в фиксации диалектного языка и различных способов организации информации.
Эти трудности вызывают небольшое количество диалектных и региональных корпусов как в русском, так и в немецком языковом пространстве. Работы над большинством зданий еще не завершены. Технические и методические проблемы очень похожи. Таким образом, разработчики корпуса диалектов определяют необходимые параметры для четкого представления корпуса. К этим параметрам относятся:
- принципы отбора диалектного материала и критерии представительства диалектного корпуса;
- принципы разделения языкового континуума в корпусе;
- параметры вывода фрагментов текста;
- формы представления диалектных текстов в корпусе;
- типы и правила текстовой базовой аннотации корпуса;
- оптимальные характеристики требований пользователей для диалектологического исследования.
1.1. Современное состояние корпусной лингвистики
Термин «корпусная лингвистика» был использован в 60-е годы в связи с развитием практики строительства зданий, чему способствовали 80-е годы прошлого века с момента развития компьютерной техники.
Корпусная лингвистика - это большой стандартизированный и структурированный формат с грамотным массивом языковых данных, предназначенных для решения конкретных языковых задач. Наиболее важными особенностями современного языка являются машиночитаемый формат, репрезентативность и доступность металлингвистической информации. Репрезентативность достигается с помощью специальной процедуры отбора текста.
Лингвистический корпус - это серия текстов, собранных в соответствии с определенными принципами, помеченных в соответствии с определенным стандартом и поддерживаемых специализированной поисковой системой.
Полезность создания текстовой корпусной лингвистики:
- представление языковых данных в реальном контексте;
- достаточно большой дисплей данных (с большим объемом корпуса) и т.д.
Корпусная лингвистика направлена на изучение языковых моделей на материале с большими объемами текста (корпусов), которые предварительно обрабатываются и маркируются. Отличие этих текстов от обычных электронных библиотек заключается в том, что здесь можно использовать специальные программы для поиска необходимых фрагментов текста по определенным параметрам, а затем обобщать и анализировать полученные данные.
Отличие корпусной лингвистики от традиционной заключается не только в использовании компьютерных технологий, но и в общем подходе к изучаемым явлениям. Корпусная лингвистика направлена на изучение языка, воплощенного в текстах на определенных языках.
Интерес исследователей к корпусной лингвистике обусловлен широким развитием компьютерных технологий и программного обеспечения, которые предоставили исследователям исключительные возможности для получения и обработки информации.
Однако информационный взрыв создает не только преимущества, но и проблемы. Парадоксально, но самое главное из них - это богатство информации. Эта проблема встала перед обществом во второй половине ХХ века, когда информационные технологии еще не получили такого развития. В 60-е гг. прошлого века в развитых странах существовало правило: при необходимости реализовать проект стоимостью $ 50 000, который уже существовал, но поиск информации о нем занял время, дешевле разработать аналогичный проект заново.
С развитием интернета процесс получения информации стал неизмеримо проще, быстрее и дешевле. Например, запрос "корпусная лингвистика" отображает 2033 страницы и 373 страницы по теме в русской поисковой системе Яндекс, а английская поисковая система Yahoo отображает 938 000 упоминаний этой фразы в Интернете, а время поиска Yahoo составляет 0,14 секунды.
Но если вы посмотрите на общее количество сохраненных ссылок, то время, необходимое для отображения всей информации, будет непропорционально больше, чем время, проведенное в библиотеке 20-го века. Но большинство ссылок не содержат научной, лингвистической информации и представляют собой "информационный шлак", который необходимо сортировать, что также требует времени.
В этой ситуации вступает в силу так называемый первый закон Муэрса: "пользователь избегает пользоваться поисковой системой, когда поиск информации вызывает большее раздражение, чем без нее". Подобно тому, как промышленность продолжает производить новые приборы для облегчения домашней работы хозяев, так и программисты продолжают разрабатывать новые программные продукты, которые делают привычный поиск информации и побуждают пользователя к дальнейшим научным исследованиям. Но для точного, научно обоснованного поиска необходимой информации необходимо построить специализированную семиотическую (знаковую) систему.
Лингвисты уже давно стремятся установить связь между содержанием (понятиями) и его языковым выражением (словами), выявить закономерности и зависимости между содержанием и формой. Однако подобные исследования зашли в тупик, поскольку понятия относятся к области философии и психологии, а слова - к области лингвистики. Одно и то же понятие может быть выражено разными словами, и в одно и то же слово может быть вложено разное содержание.
В настоящее время русская прикладная лингвистика сталкивается с более серьезной проблемой создания Национального корпуса русского языка. Этот проект реализуется при поддержке Российской академии наук в рамках программы "Филология и информатика". В нем участвуют лингвисты многих научных институтов и университетов.
Национальный корпус - это совокупность текстов в электронной форме, представляющих данный язык показать в каком-то определенном этапе своего существования, язык должен быть разных жанров, стилей, территориальных и социальных диалектов и т.п.
Создание Национального корпуса дает большие возможности для всех областей языковых исследований. Возможность массовой статистической обработки текста позволяет математически подтверждать или опровергать гипотезы, создавать грамматики и словари. Например, в настоящее время нет английского словаря, который не полагается на британский Национальный корпус. Основными потребителями Национального корпуса являются в основном лингвисты. Однако статистика отдельных языковых периодов может представлять интерес для литературоведов и историков, а также для учителей и студентов.
1.2. Обзор существующих речевых корпусов
Целью создания языковых и текстовых баз является работа в области лингвистики и комплексного изучения языковых явлений. Анализ литературы по созданию речевых тел показывает, что она существует существует довольно большое количество методов формирования тел.
Эти методы включают в себя сбор и последующее ручное уточнение на примере данных из общедоступных источников, таких как фильмы, голосовые записи и тому подобное. Среди наиболее важных проблем в этой области следует выделить: сбор, анализ и комментирование репрезентативных построений речи для изучения характеристик речи.
В России очень мало публикаций по компьютерной паралингвистике, за исключением статей по автоматическому распознаванию эмоций, моделированию (рейку) актеров или обычных людей (говорящих), а систематические исследования и проекты в области компьютерной паралингвистики в России практически не проводятся. На первом этапе реализации проекта в 2018 году за год работы расширенный аналитический обзор существующей информации включает лингвистическое и математическое программное обеспечение. Рассмотрим данные речевые корпуса 21 века:
1. аналитический обзор предмета включает более 140 научно-технических литературных источников, из которых за последние 7 лет опубликовано более 130. Обзор включает в себя такие разделы, как описание предметной области, текущие цели и задачи компьютерного параллелизма, методы сбора и др.
2. после поиска и сбора существующей открытой информации и лингвистического программного обеспечения анализируют следующие базы данных, содержащие различные фаноменные явления: база данных эмоционально окрашенного русского языка, база данных эмоциональной речи на других языках и т .д. Корпуса неверного языка значительно ниже по количеству и объему, а также по возможности открытого использования данных в исследовательских целях.
3. усовершенствованный метод извлечения акустических признаков с помощью открытого набора инструментов, который может быть использован для извлечения стандартных акустических признаков на уровне всего выражения. Количество этих знаков очень велико, поэтому необходимо заранее обработать векторы признаков, прежде чем использовать их для классификации.
4. подход к перекрестному обучению классификаторов, который может использовать больше данных для обучения и достижения более высокой точности и надежности классификации.
Глава 2. Лингвистические принципы разработки речевого корпуса для определения диалектов
Принципы отбора диалектного материала и критерии репрезентативности из диалектного корпуса. Необходимым условием для решения этой проблемы является ее исправление.
Неоднородность национального языка или как научный источник нового рассматривается как тип в соответствии с общей идеологией корпусной лингвистики.
В первом случае репрезентативность диалектного корпуса определяется, прежде всего, максимальным охватом зон распространения национального языка. Этот корпус является информативным и популяризированным, но не имеет никакой ценности в качестве источника языковых или культурных исследований.
Русские диалекты и географически соотносятся с областными центрами или с еще большими географическими достопримечательностями. Этот материал для всех осуществляет увеличение его объема, но не может стать репрезентативным отдельных русских говоров как особых полносистемных образований.
Диалектный текст корпуса не может быть построен по той же модели, что и диалектный текст корпуса.
Рассмотрим данные лингвистические принципы:
1. телесная речь не должна предоставляться только по запросу;
2. диалект тела, как и обычные файлы, не должен содержать различные степени доступа к различным материалам;
3. диалектные тексты не могут быть адекватно поняты, поскольку они будут выведены из общего контекста их родной традиционной культуры, поэтому они требуют восстановления соответствующего языкового содержания в корпусе. Эта проблема решается путем отправки ссылок к историческим, этнографическим и географическим данным
4. подготовка диалектных текстов для осуществления лингвистического плана является более сложным и трудоемким процессом, чем подготовка "стандартных" текстов;
5. жилищный диалект должен развиваться как жилая система отдельных диалектов, представляющих основные диалектные типы речи (диалект).
2.1. Определение минимальных единиц при разметке в речевом корпусе
Правила синтаксического разделения основаны на грамматическом (пунктуационном, морфологическом и синтаксическом) анализе текста, а также на ситуационном анализе сегментации в устной речи. Определение границ синтагмы влияет на передачу интонационных признаков, а также на передачу смыслового содержания.
Синтагма - это универсальная семантическая единица, характерная для всех языков и возникающая при сегментации языка или текста. Минимальный объем языкового сегмента, демонстрирующего синтаксическое и интонационное значение, представляет собой синтагму, несущую большую функциональную нагрузку в тексте. Отношение зависимости между членами множества выражается в нативной форме и передается восходящей интонацией. Восходящий тон, который образует нетрадиционные синтагмы вместе со значением неполноты, также передает эти отношения зависимости.
В просодической разметке существуют грамматические паузы, разделяющие интонационно сформированные синтагмы и фразы, а также паузы колебаний (неопределенности). Грамматические паузы участвуют в передаче определенных синтаксических, интонационных и семантических отношений. Предел акцентных единиц может характеризоваться разрывом тонального контура или изменением просодических характеристик, которые воспринимаются как нарушение беглости речи. Синтагма, по сравнению с акцентным блоком (ритмической группой), как единица более высокого порядка, дополнительно определяет свойства объектов и явлений, упоминаемых в языке. Минимальные фонетические и семантико-интонационные единицы, ритмические группы и синтагмы определяют семантико-интонационное разделение языка (текста).
Границы семантико-интонационных и синтаксических единиц синтагмы передаются синтагматическими акцентами. Как последний элемент предложения, он является результатом синтаксико-стилистического и лексико-фразеологического разделения потока потока. Границы синтагмы в языке достаточно подвижны и часто отображаются в знаках препинания, но знаки препинания не всегда соответствуют их границе. Как наименее значимая часть высказывания синтагма формируется интонационными средствами.
Классификация используемых нами фонетических сегментов основана на концепции позиционного и комбинаторного звучания фонемы алафон. Как показывает опыт синтеза текста с языком, минимально необходимый базовый набор аллофонов (мини-набор) для русского языка должен составлять 420 единиц (180 согласных и 240 гласных). Использование только одного базового набора аллофонов позволяет синтезировать полностью читаемый язык на любом тексте, но качество языка остается недостаточно высоким. Это объясняется тем, что реальное разнообразие фонем при взаимодействии в потоке потока несоизмеримо больше того, что обеспечивается набором используемых аллофонов. Кроме того, в некоторых случаях взаимное влияние соседних аллофонов может быть настолько сильным, что зачастую невозможно провести четкую грань между ними. К таким случаям относятся, например, сочетания двух гласных аллофонов, а также некоторых согласных соноров.
Значительное улучшение качества и естественности речи может быть достигнуто, если считать их элементами запаса не только аллофоны, но и к более длинным фонетическим сегментам. Однако следует отметить, что затраты на достижение более высокого качества могут быть связаны с резким увеличением размера базы данных элементов компиляции. На самом деле теоретический расчет числа возможных диалектов оценивается в очень большом числе: NGO = H2A = 4202 = 176400. Не все комбинации аллофонов возможны, но опыт показывает, что в репрезентативном языковом корпусе их число может достигать десятков тысяч.
ЗАКЛЮЧЕНИЕ:
В заключение можно сказать, что диалект является одним из национальных благ, таких как нефть, золото, культурные достижения, которые необходимо тщательно изучать. Энтомологи пытаются получить исчезающие виды насекомых, ботаники - виды растений. Но это не значит, что мы все должны выращивать редких животных или экзотические цветы в наших домах. Не обязательно, чтобы каждый говорил на разных диалектах, но чем больше знаний у вас есть в этой области, тем более образованными вы можете выглядеть.
Трудность построения общей истории диалектов, особенно древнего периода, заключается в том, что область распространения языка представлена письменными источниками неравномерно.
Когда мы говорим о диалекте, отраженном в памятнике письменности, то имеем в виду реконструкцию фрагментов диалектной системы в соответствии с памятником. Обычно предполагается, что этот диалект представляет собой более или менее большой языковой диапазон.
Многие европейские культурные центры имели непрерывную письменную традицию на протяжении нескольких столетий, что позволяет проследить историю местного диалекта. К ним относится и Великий Новгород. Первые рукописи создавались и создаются в древнем Новгороде: богослужебные книги, написанные на церковнославянском языке с разрозненными местными диалектными особенностями, летописи, уставы (договоры купли-продажи, завещания, сводные законы). Эти тексты позволяют нам реконструировать историю древнего диалекта в целом, но наше понимание его не только недостаточно, но и во многом не связано с относительно недавними источниками.
СПИСОК ИСПОЛЬЗОВАННЫХ ИСТОЧНИКОВ:
1. Букринская И.А. Языки славянской культуры. – М., 2004.
2. Даль В.И. Толковый словарь русского языка. Эксмо- пресс. - М., 2000.
3. Земская Е. А. Активные процессы в русском языке последнего десятилетия ХХ века. – М., 1998.
4. Кузнецов А.М. Этнолингвистика// Лингвистический энциклопедический словарь. - М., 1990.
5. Кузнецов П. С. Культура русской речи и эффективность общения. - М., 1996.
6. Лодаженская Т.А. Ленинская диалектика и метафизика позитивизма. Диалектика идеального. - СПб., 2015.
7. Михайлов О.В. Идеалистическая диалектика Гегеля и материалистическая диалектика Маркса. - М., 2010.
8. Реформатский А. А. Введение в языковедение. - М., 1996.
9. Федосюк М. Д. Русский язык. М.: Наука, 2001.