Курсы машинного перевода для языков России/Раздел 3 - Revision history

Trondtr: moved Машинный перевод для языков России/Раздел 3 to Курсы машинного перевода для языков России/Раздел 3: ... to get a better structure.

2012-01-31T12:00:29Z

moved Машинный перевод для языков России/Раздел 3 to Курсы машинного перевода для языков России/Раздел 3: ... to get a better structure.

Enjo at 16:49, 23 January 2012

2012-01-23T16:49:57Z

Hectoralos at 12:21, 18 January 2012

2012-01-18T12:21:10Z

Enjo at 07:58, 17 January 2012

2012-01-17T07:58:36Z

Show changes

Enjo at 07:31, 17 January 2012

2012-01-17T07:31:15Z

Show changes

Enjo at 12:24, 11 January 2012

2012-01-11T12:24:31Z

Enjo at 11:34, 11 January 2012

2012-01-11T11:34:31Z

Enjo at 11:17, 11 January 2012

2012-01-11T11:17:51Z

Enjo at 20:50, 2 January 2012

2012-01-02T20:50:14Z

Enjo at 20:40, 2 January 2012

2012-01-02T20:40:13Z

@@ Line 1: / Line 1: @@
 {{TOCD}}
-В данном разделе будет рассмотрены вопросы морфологической омонимии и описано, как они рассматриваются Грамматикой ограничений (Constraint Grammar). Буду рассмотрены теоретические аспекты некоторых видов морфологической омонимии и работа с ними при помощи правил. Практическая часть будет затрагивать discovering tagging errors и попытки решения ошибок при помощи правил.
+В данном разделе будет рассмотрены вопросы морфологической омонимии и описано, как они рассматриваются Грамматикой ограничений (Constraint Grammar). Буду рассмотрены теоретические аспекты некоторых видов морфологической омонимии и работа с ними при помощи правил. Практическая часть будет затрагивать поиск ошибок при определении части речи и исправление ошибок через создание правил.
 ==Теория==
-Понятие омонимии, которая будет рассматриваться в этом разделе - это морфологическая омонимия. Это омонимия, которая происходит в следствие того, что, исходя из формы слова можно сделать несколько видов морфологического анализа (также называется как ''омонимичность'' &mdash; samenameness). Например, чувашское слово ''чалка'' может быть,
+Понятие омонимии, которая будет рассматриваться в этом разделе - это морфологическая омонимия. Это омонимия, которая происходит вследствие того, что, исходя из формы слова можно сделать несколько видов морфологического анализа (также называется как ''омонимичность'' &mdash; samenameness). Например, чувашское слово ''чалка'' может быть,
 * Существительным "чалка" единственного числа в именительном падеже.
@@ Line 14: / Line 14: @@
 ===Морфологическая омонимия===
-Существует два основных вида морфологической омонимии. Морфологическая омонимия между частями речи (например, слово может быть как существительным, так и глаголом)и морфологическая омонимия внутри частей речи (например, слово может быть только именем существительным, но форма одинаковая как для именительного, так и для родительного падежей). Обычно, сложнее морфологическая структура языка, тем выше соотношение между омонимией внутри части речи и омонимией между частями речи.
+Существует два основных вида морфологической омонимии. Морфологическая омонимия между частями речи (например, слово может быть как существительным, так и глаголом)и морфологическая омонимия внутри частей речи (например, слово может быть только именем существительным, но одинаковым по форме как для именительного, так и для родительного падежей). Обычно, чем сложнее морфологическая структура языка, тем выше соотношение между омонимией внутри части речи и омонимией между частями речи.
 ====Омонимия между частями речи====
@@ Line 20: / Line 20: @@
 Пример омонимии между частями речи был приведен выше, слово ''чалка'' может быть существительным, глаголом или прилагательным. Нужно принимать во внимание, что омонимия часто встречается между прилагательными, обозначающими народность (например, по-русски ''русский'') или профессии (например, в русском языке ''военный'') и существительными, обозначающими языки или людей  (''русский'') или профессии (''военный'').
-В языках тюркской и уральской групп, существительные и глаголы часто имеют одинаковые суффиксы (например, в финском ''-n, -t, -i''). Подобные основы слов (случайные омонимы) встречаются несколько раз в парадигме, например, по-фински ''tule-'' "приходить" и ''tuli'' "пожар": ''tuli'' = "пожар" сущ., ед.ч или "s/он пришел", ''tulet'' = "пожары" or "ты приходишь"; ''tulen" = "пожара" или "я прихожу".
+В языках тюркской и уральской групп, существительные и глаголы часто имеют одинаковые суффиксы (например, в финском ''-n, -t, -i''). Подобные основы слов (случайные омонимы) встречаются несколько раз в парадигме, например, по-фински ''tule-'' "приходить" и ''tuli'' "пожар": ''tuli'' = "пожар" сущ., ед.ч или "s/он пришел", ''tulet'' = "пожары" или "ты приходишь"; ''tulen" = "пожара" или "я прихожу".
 Деривационные процессы также могут пересекаться с флексией. Таким образом, в финском языке форма множественного числа причастия настоящего времени (и поэтому прилагательного)) и глагола настоящего времени 3 лица множественного числа всегда совпадает: ''laulavat'' = они поют / поющие (кто-то), ''tulevat'' = они приходят / приходящие (кто-то), cf. ''Laulavat baritonit laulavat usein'' (поющие баритоны часто поют).
-В киргизском языке есть несколько примеров ''ак'' "белый" and ''ак'' "течь/бежать (о жидкостях)", которые имеют омонимичную форму, как например ''акты'' "белый + сущ (винит.падеж)" и "акты" "оно текло".  Другой пример из казахского языка ''жай'', со следующими значениями: в качестве прилагательного "медленный, простой, тихий, поздний"; в качестве наречия "медленно, просто, тихо"; в качестве существительного "молния", "причина, условие", "проживание", "лук (оружие)"; в качестве глагола "вывешивать для сушки / выкладывать, раскладывать / развешивать, расстилать", "гнать животных на пастбище".
+В киргизском языке есть несколько примеров ''ак'' "белый" и ''ак'' "течь/бежать (о жидкостях)", которые имеют омонимичную форму, как например ''акты'' "белый + сущ (винит.падеж)" и "акты" "оно текло".  Другой пример из казахского языка ''жай'', со следующими значениями: в качестве прилагательного "медленный, простой, тихий, поздний"; в качестве наречия "медленно, просто, тихо"; в качестве существительного "молния", "причина, условие", "проживание", "лук (оружие)"; в качестве глагола "вывешивать для сушки / выкладывать, раскладывать / развешивать, расстилать", "гнать животных на пастбище".
 ====Омонимия внутри части речи====
@@ Line 60: / Line 60: @@
 ===Разрешение неоднозначности при помощи правил===
-Существует много способов для написания правил для разрешения неоднозначности, самое важное - это суметь объяснить правила в рамках того контекста, который создает омонимию. Например, так как отдельные слова очень часто могут быть омонимами, такая омонимия снимается контекстом. Возьмем фразу на русском языке '' « нашим старым преподавателям »'', так как оба слова ''нашим'' и  ''старым'' имеют достаточно омонимов (по три варианта на каждое слово), главное слово фразы ''преподавателям'', у которого только один вариант после анализа, помогает снять омонимию с двух других слов.
+Существует много способов написания правил для разрешения неоднозначности, самое важное - это суметь объяснить правила в рамках того контекста, который создает омонимию. Например, так как отдельные слова очень часто могут быть омонимами, такая омонимия снимается контекстом. Возьмем фразу на русском языке '' « нашим старым преподавателям »'', так как оба слова ''нашим'' и  ''старым'' имеют достаточно омонимов (по три варианта на каждое слово), главное слово фразы ''преподавателям'', у которого только один вариант после анализа, помогает снять омонимию с двух других слов.
 *  наш{{tag|det}}{{tag|pos}}{{tag|m}}{{tag|sg}}{{tag|ins}} старый{{tag|adj}}{{tag|m}}{{tag|sg}}{{tag|ins}} преподаватель{{tag|n}}{{tag|m}}{{tag|aa}}{{tag|pl}}{{tag|dat}}
@@ Line 112: / Line 112: @@
 ==Практическое задание==
-В данной практической части мы рассмотрим работу маркировщика (tagger), раскроем несколько tagging errors и наконец предложим несколько правил снятия омонимии для решения проблемы tagging errors.
+В данной практической части мы рассмотрим работу маркировщика (tagger), раскроем несколько ошибок определения части речи, и, наконец, предложим несколько правил снятия омонимии для решения проблемы выбора части речи.
 ===Работа с морфологическим анализатором===
@@ Line 133: / Line 133: @@
 ===Поиск ошибок===
-Apertium предлагает статистический маркировщик statistical tagger, который работает следующим образом:
+Apertium предлагает статистический маркировщик, который работает следующим образом:
 <pre>
@@ Line 231: / Line 231: @@
 </pre>
-Мы видим, что, хотя мы удалили неправильный вариант родительного падежа, у нас появился неправильны вариант множественного числа именительного падежа. Так как предлог "по" не может управлять именительным падежом, мы может это тоже удалить, используя похожее правило ко второму варианту.
+Мы видим, что, хотя мы удалили неправильный вариант родительного падежа, у нас появился неправильный вариант множественного числа именительного падежа. Так как предлог "по" не может управлять именительным падежом, мы может это тоже удалить, используя похожее правило ко второму варианту.
 ==Для дальнейшего чтения==

@@ Line 76: / Line 76: @@
 Один из способов написания правил - это использование формальной системы, которая называются грамматикой ограничений (constraint grammar). Правила грамматики ограничений состоят из двух частей: действия по шаблону (образцу), и по контексту. Примеры по первой части:
-* {{sc|select}}: Given a context, remove all the readings apart from the one(s) matched by the pattern. Учитывая контекст, удалите все варианты, кроме одного (одних), соответствующего шаблону.
+* {{sc|select}}: Учитывая контекст, удалите все варианты, кроме одного (одних), соответствующего шаблону.
 * {{sc|remove}}: Учитывая контекст, удалите вариант (ы), соответствующий шаблону.

@@ Line 160: / Line 160: @@
 * Очень часто бывает так, что существует несколько правил, которые одинаково подходят для снятия омонимии в предложении. Важно не загнать себя в ловушку, пытаясь найти "самое совершенное" правило.
+К вышеприведенным примерам, мы можем разработать следующие правила:
-In the above example, we could consider the following rules:
+* Если слово может стоять только в именительном или винительном падежах, а после него следуют дефис(&mdash;) и прилагательное, которое может быть только в именительном падеже, тогда выбираем вариант именительного падежа.
-* If a word can only be nominative or accusative and the following word is the hyphen (&mdash;) with an adjective that can only be in nominative following, then select the nominative reading.
+* После предлога "по" невозможен вариант родительного падежа.
-* After the preposition "по" remove any genitive readings.
+Создайте несколько правил, которые снимают проблему языковой омонимии для выбранной вами пары языков.
-For your chosen language pair, describe some rules that solve specific disambiguation problems you have found.
+===Грамматика ограничений===
-===Constraint grammar===
+Если вы завершили этап создания (описания) правил, вы можете попробовать преобразовать их в коды в грамматике ограничений, как показано в примере на русском языке. Ниже приведен план создания файла грамматики ограничений для кодирования двух правил из предыдущих примеров и инструкция как с этим работать.
-If you have finished with describing the rules, you can try coding them in constraint grammar, as in the Russian example above. Below is a skeleton constraint grammar file to encode the two rules from the previous example, and instructions on how to run it.
 <pre>

@@ Line 133: / Line 133: @@
 ===Поиск ошибок===
-Apertium предлагает статистический маркировщик comes with a statistical tagger, which can be run as follows:
+Apertium предлагает статистический маркировщик statistical tagger, который работает следующим образом:
 <pre>
@@ Line 144: / Line 144: @@
 </pre>
+В маркировщике довольно легко найти ошибки, их две:
-It is fairly easy to find the errors in the tagging, there are two:
+* "Уран" должно стоять в именительном падеже, а не винительном.
-* "Уран" should be nominative, not accusative.
-* After the preposition "по", the case of "удалённость" should be dative, not genitive.
+* После предлога "по", падеж слова "удалённость" должен быть дательным, а не родительным.
+Со остальных слов омонимия была снята правильно.
-The rest of the words have been disambiguated correctly.
+===Разработка правил===
-===Conceiving rules===
+При разработке правил, важно принимать во внимание следующее:
-When thinking about rules, it is important to take into account the following:
+* Набор ситуаций, в которых это правило будет применяться. Например, это правило будет применимо только к данному слову, к данному слову и к одному или двум словам, окружающим данное слово, применимо к придаточному предложению или ко всему предложению в целом?
-* The scope of application of the rule. Should it work just on the current word, the current word and one or two words context either side, at the level of the clause, or on the whole sentence ?
+* Данное правило будет применимо только к этой лемме или к любому слову, которое относится к данной части речи?
-* Should the rule only apply to one lemma, or should it apply to any word that has the same part of speech ?
+* Подумать о виде омонимии для которой создается правило. Например, правило будет применимо к любой омонимии между винительным и именительным падежами или применимо только в случае падежей существительных?
-* The kind of ambiguity we want the rule to work on, for example, should it work on any ambiguity between nominative and accusative, or only ambiguities in case involving nouns ?
+* Очень часто бывает так, что существует несколько правил, которые одинаково подходят для снятия омонимии в предложении. Важно не загнать себя в ловушку, пытаясь найти "самое совершенное" правило.
-* There are often several rules which could equally well disambiguate a sentence, it is important not to get caught up in finding the "perfect" one.
 In the above example, we could consider the following rules:

@@ Line 112: / Line 112: @@
 ==Практическое задание==
+В данной практической части мы рассмотрим работу маркировщика (tagger), раскроем несколько tagging errors а наконец предложим несколько правил снятия омонимии для решения проблемы tagging errors.
-In this practice session, we are going to run the tagger, discover some tagging errors and finally propose some disambiguation rules for solving these tagging errors.
+===Работа с морфологическим анализатором===
-===Running the morphological analyser===
+Давайте попытаемся провести морфологический анализ на фразе, которая выглядит довольно просто:
-Let's try running the morphological analyser on what seems like a fairly simple phrase:
 <pre>
@@ Line 129: / Line 129: @@
 </pre>
+Фраза, которая выглядела довольно легко и понятно, на самом деле содержит множественную омонимию.
-What seemed like a fairly simple phrase is not, there are multiple ambiguities.
-===Finding errors===
+===Поиск ошибок===
-Apertium comes with a statistical tagger, which can be run as follows:
+Apertium предлагает статистический маркировщик comes with a statistical tagger, which can be run as follows:
 <pre>

← Older revision	Revision as of 12:00, 31 January 2012
(No difference)

@@ Line 98: / Line 98: @@
 ** <code>SELECT Gen</code>: Select genitive, <code>IF</code>
 *** <code>(0C ACC-GEN-PRP)</code>: The current word can only be accusative, genitive or locative
+*** <code>(*-1C Num LINK 1C Gen BARRIER NOTGEN)</code>: Перед текущим словом идет слово, которое может быть только числительным, после которого может быть только слово в родительном падеже, продолжаем искать к началу предложения, пока не найдем слово, которое не содержит родительный тега.
-*** <code>(*-1C Num LINK 1C Gen BARRIER NOTGEN)</code>: Before the current word there is a word which can only be a numeral followed by a word which can only be genitive, keep searching towards the beginning of the sentence until there is a word that does not contain the genitive tag.
+hat does not contain the genitive tag.
 ;Омонимия #3
+Слово ''матери'' имеет омонимию в форме множественного числа родительного и винительного падежей. Нам нужно выбрать вариант родительного падежа (или лучше, убрать вариант винительного падежа).
-The word ''матери'' is ambiguous between genitive plural and accusative plural. We want to select the genitive plural reading (or better, remove the accusative).
 * <code>REMOVE Acc IF (0C ACC-OR-GEN) (*-1C Num LINK 1C Gen BARRIER NOTGEN);</code>
 ** <code>REMOVE Acc</code>: Remove accusative, <code>IF</code>
 *** <code>(0C ACC-OR-GEN)</code>: The current word can only be accusative or genitive
-*** <code>(*-1C Num LINK 1C Gen BARRIER NOTGEN)</code>: There is a previous numeral which has a word which can only be genitive after it (e.g. ''тысяч'') and we stop searching when we find a word that is not in genitive (<code>BARRIER NOTGEN</code>)
+*** <code>(*-1C Num LINK 1C Gen BARRIER NOTGEN)</code>: У нас есть предыдущее числительное, у которого есть слово, которое после него может стоять только в родительном падеже (например,''''тысяч), и мы останавливаем поиск, когда находим слово, которое не стоит в родительном падеже There is a previous numeral which has a word which can only be genitive after it (e.g. ''тысяч'') and we stop searching when we find a word that is not in genitive (<code>BARRIER NOTGEN</code>)
+==Практическое задание==
-==Practice==
 In this practice session, we are going to run the tagger, discover some tagging errors and finally propose some disambiguation rules for solving these tagging errors.

@@ Line 73: / Line 73: @@
 ====Грамматика ограничений====
-Один из способов написания правил - это использование формулы formalism которые называются грамматика ограничений called constraint grammar. Правила грамматики ограничений состоят из двух частей: an operation on a pattern, and a context. The following are examples of operations:
+Один из способов написания правил - это использование формулы formalism которые называются грамматика ограничений called constraint grammar. Правила грамматики ограничений состоят из двух частей: действия по образцу, и по контексту an operation on a pattern, and a context. Примеры по первой части:
-* {{sc|select}}: Given a context, remove all the readings apart from the one(s) matched by the pattern.
+* {{sc|select}}: Given a context, remove all the readings apart from the one(s) matched by the pattern.Учитывая контекст, удалите все варианты, кроме одного (одних), соответствующих образцу шаблону.
-* {{sc|remove}}: Given a context, remove the reading(s) that match the pattern.
+* {{sc|remove}}: Учитывая контекст, удалите вариант (ы), соответствующие образцу Given a context, remove the reading(s) that match the pattern.
+Контекстом может служить любая комбинация слов или tags в данном предложении. Чтобы представить что может служить контекстом, давайте посмотрим на несколько существующих правил избавления от омонимии. Мы будем пользоваться фразами на русском языке:
-A context can be any combination of words or tags in a given sentence. To get an idea of the kind of contexts that can be used, let's look at some real disambiguation rules. We're going to use the Russian phrase:
 <center>« ''Услугами детских садов пользуются 135 тысяч работающих матерей.'' »</center>
 <!-- ''Z usług żłobków korzysta 135 tysięcy pracujących matek'' -->
+;Омонимия #1
-;Ambiguity #1
+Слово ''детских'' имеет омонимию между родительным, предложным и винительным падежами. Нам нужно выбрать родительный падеж.
-The word ''детских'' is ambiguous between genitive, prepositional and accusative. We want to select the genitive reading.
 * <code>SELECT Gen IF (0C A) (*1C GEN BARRIER NPNHA);</code>
 ** <code>SELECT Gen</code>: Select genitive, <code>IF</code>
 ** <code>(0C A)</code>: The current word ''only'' has adjective readings.
-** <code>(*1C GEN BARRIER NPNHA)</code>: After the current word there is a word which is only in the genitive case. Keep searching the words after the current word until a word which is any word except a word which can modify a noun, or an adverb.
+** <code>(*1C GEN BARRIER NPNHA)</code>: После искомого слова идет слово, которое только в родительном падеже. Продолжаем искать слова после текущего слова, пока не найдем слово, которое не может изменять существительное и не является наречием After the current word there is a word which is only in the genitive case. Keep searching the words after the current word until a word which is any word except a word which can modify a noun, or an adverb.
+;Омонимия #2
-;Ambiguity #2
+Слово ''работающих'' имеет омонимию во множественном числе родительного падежа, множественном числе предложного падежа и множественного числа винительного падежа. Нам нужно выбрать вариант множественного числа родительного падежа.
-The word ''работающих'' is ambiguous between genitive plural, prepositional plural, accusative plural. We want to select the genitive plural reading.
 * <code>SELECT Gen IF (0C ACC-GEN-PRP) (*-1C Num LINK 1C Gen BARRIER NOTGEN);</code>
@@ Line 100: / Line 100: @@
 *** <code>(*-1C Num LINK 1C Gen BARRIER NOTGEN)</code>: Before the current word there is a word which can only be a numeral followed by a word which can only be genitive, keep searching towards the beginning of the sentence until there is a word that does not contain the genitive tag.
+;Омонимия #3
-;Ambiguity #3
 The word ''матери'' is ambiguous between genitive plural and accusative plural. We want to select the genitive plural reading (or better, remove the accusative).