Курсы машинного перевода для языков России/Раздел 6 - Revision history

Trondtr: moved Машинный перевод для языков России/Раздел 6 to Курсы машинного перевода для языков России/Раздел 6: ... to get a better structure.

2012-01-31T12:00:29Z

moved Машинный перевод для языков России/Раздел 6 to Курсы машинного перевода для языков России/Раздел 6: ... to get a better structure.

Enjo at 08:33, 25 January 2012

2012-01-25T08:33:03Z

Francis Tyers: /* Разделение на блоки */

2012-01-22T21:45:34Z

Разделение на блоки

Enjo at 11:47, 18 January 2012

2012-01-18T11:47:16Z

Enjo at 20:02, 17 January 2012

2012-01-17T20:02:34Z

Show changes

Enjo at 18:52, 17 January 2012

2012-01-17T18:52:13Z

Enjo at 20:45, 13 January 2012

2012-01-13T20:45:26Z

Enjo at 20:40, 13 January 2012

2012-01-13T20:40:55Z

Enjo at 18:50, 13 January 2012

2012-01-13T18:50:31Z

Enjo at 18:34, 13 January 2012

2012-01-13T18:34:25Z

@@ Line 40: / Line 40: @@
 Где <code>nom</code> = существительное, <code>adj</code> = прилагательное, <code>num</code> = числительное, <code>det</code> = артикль, <code>SN</code> = именная конструкция.
-Такой же процесс и для формирования глагольных блоков chunks:
+Такой же процесс и для формирования глагольных блоков:
 {|class=wikitable
@@ Line 98: / Line 98: @@
 </pre>
-Модуль "после разбивания на блоки" припишет этот тэг глаголу внутри блока.
+Итоговый модуль работы с блоками припишет этот тэг глаголу внутри блока.
-====После разбивания на блоки (Postchunk)====
+====Итоговый модуль работы с блоками (Postchunk)====
 Модель "после разбивки на блоки" позволяет нам использовать результаты взаимодействия между блоками и  еще раз поработать с контентом.

@@ Line 143: / Line 143: @@
 * <code>ПРАВИЛО: ADV POSTADV</code>: Это правило соответствует ряду наречий и прилагательных, оно создает блок наречий {{tag|ADV}} который содержит две лексические единицы.
 * <code>ПРАВИЛО: ADJ ADJ DET NOM</code>: Данное правило соответствует набору из двух прилагательных, артикля и существительного. Они помещаются внутрь блока имен {{tag|SN}} и падеж блока соответствует падежу существительного. Данное существительное имеет специальный показатель {{tag|2}} на случай, если изменяется падеж блока, он копируется внутри.
-* <code>ПРАВИЛО: V-PRES</code>: Это правило стандартного глагола настоящего времени, оно соответствует любому глаголу в настоящем времени. В настоящем примере оно изменяет синтетическое настоящее время в татарском на продолженное настоящее время со вспомогательном глаголом в киргизском '''ПОЧЕМУ??'''
+* <code>ПРАВИЛО: V-PRES</code>: Это правило стандартного глагола настоящего времени, оно соответствует любому глаголу в настоящем времени. В настоящем примере оно изменяет синтетическое настоящее время в татарском на продолженное настоящее время со вспомогательном глаголом в киргизском.  This is because the Kyrgyz cognate to the Tatar present means either "future" or "habitual/general". This Tatar form is "habitual/general" and "present progressive". When translating the "present progressive" reading of the Tatar "present", then we need to translate to a different form in Kyrgyz, namely the participle + ''жат'' auxiliary.
 Обратите внимание, что после первой стадии переноса появляется несколько проблем. Грамматическое время правильное, но падеж существительного неверен, и обстоятельство не на месте. В киргизском языке оно должно стоять перед глаголом.

← Older revision		Revision as of 11:47, 18 January 2012
Line 195:		Line 195:
	==Для дальнейшего чтения==		==Для дальнейшего чтения==

	* Ginestí i Rosell, M. (ed.) (2007) [https://wiki.apertium.org/w/images/d/d0/Apertium2-documentation.pdf Documentation of the Open-Source Shallow-Transfer Machine Translation Platform ''Apertium'']		* Ginestí i Rosell, M. (ed.) (2007) [https://wiki.apertium.org/w/images/d/d0/Apertium2-documentation.pdf Документы по общедоступному поверхностному машинному переводу на базе платформы Apertium / Documentation of the Open-Source Shallow-Transfer Machine Translation Platform ''Apertium'']

@@ Line 1: / Line 1: @@
 {{TOCD}}
-Система базового структурного переноса, описанного в [[Машинный перевод для языков России/Раздел 5|session 5]] достаточно для работы с большинством расхождений, которые имеются в родственных языках (например, башкирский и татарский, финский и квен), при работе с языками, которые имеют больше морфологических и синтаксических расхождений, необходимо использовать более мощную систему структурного переноса. В данном разделе мы познакомим вас с системой уровня Apertium 3+, которая была разработана для работы с более длинными шаблонами и языками, которые сильнее отличаются друг от друга.
+Системы базового структурного переноса, описанного в [[Машинный перевод для языков России/Раздел 5|session 5]] достаточно для работы с большинством расхождений, которые имеются в родственных языках (например, башкирский и татарский, финский и квен), при работе с языками, которые имеют больше морфологических и синтаксических расхождений необходимо использовать более мощную систему структурного переноса. В данном разделе мы познакомим вас с системой уровня Apertium 3+, которая была разработана для работы с более длинными шаблонами и языками, которые сильнее отличаются друг от друга.
 ==Теория==
-===Передача путем разбивки на блоки Chunking-based transfer===
+===Перенос c помощью разбивки на блоки (Chunking-based transfer)===
-Традиционное применение данного метода состоит из трех модулей: блок a chunker, между блоками и послеan interchunk and a postchunk. При необходимости данная модель может быть расширена до двух и более модулей intertchunk.
+Обычное применение данного метода состоит из трех модулей: разбивание на блоки (chunker), процессы между блоками (interchunk) и после разбивки на блоки (postchunk). При необходимости данная модель может быть расширена до двух и более модулей intertchunk.
-====Chunker====
+====Разбивание на блоки (Chunker)====
-Идея ''chunker'' - расширить существующие правила переноса чтобы было возможно сгруппировать лексические единицы. Эти группы называются ''блоки'' . Блок может объединять имена, делать согласование, вставлять и удалять слова, и выполнять перестановку слов, например,
+Идея ''разбивания на блоки (chunker)'' - расширить существующие правила переноса для группировки ряда  лексических единиц. Эти группы называются ''блоки (chunks)'' . Блоки могут объединять именные части речи, делать согласование, вставлять и удалять слова, и выполнять местную перестановку слов, например,
 {|class=wikitable
 |-
-! Входной шаблон набор Input pattern !! Пример    !! Блок на выходе              !! Пример
+! Входной шаблон  !! Пример    !! Блок на выходе              !! Пример
 |-
 | <code>nom</code>              || ҫурт    || <code>SN{nom}</code>              || дом
@@ Line 65: / Line 66: @@
 |}
-Таким образом, если мы хотим согласовать именное словосочетание с основным глаголом, мы только можем использовать одно правило (для <code>SN V</code>) во втором модуле передачи (the ''interchunk'') вместо отдельных правил для <code>nom verb</code>, <code>adj nom verb</code>, <code>det adj nom verb</code>, и тд.
+Таким образом, если мы хотим согласовать именное словосочетание с основным глаголом, мы только можем использовать одно правило (для <code>SN V</code>) во втором модуле переноса (процесс между блоками ''interchunk'') вместо отдельных правил для <code>nom verb</code>, <code>adj nom verb</code>, <code>det adj nom verb</code>, и тд.
-Очень важно помнить о том, что блоки (chunks) не могут быть вложенными (т.е. блок сhunk не может содержать другой блок chunk). В определенных обстоятельствах, и при определенном усилии они могут быть сведены к интерблоку interchunk &mdash; например, можно присоединить одну или несколько однородных именных словосочетаний, но не вложить их друг в друга but not nested.
+Очень важно помнить о том, что блоки (chunks) не могут быть вложенными (т.е. блок сhunk не может содержать другой блок chunk). В определенных обстоятельствах, и при определенном усилии они могут быть сведены к интерблоку interchunk &mdash; например, можно присоединить одну или несколько однородных именных словосочетаний, но не вложить их друг в друга.
-Важно отметить, что лексические формы переводятся на язык перевода в первом модуле; последующие модули уже работают с лексическими формами уже на языке перевода.
+Важно отметить, что лексические формы переводятся на язык перевода в первом модуле; последующие модули работают с лексическими формами уже на языке перевода.
-====Interchunk====
+====Процессы между блоками (Interchunk)====
-Как только созданы эти блоки, следующий модуль ''interchunk'' помогает проводить операции между блоками так, как будто они являются лексическими единицами: блоки используются на уровне абстракции, таким образом подобные слова и фразы также могут переводиться с использованием таких же правил so that equivalent words and phrases can be translated using the same rules.
+Как только созданы эти блоки, следующий модуль ''между блоками'' помогает проводить операции между блоками так, как будто они являются лексическими единицами: блоки используются на уровне абстракции, таким образом эквивалентные слова и фразы также могут переводиться с использованием одинаковых для них правил.
 Этот модуль позволяет распознавать лицо, а также  проводить согласование в роде, и определении порядка слов &mdash; например, согласовывать глагол прошедшего времени с местоимением в предложении на чувашском языке. В русском предложении ''Я вчера читалa'', разделитель на блоки привел бы к следующему результату the chunker would give the following output:

@@ Line 127: / Line 127: @@
 ====Chunker====
-Затем Then output of the part-of-speech tagger is passed to the lexical transfer, and then the first level of transfer:
+Затем результат маркировщика части речи передается лексическому переносу, а потом первый уровень переноса ре output of the part-of-speech tagger is passed to the lexical transfer, and then the first level of transfer:
 <pre>

← Older revision	Revision as of 12:00, 31 January 2012
(No difference)

@@ Line 157: / Line 157: @@
 </pre>
+В модуле interchunk применяется одно правило:
-One rule is applied in the interchunk module:
-* <code>ПРАВИЛО: ADV SN V</code>: The rule matches an adverbial chunk (<code>ADV</code>) followed by a nominal chunk (<code>SN</code>) and then a verbal chunk (<code>V</code>). It contains a macro <code>conv_arg1</code> which adjusts the case of the nominal chunk, and outputs a postposition depending on the lemma of the verbal chunk. It also switches the position of the nominal chunk and the adverbial chunk, placing the adverbial before the verb.
+* <code>ПРАВИЛО: ADV SN V</code>: Правило соответствует блоку обстоятельства (<code>ADV</code>) за которым следует блок имен (<code>SN</code>) а потом глагольный блок (<code>V</code>). Он содержит макроэлемент <code>conv_arg1</code> который настраивает падеж субстантивного блока и предлагает послеслог в зависимости от леммы глагольного блока. Оно также меняет местоположения субстантивного блока и блока обстоятельства, помещая второй перед глаголом.
+Мы можем видеть, что по результатам работы модуля interchunk, обстоятельство было передвинуто и субстантивный блок стоит в правильно падеже с послеслогом.
-We can see that in the output of interchunk, the adverbial has been moved and the nominal chunk is in the correct case with a postposition.
 ====Postchunk====
+Последний модуль переноса использует результат работы модуля interchunk, и заменяет связанный тэг (e.g. {{tag|2}}) на значение из блока.
-The final module of transfer takes the chunks output by the interchunk module, and replaces the linked tag (e.g. {{tag|2}}) with its value from the chunk.
 <pre>
@@ Line 176: / Line 176: @@
 </pre>
-Now the sentence is ready to be morphologically generated. The file <code>tr-ky.autogen.hfst</code> can be copied from the <code>apertium-tr-ky</code> pair in <code>trunk/</code>.
+Теперь предложение готово к морфологическому построению. Папка <code>tr-ky.autogen.hfst</code> может быть скопирована из пары <code>apertium-tr-ky</code> в <code>trunk/</code>.
-====Output====
+====Результат Output====
 <pre>
@@ Line 188: / Line 188: @@
 </pre>
+===Описание правила многоступенчатого переноса===
-===Describing a multi-stage transfer rule===
+При создании правила многоступенчатого переноса очень важно понять как разбить правило между разными ступенями переноса. Например, перестановки (на уровне слов 1&mdash;5) наверное следует провести на первой ступени. Блоки должны быть в какой-то степени тематическими, например, спрягаемые глаголы не должны группироваться с прилагательными и субстанотивом.
-The important thing to work out when writing a multi-stage transfer rule is how to split the rule between the different parts of transfer. For example, local reorderings (at the level of 1&mdash;5 words) should probably be done in the first stage. The chunks should be in some way thematic, so for example, finite verbs should probably not be chunked with adjectives or nominals.
+==Для дальнейшего чтения==
-==Further reading==
 * Ginestí i Rosell, M. (ed.) (2007) [https://wiki.apertium.org/w/images/d/d0/Apertium2-documentation.pdf  Documentation of the Open-Source Shallow-Transfer Machine Translation Platform ''Apertium'']

@@ Line 97: / Line 97: @@
 </pre>
-Модуль постфрагментирования припишет этот тег глаголу внутри блока.
+Модуль постфрагментирования припишет этот тэг глаголу внутри блока.
 ====Постфрагментирование Postchunk====
@@ Line 139: / Line 139: @@
 Существует четыре правила, созданные модулем переноса первого уровня There are four rules applied by the first-level transfer module:
-* <code>ПРАВИЛО: NP-ANT</code>: Данное правило соответствует This rule matches an anthroponym (person's first name). It creates a new nominal {{tag|SN}} chunk.
+* <code>ПРАВИЛО: NP-ANT</code>: Данное правило соответствует антропониму (имя человека). Оно создает новый блок имен {{tag|SN}}.
-* <code>ПРАВИЛО: ADV POSTADV</code>: This rule matches a sequence of adverb and postadverb, it outputs an adverbial chunk {{tag|ADV}} containing the two lexical units.
+* <code>ПРАВИЛО: ADV POSTADV</code>: Это правило соответствует ряду наречия и прилагательного, оно создает блок наречий {{tag|ADV}} который содержит две лексические единицы.
+* <code>ПРАВИЛО: ADJ ADJ DET NOM</code>: Данное правило соответствует набору из двух прилагательных, артикля и существительного. Они помещаются внутрь блока имен {{tag|SN}} и падеж блока соответствует падежу существительного. Данное существительное имеет специальный показатель {{tag|2}} на случай, если изменяется падеж блока, он копируется внутри.
-* <code>ПРАВИЛО: ADJ ADJ DET NOM</code>: This rule matches a sequence of two adjetives, a determiner and a noun. These are put inside a nominal chunk {{tag|SN}} and the case of the chunk is set to the case of the noun. A pointer {{tag|2}} is put on the noun so that when the case of the chunk is changed, it will be propagated inside.
+* <code>ПРАВИЛО: V-PRES</code>: Это правило стандартного глагола настоящего времени, оно соответствует любому глаголу в настоящем времени. В настоящем примере оно изменяет синтетическое настоящее время в татарском на продолженное настоящее время со вспомогательном глаголом в киргизском '''ПОЧЕМУ??'''
-* <code>ПРАВИЛО: V-PRES</code>: This is the default present tense verb rule, it matches any verb in the present tense. It currently changes the synthetic present in Tatar into a progressive present tense with an auxiliary verb in Kyrgyz. '''WHY???'''
+Обратите внимание, что после первой стадии переноса появляется несколько проблем. Грамматическое время правильное, но падеж существительного неверен, и обстоятельство не на месте. В киргизском языке оно должно стоять перед глаголом.
-Note that after the first stage of transfer there are a couple of problems. The tense is correct, but the case of the noun is wrong, and the adverbial is in the wrong place. In Kyrgyz it should come before the verb.
 ====Interchunk====

@@ Line 105: / Line 105: @@
 Изменения, которые блоки претерпели после прохождения модуля interchunk будут применены к контенту блока: тэги, содержащие число будут заменены на значение, соответствующее тэгу вне блока. Модуль  ''postchunk'' удаляет блоки ''лемма'' и тэги, и оставляет в качестве итогового продукта ряд лексических единиц.
-Postchunk operates on a single chunk at a time. In addition to the <tt>clip</tt> elements which refer to individual words contained in the chunk, there is also a <tt>clip</tt> numbered 0 (zero), which allows us to access information from the chunk lemma, which can be used to take information from "outside" the chunk (changed in interchunk) to the words inside. Also, because the number of words in a chunk may vary, there is an element, <tt>lu-count</tt>, which allows us to test how many words the chunk contains, and act accordingly.
+Процесс Postchunk может работать одновременно с одним блоком. В добавление к элементам <tt>clip</tt> которые соотносятся с индивидуальными словами, содержащимися в блоке, есть также элемент <tt>clip</tt> под номером 0 (ноль), который позволяет получать информацию из леммы блокаhich allows us to access information from the chunk lemma, which can be used to take information from "outside" the chunk (changed in interchunk) to the words inside. Also, because the number of words in a chunk may vary, there is an element, <tt>lu-count</tt>, which allows us to test how many words the chunk contains, and act accordingly.
+==Практика==
-==Practice==
+На практической части мы посмотрим, как происходит процесс переноса в три этапа в Apertium в паре татарский &mdash;киргизский, <code>apertium-tt-ky</code>, и затем, опишем правило переноса в рамках трех и более уровней. Поэтому перейдите к разделу <code>apertium-tt-ky</code> и убедитесь что данная пара языков создана.
-For the practice section, we are going to look at how a transfer is performed in three stages by the Apertium Tatar&mdash;Kyrgyz pair, <code>apertium-tt-ky</code>, and then describe a transfer rule in terms of three or more levels. So change directory to <code>apertium-tt-ky</code> and make sure the pair is compiled.
+===Знакомство с трех-этапным переносом===
-===Looking at three-stage transfer===
-We're going to translate the sentence ''Әхмәт тиз генә иске зур бер агачка йөгерә.'' from Tatar to Kyrgyz and follow the translation process through the three levels.
+Мы переведем предложение ''Әхмәт тиз генә иске зур бер агачка йөгерә.'' с татарского на киргизский и проследим за процессом перевода на трех уровнях.
-====Input====
+====Вводные данные====
+Так как полный переводчик с татарского на киргизский еще не закончен, мы будем пользоваться некоторыми подготовленными вводными данными из пары татарский и башкирский.
-Because we don't yet have a full translator for Tatar and Kyrgyz, we're going to use some preprepared input from the Tatar and Bashkir pair.
 <pre>
@@ Line 127: / Line 127: @@
 ====Chunker====
-Then output of the part-of-speech tagger is passed to the lexical transfer, and then the first level of transfer:
+Затем Then output of the part-of-speech tagger is passed to the lexical transfer, and then the first level of transfer:
 <pre>
@@ Line 137: / Line 137: @@
 </pre>
-There are four rules applied by the first-level transfer module:
+Существует четыре правила, созданные модулем переноса первого уровня There are four rules applied by the first-level transfer module:
-* <code>ПРАВИЛО: NP-ANT</code>: This rule matches an anthroponym (person's first name). It creates a new nominal {{tag|SN}} chunk.
+* <code>ПРАВИЛО: NP-ANT</code>: Данное правило соответствует This rule matches an anthroponym (person's first name). It creates a new nominal {{tag|SN}} chunk.
 * <code>ПРАВИЛО: ADV POSTADV</code>: This rule matches a sequence of adverb and postadverb, it outputs an adverbial chunk {{tag|ADV}} containing the two lexical units.
 * <code>ПРАВИЛО: ADJ ADJ DET NOM</code>: This rule matches a sequence of two adjetives, a determiner and a noun. These are put inside a nominal chunk {{tag|SN}} and the case of the chunk is set to the case of the noun. A pointer {{tag|2}} is put on the noun so that when the case of the chunk is changed, it will be propagated inside.