Як створити нову мовну пару

From Apertium
Jump to navigation Jump to search

Як створити нову мовну пару.

Цій документ пояснить вам як почати нову мовну пару для Apertium, системи машинного перекладу з нуля.

Вам не треба знати багато про лінгвистику або машинний переклад, аби ви знали як розрізняті іменники від дієслов (та прийменники і т.д)

Введення

Apertium є, як ви певно зрозуміли, система машинного перекладу. Ну, не зовсім, це платформа машинного перекладу. Вона забеспечює вас з двигуном (англ. "engine") та інструментами, з їхньою допомогою ви можете створювати ваші власні системи машинного перекладу. Ви тільки повинні записати данні. Данні скаладаються з трьох словників та кілька правил (які забезпечують перестановку слів та інші грамматичні речі).

За болі підрібною інформацією, ви можете відвідати сайт з відмінимми статтями тут: Publications

Вам знадобиться

  • lttoolbox (>= 3.0.0)
  • libxml utils (xmllint etc.)
  • apertium (>= 3.0.0)
  • текстовий редактор (або спеціальний XML редактор, якщо вам так хочеться)

Цій документ не пояснює як устанавлювати ці пакети, за болі підрібною інформацією будь ласка відвідайте документаційну секцію на сайті Aperitum.

Із чого зроблена мовна пара

Apertium являє собою систему машинного перекладу поверхнево-передачного типу. В основному він має справу зі словниками та правилами поверхневій передачі. На практиці поверхнева передача відрізняється від глибокої передачі тим, що при ній не виконується повний синтаксичний розбір речіннь, а правила, на відміну від операцій на дереві синтаксичного розбору, являють собою операції з групами лексичних одиниць. Є три таких словників:

  1. Морфологічний словник для мови xx: він містить правила про зміну слов у мові xx. У нашому прикладі цей словник буде називатися так: apertiumh-en.sh.dix
  2. Морфологічний словник для мови yy: він, у свою чергу, містить інформацію про зміну слов у мові yy. У нашому прикладі він має назву: apertium-sh-en.en.dix
  3. Двомовний словник: містить перекладні відповідності слів і символів двох мов. Він буде називатися так: apertium-sh-en.sh-en.dix

У мовній парі будь-яка з мов, що складають цю пару, може бути як вхідною, так і вихідною мовою, тобто ці терміни вживаються умовно.

Мовну пару складує також два файли з правилами передачі. Це правила, які керують перестановкою слів у реченнях, наприклад chat noir -> кіт чорний -> чорний кіт. Також ці правила забезпечують узгодження роду у реченні, числа і т.д. Вони также можуть використовуватися і для вставки або видалення лексичних одиниць, як це буде описано нижче. Файли:

  • Правила передачі з мови xx до мови yy: ці правила описують, яким змінам піддадуться пропозиції мови xx при перекладі на мову yy. У нашому прикладі це: apertium-sh-en.sh-en.t1x
  • Правила передачі з мови yy до мови xx: цей файл містить правила, що описують перетворення, які повинні бути здійснені при перекладі з мови yy на мову xx. У нашому прикладі цей файл буде називатися так: apertium-sh-en.en-sh.t1x

Багато з існуючих мовних пар містять інші файли, але ми не будемо розглядати їх в даному керівництві. Нам достатньо ціх файлів для створення функціональної системи.

Мовна Пара

Ви могли здогадатися з назв файлів, що для опису порядку створення базової системи в цьому керівництві будуть використовуватися приклади перекладу з сербохорватської на англійську мову. Зауважимо, що це не ідеальна пара, так як система працює краще зі спорідненими мовами. Однак у випадку простих прикладів, які приводяться тут, ми не зіткнемося з якими-небудь проблемами.

Коротко про терміни

Перед тим як продовжити, слід пояснити значення деяких термінів.

Першим з них є лема. Лема - це канонічна форма слова, слово без граматичної інформації. Наприклад, лемою слова коти є кіт. В англійській мові лема розглянутого іменника як правило співпадає з його формою однини. Для дієслів в англійській мові лема маєть вигляд інфінітива без to (або просто інфінітива в україньської мови). Наприклад, лемою слова was буде be, також як лемою слова був буде бути.

Другим терміном є термін символ. У контексті Apertium символ означає граматичний знак. Слово коти є іменник множини, отже, він буде мати символ іменника та символ множини. На вході та виході модулів Apertium ці символи, зазвичай, в кутові дужки, як показано нижче:

  • <n>; Для іменника.
  • <pl>; Для множини.

Іншими прикладами символів є <sg> (однина), <p1> (перша особа), <pri> (теперішній час дійсного способу) та інші. Треба зауважити, що в багатьох з існуючих мовних пар символи мають вигляд акронімів чи скорочень каталанською слів . Наприклад, vbhaver - від vb (дієслово) та haver ("мати" каталонською). Символи визначаються в тегах <sdef> та використовуються в тегах <s> Третім же терміном є парадигма. У контексті системи Apertium парадигма є прикладом відмінювання / дієвідміни певної групи слів. У морфологічному словнику леми (див. вище) посилаються на парадигми, що дозволяє нам показати всі словоформи цих лем без необхідності записувати всі можливі закінчення.

Прикладом використання парадигми може служити наступне. Припустимо, ми хочемо додати в словник прикметники happy (веселий) та lazy (ледачий). Замість запису однакових закінчень:

   * Happy, happ (y, ier, iest)
   * Lazy, laz (y, ier, iest)

ми можемо записати закінчення форм слова happy, а потім написати що "lazy відмінюється як happy", або "shy відмінюється як happy", "naughty відмінюється як happy", "friendly відмінюється як happy" і т.д. У цьому прикладі happy буде парадигмою, моделлю зміни всіх інших. Точний опис визначення парадигм буде дано пізніше. Парадигми визначаються в тегах <pardef> та використовуються в тегах <par>.

Як починати

Одномовні словники

See also: List of dictionaries and Incubator

Почнемо зі створення нашого першого словника вхідної мови. Словник є XML-файлом. Відкрийте ваш текстовий редактор та введіть:

<?xml version="1.0" encoding="UTF-8"?>
<dictionary>

</dictionary>

Так, тепер файл визначає, що ми хочемо почати створення словника. Щоб цей файл був більш корисним, ми повинні додати в нього ще кілька записів, першою з яких буде алфавіт. Він визначає набір букв, які можуть використовуватися в словнику для сербохорватської мови. Він виглядає як показано нижче та містить усі літери сербохорватської алфавіту:

<alphabet>ABCČĆDDžĐEFGHIJKLLjMNNjOPRSŠTUVZŽabcčćddžđefghijklljmnnjoprsštuvzž</alphabet>

Введіть алфавіт після тега <dictionary>.

Далі нам необхідно визначити деякі символи. Почнемо з простіших - іменник (n) в однині (sg) та множині (pl).

<sdefs>
   <sdef n="n"/>
   <sdef n="sg"/>
   <sdef n="pl"/>
</sdefs>

Імена символів не обов'язково повинні бути такими короткими, ви можете писати їх повністю, але, так як робити це доведеться багато разів, краще скорочувати.

На жаль, все не так просто - іменники в сербохорватської мові мають не тільки категорію числа, а также і категорії роду та відмінка. Однак для нашого прикладу ми будемо припускати, що іменник є іменником чоловічого роду у називному відмінку (приклад можна знайти в кінці цього документа).

Тепер визначимо розділ для парадигм,

<pardefs>

</pardefs>

и раздел для словаря:

<section id="main" type="standard">

</section>

Є два види розділів. .Перший - стандартний розділ, він містить слова, енклітик і и т. д. Другий - безумовний розділ, що містить знаки пунктуації і т. п. У нашому прикладі немає безумовного розділу, хоча ми покажем його пізніше

Таким чином, наш файл буде виглядати так:

<?xml version="1.0" encoding="UTF-8"?>
<dictionary>
   <sdefs>
     <sdef n="n"/>
     <sdef n="sg"/>
     <sdef n="pl"/>
   </sdefs>
   <pardefs>

   </pardefs>
   <section id="main" type="standard">

   </section>
</dictionary>

Тепер ми маємо основну частина словника, тепер ми можемо перейти до додавання іменника. Їм буде слово 'gramofon'.

Так як раніше визначених парадигм у нас немає, насамперед потрібно визначити парадигму.

Нагадаємо, що ми маємо на увазі чоловічий рід і називному відмінку. Формою однини є 'gramofon', формою множини - 'gramofoni'. Таким чином:

<pardef n="gramofon__n">
   <e>
     <p>
       <l/>
       <r><s n="n"/><s n="sg"/></r>
     </p>
   </e>
   <e>
     <p>
       <l>i</l>
       <r><s n="n"/><s n="pl"/></r>
     </p>
   </e>
</pardef>

Зауважте що конструкція <l/> (еквівалент <l></l>) означає, що в однині, до основи нічого не приєднується.

Все це може здатися досить багатослівним способом опису, але до цього є причини та ви швидко звикните. Ви, напевно, вже гадаєте, що означають всі ці <e>, <l> та <r>?

  • e значить запись (entry).
  • p значить пара (pair).
  • l значить наліво (left).
  • r значить направо (right).

Чому вліво та вправо? Морфологічні словники будуть пізніше скомпільовані у кінцеві автомати. Компіляція зліва направо створює аналізи слів, а справа наліво - слова з аналізів. Наприклад:

* gramofoni (з ліва на право) gramofon<n><pl> (аналіз)
* gramofon<n><pl> (з права на ліво) gramofoni (генерація)

Ми визначили парадигму, тепер потрібно співвіднести її з лемою - gramofon. Ця дія виконується в раніше визначеному розділі.

Запис, який потрібно додати в </dictionary>

Тепер ми повинні додати запис (в <section>) для здійснення перекладу слів:

<e><p><l>gramofon<s n="n"/></l><r>gramophone<s n="n"/></r></p></e>

Так як у словнику таких записів дуже багато, для зручності читання їх зазвичай пишуть в один рядок. Знову 'l' і 'r', так? Все просто - ми компілюємо зліва направо для створення сербохорватський → англійський словника, а справа наліво для створення англійський → сербохорватський словника.

Коли все це зроблено, виконайте наступні команди:

$ lt-comp lr apertium-sh-en.sh.dix sh-en.automorf.bin
$ lt-comp rl apertium-sh-en.en.dix sh-en.autogen.bin

$ lt-comp lr apertium-sh-en.en.dix en-sh.automorf.bin
$ lt-comp rl apertium-sh-en.sh.dix en-sh.autogen.bin

$ lt-comp lr apertium-sh-en.sh-en.dix sh-en.autobil.bin
$ lt-comp rl apertium-sh-en.sh-en.dix en-sh.autobil.bin

Для створення морфологічних аналізаторів (automorf), морфологічних генераторів (autogen) та пошуковців слів (autobil), слово "bil" означає "bilingual", т.е. "двомовний".

Правила трансферу

Тепер ми маємо два морфологічних словника та один двомовний словник. Все що нам залишолось зробити це правила трансферу для іменників. Файли з правилами трансферу мають свій власний DTD (transfer.dtd), який може бути знайдений в пакеті Apertium. Якщо вам потрібно написати правило трансферу, то часто має сенс спочатку звернутися до файлів з правилами для інших мовних пар, так як багато правил можуть бути використані для різних мовних пар. Або ж ці правила можна використовувати в модифікованому вигляді. Наприклад, правило, наведене нижче, може бути використано для всіх нуль-суб'єктних мов.

Основна частина файлу така же:


<?xml version="1.0" encoding="UTF-8"?>
<transfer>

</transfer>

Так як ми не враховуємо відмінки (тобто можливі зміни відмінків при перекладі), нам необхідно створити правило, яке би просто "брало" граматичні символи на вході і, у свою чергу, видавало їх.

Спочатку нам слід визначити категорії та атрибути. Категорії та атрибути дозволяють об'єднувати граматичні символи. За допомогою категорій ми можемо об'єднувати символи для їх "звідення воєдино" (наприклад, категорія 'n. *' об'єднує всі іменники). Атрибути дозволяють нам об'єднувати символи, з яких ми далі можемо вибрати потрібний нам (наприклад, 'sg' та 'pl' можуть бути об'єднані атрибутом 'number').

Додамо необхідні розділи:

<section-def-cats>

</section-def-cats>
<section-def-attrs>

</section-def-attrs>

Іменники в нашому прикладі змінюються тільки по чилсу, отже, необхідно додати категорію для іменників та атрибут числа. Досить наступних записів:

В розділ section-def-cats додайте:

<def-cat n="nom">
   <cat-item tags="n.*"/>
</def-cat>

Категорія "покриває" всі іменники (леми, за якими слідує <n> та ще що-небудь) і посилається на них як "nom" (ви побачите далі, як це застосовується).

В розділ section-def-attrs додайте:

<def-attr n="nbr">
   <attr-item tags="sg"/>
   <attr-item tags="pl"/>
</def-attr>

а также

<def-attr n="a_nom">
   <attr-item tags="n"/>
</def-attr>

Перший запис визначає атрибут nbr (number = число), яке може бути або єдиним (sg), або множинним (pl).

Другий запис визначає атрибут a_nom (атрибут іменник).

Далі нам необхідно додати розділ для глобальних змінних:

<section-def-vars>

</section-def-vars>

Ці змінні використовуються для збереження атрибутів або їх передачі між кількома правилами. Поки нам потрібна тільки одна,

<def-var n="number"/>

Нарешті, необхідно додати саме правило, яке дозволяло б приймати іменник і потім виводити його в правильній формі. Нам потрібен розділ для правил ...

<section-rules>

</section-rules>

На цей раз я спочатку покажу правило, і тільки потім буду пояснювати.

<rule>
   <pattern>
     <pattern-item n="nom"/>
   </pattern>
   <action>
     <out>
       <lu>
         <clip pos="1" side="tl" part="lem"/>
         <clip pos="1" side="tl" part="a_nom"/>
         <clip pos="1" side="tl" part="nbr"/>
       </lu>
     </out>
   </action>
</rule>

Перший тег очевидний - він визначає правило. Другий тег,pattern, означає "застосовувати це правило, якщо знайдено цей шаблон". У цьому прикладі шаблон складається з одного іменника (певного категорією nom). Зауважте, що шаблони накладаються в режимі "найдлініший співпадаючий". Так, якщо у вас є три правила, перше з яких належить до сполук слів, відповідних шаблоном "<prn><vblex><n>", другий - шаблоном "<prn><vblex>" та третій - шаблоном "<n>", що накладається шаблоном та вживающим (у разі відповідності сполук слів цим шаблоном) правилом буде перше

Кожному шаблону відповідає певна дія, яка генерує відповідні вивідні дані. Вивідними даними (висновком) є лексична одиниця (lu, lexical unit).

Тег clip дозволяє користувачеві вибирати атрибути або частини лексичної одиниці вхідного (side = "sl") або вихідного (side = "tl") мови та маніпулювати ними.

Скомпіліруем та перевіримо файл. Правила трансферу компілюються так:

$ apertium-preprocess-transfer apertium-sh-en.sh-en.t1x sh-en.t1x.bin

що створить файл sh-en.t1x.bin.

Тепер все готово для перевірки нашої системи машинного перекладу. У нас ще немає одного важливого компонента, а саме, розмітника за частинам мови або частеречного тегера (PoS tagger, part-of-speech tagger), однак незабаром це питання буде поясненно. Поки ми можемо перевірити систему і без нього.

Спочатку проаналізуємо слово "gramofoni":

$ echo "gramofoni" | lt-proc sh-en.automorf.bin 
^gramofon/gramofon<n><pl>$

Після цього тегер за частинами мови повинен вибрати правильний варіант (правильну частину мови), але так як тегера поки у нас немає, ми можемо використовувати маленький gawk-скрипт (спасибі Sergio), який буде видавати перший з отриманих результатів.

$ echo "gramofoni" | lt-proc sh-en.automorf.bin | \
  gawk 'BEGIN{RS="$"; FS="/";}{nf=split($1,COMPONENTS,"^"); for(i = 1; i<nf; i++) printf COMPONENTS[i]; if($2 != "") printf("^%s$",$2);}' | \
^gramofon<n><pl>$

Тепер обробимо результат за допомогою правила трансферу:

$ echo "gramofoni" | lt-proc sh-en.automorf.bin | \
  gawk 'BEGIN{RS="$"; FS="/";}{nf=split($1,COMPONENTS,"^"); for(i = 1; i<nf; i++) printf COMPONENTS[i]; if($2 != "") printf("^%s$",$2);}' | \
  apertium-transfer apertium-sh-en.sh-en.t1x sh-en.t1x.bin sh-en.autobil.bin

Що видає:

^gramophone<n><pl>$^@
  • 'Gramophone' є лема (lem) вихідной мови (side = "tl") у позиції 1 (pos = "1").
  • '<n>' є a_nom (іменник) вихідной мови у позції 1.
  • '<pl>' є атрибут числа (nbr) вихідной мови у позиції 1.

Спробуйте видалити один з цих clip-рядків, перекомпілювати файл і подивиться, що станеться.

Тепер у нас є вивід трансферу, і єдине, що залишається зробити, це згенерувати словоформи (тобто належним чином схилені або спряження форми) на вихідной мовоі. Для цього використовується той же самий lt-proc, але в іншому режимі - в режимі генерування.

$ echo "gramofoni" | lt-proc sh-en.automorf.bin | \
  gawk 'BEGIN{RS="$"; FS="/";}{nf=split($1,COMPONENTS,"^"); for(i = 1; i<nf; i++) printf COMPONENTS[i]; if($2 != "") printf("^%s$",$2);}' | \
  apertium-transfer apertium-sh-en.sh-en.t1x sh-en.t1x.bin sh-en.autobil.bin | \
  lt-proc -g sh-en.autogen.bin

gramophones\@

Вуаля. Тепер у вас є система машинного перекладу, яка переводить сербохорватський іменник на англійську мову. Очевидно, що користі від такої системи не так багато, проте незабаром ми перейдемо до більш складного матеріалу. Про символ '@' теж не турбуйтеся, скоро я поясню, що це таке.

Спробуйте знайти / згадати інші слова, які схиляються так само, як слово "gramofon". Про порядок їх долучення - нам потрібно додавати лише записи (entries, які ми образно назвали "словниковими статтями") в головному розділі одномовної і двомовного словників, а не парадигми.