Uputstvo za novi jezički par za Apertium

Uputstvo za novi jezički par za Apertium

Ovo uputstvo će objasniti kako započeti novi jezički par za Apertium mašinski prevod. Ne podrazumevamo poznavanje lingvistike ili mašinskog prevođenja - dovoljno je da znate da razlikujete različite vrste reči (imenice, glagole, prideve itd.)

Reč-dve o srpskohrvatskom prevodu

Ovaj prevod koristi Unicode prikaz slova Lj, Nj i Dž umesto Lj, Nj i Dž. Ukoliko ne vidite ta slova, instalirajte set slobodnih fontova koji podržavaju Unicode, kao što su DejaVu fontovi i postarajte se da gledate ovu stranicu u UTF8 kodnom rasporedu.

U prevodu takođe koristimo neke neologizme koji su se ustalili u upotrebi na srpskohrvatskom govornom području. Npr. file „prevodimo“ kao fajl umesto uobičajenog datoteka.

Uvod

Kao što ste možda primetili iz uvoda, Apertium je sistema mašinskog prevođenja. Preciznije, u pitanju je platforma za prevod koja obuhvata pokretački motor i alatke koje dozvoljavaju pravljenje ličnog sistema mašinskog prevođenja. Vi samo treba da unesete podatke. U osnovi, podaci se sastoje iz tri rečnika i nekoliko pravila koji se staraju za tačan red reči u rečenici i druge gramatičke zavrzlame.

Za detaljnije uputstvo o tome kako ovo sve radi, pročitajte dokumentaciju na sajtu projekta na apertium.sourceforge.net.

Trebaće Vam

• lttoolbox (>= 3.0.0)
• libxml utils (xmllint itd.)
• apertium (>= 3.0.0)
• editor teksta (ili specijalizovani uređivač za XML, ako Vam tako više odgovara)

Za instrukcije kako da instalirate ove programe pogledajte dokumentaciju na sajtu Apertiuma.

Od čega se sastoji jezički par?

Apertium koristi „plitki“ mašinski prevod, što znači da se koristi rečnicima i plitkim pravilima prenosa.

„Plitki prevod“ se razlikuje od „dubokog prevoda“ utoliko što se ne bavi punom sintatičkom obradom. Pravila se obično primenjuju na grupe leksičkih jedinica, umesto na razgranatu obradu. U osnovi postoje tri glavna rečnika.

1. Morfološki rečnik za jezik xx: on sadrži pravila o tome kako se menjaju reči u jeziku xx. U našem primeru ovo ćemo zvati: apertium-sh-en.sh.dix.
2. Morfološki rečnik za jezik yy: on sadrži pravila o tome kako se menjaju reči u jeziku yy. U našem primeru ovo ćemo zvati: apertium-sh-en.en.dix.
3. Dvojezički rečnik: on sadrži odnos između reči i simbola dva jezika. U našem primeru ovo ćemo zvati: apertium-sh-en.sh-en.dix.

U paru za prevod, oba jezika mogu biti i izvor i cilj prevoda, te su ovi izrazi relativni.

Postoje i dva fajla za pravila prevoda i to su pravila o redu reči u rečenici, npr. chat noir → cat black → black cat. Takođe se staraju i o slaganju roda i broja i sl. Pravila se mogu koristiti i za ubacivanje i prisanje leksičkih stavki, a o tome ćemo kasnije. Fajlovi u pitanju su:

• pravila prevoda jezika xx u jezik yy: ovaj fajl sadrži pravila po kojim će se jezik xx menjati u jezik yy. U našem primeru ovo ćemo zvati: apertium-sh-en.trules-sh-en.xml
• pravila prevoda jezika yy u jezik xx: ovaj fajl sadrži pravila po kojim će se jezik yy menjati u jezik xx. U našem primeru ovo ćemo zvati: apertium-sh-en.trules-sh-en.xml

Iako u postojećim jezičkim parovima postoje i neki drugi fajlovi, ovi koje smo naveli su neophodni i dovoljni za funkcionalni sistem.

Jezički par

Možda ste već skapirali iz imena fajlova, ali ovo uputstvo će se koristiti prevod srpskohrvatskog u engleski radi objašnjenja kako da napravite osnovni sistem. Primer nije idealan, jer sistem bolje funkcioniše na srodnijim jezicima.

O terminologiji

Pre nego što nastavimo, bitno je da pojasnimo neke izraze:

Prvi izraz je lema. U pitanju je izvorni oblik reči, kakav se nalazi u rečniku. Recimo, nominativ jednine za imenice, te infinitiv za glagole. Glagol „raditi“ je lema, dok je „radim“ ili „radiš“ njegova inflikcija. Reč „mačke“ je inflikcija leme „mačka“

Drugi izraz je simbol. U našem kontekstvu, simbol je gramatička oznaka. Reč „mačke“ je množina imenice, te će imati simbole imenice i množine. Ova informacija se obično stavlja u kose zagrade, recimo:

• <n>; za imenicu (od španskog nom)
• <pl>; za množinu (od španskog plural).

Neki drugi simboli su <sg> jednina, <p1> prvo lice itd. Valja napomenuti da su u većini jezičkih parova korišćeni katalonski izrazi za simbole. Npr. vbhaver - od vb (verb) i haver (imati). Simboli su definisani u <sdef> tagovima i korišćeni u <s> tagovima.

Treća reč je paradigma. U našem kontekstu, paradigma označava primer kako se neka grupa reči menja. U morfološkim rečnicima leme su povezane s paradigmama koje nam dozvoljavaju da opišemo kako se data reč menja bez pisanja svakog pojedinačnog nastavka.

Recimo da želimo da opišemo komparaciju prideva „srećan“ i „dosadan“:

• srećan, sreć (an, niji, naj - niji)
• dosadan, dosad (an, niji, naj - niji)

Dovoljno je da napišemo jedno pravilo za pridev koje se primenjuje na mnogo drugih prideva. Paradigme se definišu u tagu <pardef>, a koriste u <par>.

Sâm početak

Jednojezički rečnici

Prvo ćemo napraviti rečnik za izvorni jezik, koji se nalazi u XML fajlu. Pokrenite tekst editor i ukucajte sledeće: and type the following:

<?xml version="1.0" encoding="UTF-8"?>
<dictionary>

</dictionary>

Dakle, fajl do sada definiše našu želju da sačinimo novi rečnik. Da bi taj rečnik bio iole koristan, neophodno je da prvo dodamo abecedu - spisak slova koje ćemo koristiti u rečniku. Za srpskohrvatski:

<alphabet>ABCČĆDDžĐEFGHIJKLLjMNNjOPRSŠTUVZŽabcčćddžđefghijklljmnnjoprsštuvzž</alphabet>

Dodajte abecedu ispod <dictionary> taga.

Sada treba da definišemo neke simbole. Počnimo s jednostavnim - imenica (n) u jednini (sg) ili množini (pl).

<sdefs>
   <sdef n="n"/>
   <sdef n="sg"/>
   <sdef n="pl"/>
</sdefs>

Simboli ne moraju biti kratki, možete koristiti i ce izraz ukoliko želite. Ipak, pošto ćete to često pisati, ima smisla koristiti skraćenice.

Očigledno, nije sve tako jednostavno jer se reči deklinuju i konjuguju itd. ali ćemo za potrebe ovog primera pretpostaviti da je imenica muškog roda u jednini.

Sledeći zadatak je da definišemo paradigme:

<pardefs>

</pardefs>

i sekciju za rečnik:

<section id="main" type="standard">

</section>

Postoje dve vrste sekcija - prva je standardna, koja sadrži reči, enklitike itd. Drugi tip sadrži stvari kao što interpunkcija i ostale nezavisne simbole. Ovde tu sekciju nemamo, ali ćemo je kasnije demonstrirati.

Konačno, naš fajl će izgledati ovako:

<?xml version="1.0" encoding="UTF-8"?>
<dictionary>
   <sdefs>
     <sdef n="n"/>
     <sdef n="sg"/>
     <sdef n="pl"/>
   </sdefs>
   <pardefs>

   </pardefs>
   <section id="main" type="standard">

   </section>
</dictionary>

Pošto smo postavili temelj rečniku, možemo dodati imenicu. Igrom slučaja, izabrali smo da za demonstraciju koristimo imenicu „gramofon“.

Za početak treba da definišemo paradigmu.

Podrazumevamo imenicu muškog roda u nominativu. Jednina je „gramofon“, a množina „gramofoni“. Elem:

<pardef n="gramofon__n">
   <e>
     <p>
       <l/>
       <r><s n="n"/><s n="sg"/></r>
     </p>
   </e>
   <e>
     <p>
       <l>i</l>
       <r><s n="n"/><s n="pl"/></r>
     </p>
   </e>
</pardef>

Pažnja: tag „<l/>“ (ekvivalent <l></l>) označava da ništa ne treba dodati korenu reči.

Tagovi kao što su <e>,

, <l> and <r> označavaju sledeće:

• e, je za unos (entry).
• p, je za par (pair).
• l, je za levo (left).
• r, je za desno (right).

Levo i desno imaju svoju svrhu. Naime, morfološki rečnici se kasnije kompajliraju u konačnu mašinu. Kompilacija s leva na desno proizvodi analizu iz reči, a s desna na levo proizvodi reč iz analize. Na primer:

* gramofoni → gramofon<n><pl> (analiza)
* gramofon<n><pl> ← gramofoni (generisanje)

Kada smo definisali paradigmu, treba je povezati sa lemom - gramofon. Stavićemo to u sekciju koju smo definisali.

Unos će biti ovakav:

<e lm="gramofon"><i>gramofon</i><par n="gramofon__n"/></e>

Objašnjenje prečica:

• lm, je za lema
• i, je za identitet (svejedno da li je levo ili desno).
• par, je za paradigmu.

Ovaj unos navodi lemu reči (gramofon), koren reči (gramogon) i paradigmu kojom se menja (gramofon__n). Razlika između leme i korena je u tome što je lema oblik reči kako se navodi u rečniku, a koren je deo leme na koji se dodaju dodaci. Ovo će biti jasnije s primerom gde se lema i koren razlikuju.

Sada možemo da testiramo rečnik. Sačuvajte ga, te se vratite u shell. Prvo treba da ga kompajliramo (sa lt-comp), a onda da ga testiramo (sa lt-proc).

$ lt-comp lr apertium-sh-en.sh.dix sh-en.automorf.bin

Treba da ispiše:

main@standard 12 12

Kako kompajliramo s leva na desno, pravimo analizator. Napravimo i generator:

$ lt-comp rl apertium-sh-en.sh.dix sh-en.autogen.bin

Sada bi naredba treablo da dâ isti izlaz.

Da testiramo. Pokrenit lt-proc na analizatoru.

$ lt-proc sh-en.automorf.bin

Testirajte ga. Upišite gramofoni, pa pogledajte ispis:

^gramofoni/gramofon<n><pl>$

Uradimo isto i za engleski rečnik, ali zamenimo Englesku reč gramophone sa gramofon i promenimo menjanje u množini. Kasnije ćemo objasniti šta bi radili da želimo da koristimo formalniji izraz „record plazer“.

Sada bi trebalo da imate dva fajla u direktorijumu:

• apertium-sh-en.sh.dix koji sadrži (veoma jednostavi) srpskohrvatski morfološki rečnik i
• apertium-sh-en.en.dix koji sadrži (veoma jednostavi) engleski morfološki rečnik.

Dvojezički rečnik

Pošto imamo dva morfološka rečnika, možemo napraviti dvojezički rečnik, koji opisuje odnos između reči. Svi rečnici koriste isti format (detaljian u DTD, dix.dtd).

Napravite novi fajl, apertium-sh-en.sh-en.dix i dodajte kostur:

<?xml version="1.0" encoding="UTF-8"?>
<dictionary>
   <alphabet/>
   <sdefs>
     <sdef n="n"/>
     <sdef n="sg"/>
     <sdef n="pl"/>
   </sdefs>

   <section id="main" type="standard">

   </section>
</dictionary>

Sada nam treba unos za prevod između dve reči. Nešto kao:

<e><p><l>gramofon<s n="n"/></l><r>gramophone<s n="n"/></r></p></e>

Pišemo jedan unos po redu iz prostog razloga što će ih biti puno, pa da ne bi uništili čitljivost. I opet koristimo „l“ i „r“… Kompajliramo ga levo na desno da bi dobili srpskohrvatsko - engleski rečnik, a desno na levo za englesko - srpskohrvatski rečnik.

Nakon što ste to završili, pokrenite sledeće naredbe:

$ lt-comp lr apertium-sh-en.sh.dix sh-en.automorf.bin
$ lt-comp rl apertium-sh-en.sh.dix sh-en.autogen.bin

$ lt-comp lr apertium-sh-en.en.dix en-sh.automorf.bin
$ lt-comp rl apertium-sh-en.en.dix en-sh.autogen.bin

$ lt-comp lr apertium-sh-en.sh-en.dix sh-en.autobil.bin
$ lt-comp rl apertium-sh-en.sh-en.dix en-sh.autobil.bin

… da generišete morfološki analizator (automorf), morfološki generator (autogen) i traženje reči (autobil). Bil je skraćeno za „bilingual“ (dvojezičko).

Pravila prevoda

Pošto imamo dva morfološka rečnika i dvojezički rečnik, potrebna su nam pravila prevoda za imenice. Pravila prevoda imaju svoj DTD (transfer.dtd), koji se može naći u paketu Apertiuma. Ako treba da implementirate pravila, poželjno je da prvo konsultujete pravila drugih parova jezika, jer se mnoga pravila daju reciklirati. Npr. pravila opisana dole važe za sve jezike gde se subjekat izostavlja:

Započnite skeletonom:

<?xml version="1.0" encoding="UTF-8"?>
<transfer>

</transfer>

Trenutno, pošto ignorišemo padeže, treba nam samo pravilo koje prima unos gramatičkih simbola, te ih ponovo ispisuje.

Kao prvo, treba da definišemo kategorije i atribute, koji nam dozvoljavaju grupisanje gramatičkih simbola. Kategorijama možemo grupisati simbole radi pretrage (npr. „n.*“ su sve imenice). Atributima grupišemo simbole među kojima se može birati (npr. „sg“ i „pl“ mogu grupisati atribut „number“).

Dodajmo neophodne delove:

<section-def-cats>

</section-def-cats>
<section-def-attrs>

</section-def-attrs>

Pošto vršimo samo inflikciju imenica u jednini i množini, neophodna nam je kategorija za imenice sa atributom broja. Nešto kao:

U section-def-cats dodajte:

<def-cat n="nom">
   <cat-item tags="n.*"/>
</def-cat>

Ovo će „uhvatiti“ sve imenice (leme iza kojih je <n>, pa bilo šta), a „obraćaće“ im se sa „nom“, što ćemo detaljnije proučiti kasnije.

U section section-def-attrs, dodajte:

<def-attr n="nbr">
   <attr-item tags="sg"/>
   <attr-item tags="pl"/>
</def-attr>

te onda:

<def-attr n="a_nom">
   <attr-item tags="n"/>
</def-attr>

Prvo smo definisali atribute nbr (number - broj), koji može biti u jednini (sg) ili množini (pl).

Onda smo definisali atribut a_nom (atribut imenica).

Zatim nam treba sekcija za globalne promenljive.

<section-def-vars>

</section-def-vars>

Ove promenljive drže ili služe za transfer atributa među pravilima. Za sada nam treba samo jedan.

<def-var n="number"/>

Konačno, treba da dodamo pravilo kojim ćemo unešenu imenicu ispisati u tačnom obliku. Trebaće nam sekcija za pravila…

<section-rules>

</section-rules>

A sada, prvo pogledajmo sâm primer, koji ćemo kasnije objasniti.

<rule>
   <pattern>
     <pattern-item n="nom"/>
   </pattern>
   <action>
     <out>
       <lu>
         <clip pos="1" side="tl" part="lem"/>
         <clip pos="1" side="tl" part="a_nom"/>
         <clip pos="1" side="tl" part="nbr"/>
       </lu>
     </out>
   </action>
</rule>

Prvi je tag očigledan - definiše pravilo. Drugi tag govori: „primeni ovo pravilo ako je zadati niz za pretraga pronađen“. U ovom primeru zadati se niz sastoji od jedne imenice. Obratite pažnju da se nizovi za pretragu pronalaze „široko“, tj. prvo se nalazi najduži niz. Ako imate tri pravila, prvo pravilo će pronaći „<prn><vblex><n>“, drugo pravilo će pronaći „<prn><vblex>“, a treće će pronaći „<n>“, pa će samo prvo pravilo biti uzeto u obzir.

Za svaki niz pretrage postoji i odgovarajuća akcija koja proizvodi odgovarajući ispis. Ispis je leksička jedinica (lu).

Atributi i izvornog jezika (side="sl") i ciljnog jezika (side="sl") se mogu manipulisati „clip“ tagovima.

Sada možemo kompajlirati i testirati program. Pravila prenosa se kompajliraju komandom:

$ apertium-preprocess-transfer apertium-sh-en.trules-sh-en.xml trules-sh-en.bin

koja će generisati fajl trules-sh-en.bin.

Sada smo spremni isprobati naš automatizirani sustav za prevođenje. Fali nam još jedan ključni dio, a to je „part-of-speech“ (PoS) navodioc, ali to će biti uskoro objašnjeno. Za sada možemo izvršiti probu ovako kako jest.

Prvo, analizirajmo riječ, gramofoni:

$ echo "gramofoni" | lt-proc sh-en.automorf.bin

^gramofon/gramofon<n><pl>$

Ovdje bi inače POS navodioc odabrao ispravnu verziju baziranu na dijelu govora, ali pošto za sada još ne koristimo POS navodioc, pa možemo koristiti ovu mali „gawk“ skriptu (pohvala Sergiu) koja će jednostavno ispisati prvu dobivenu stavku.

$ echo "gramofoni" | lt-proc sh-en.automorf.bin | \
gawk 'BEGIN{RS="$"; FS="/";}{nf=split($1,COMPONENTS,"^"); for(i = 1; i<nf; i++) printf COMPONENTS[i]; if($2 != "") printf("^%s$",$2);}' | \

^gramofon<n><pl>$

Ajmo sad to procesirati sa transfernom naredbom:

$ echo "gramofoni" | lt-proc sh-en.automorf.bin | \
  gawk 'BEGIN{RS="$"; FS="/";}{nf=split($1,COMPONENTS,"^"); for(i = 1; i<nf; i++) printf COMPONENTS[i]; if($2 != "") printf("^%s$",$2);}' | \
  apertium-transfer apertium-sh-en.trules-sh-en.xml trules-sh-en.bin sh-en.autobil.bin

Ispis će biti:

^gramophone<n><pl>$^@

• 'gramophone' je ciljani jezik (side="tl") lema (lem) na poziciji 1 (pos="1").
• '<n>' je ciljani jezik a_nom na poziciji 1.
• '<pl>' jest ciljani jezični brojčani atribut (nbr) na poziciji 1.

Pokušajte kometirati iz ovih izdvojanih naredbi, rekompilirajte i vidite što se događa.

Sad posjedujemo ispis iz transfera, jedino što nam još nedostaje je sklonidba ciljanog jezika. Radi ovoga imamo lt-proc, ali to je kod generiranja (-g), a ne u analitičkom načinu rada.

$ echo "gramofoni" | lt-proc sh-en.automorf.bin | \
  gawk 'BEGIN{RS="$"; FS="/";}{nf=split($1,COMPONENTS,"^"); for(i = 1; i<nf; i++) printf COMPONENTS[i]; if($2 != "") printf("^%s$",$2);}' | \
  apertium-transfer apertium-sh-en.trules-sh-en.xml trules-sh-en.bin sh-en.autobil.bin | \
  lt-proc -g sh-en.autogen.bin 

gramophones\@

I „c'est ca“. Sada posjedujete automatizirani sustav za prevođenje koji može prevesti Srpsko-Hrvatsku imanicu u Englesku imenicu. Naravno da ovo nije od neke koristi, ali uskoro prelazimo na kompliciranije stvari. I ne brinite za '@' symbol, I to će vam biti uskoro objašnjeno.

Sjetite se nekih drugih riječi kao što je „gramofon“. Možete njih uključiti. Ne moramo pridodati obrazce, jedino unose u glavnoj sekciji u monolingvističkim te bilingvističkim rječnicima.