Jak zrobić nową parę języków

Ten artykuł opisuje, jak stworzyć od początku, nową parę języków dla systemu tłumaczenia automatycznego Apertium.

Nie zawiera, żadnej wiedzy na temat językoznawstwa lub tłumaczenia automatycznego powyżej poziomu możliwości odróżniania rzeczowników od czasowników (i przyimków itp.)

Wprowadzenie

Apertium jest, jak się zapewne domyślasz, systemem do automatycznego tłumaczenia komputerowego. Dokładniej mówiąc jest to platforma stworzona do tego celu. Zawiera silnik oraz zbiór narzędzi, które pozwalają na zbudowanie własnego systemu translacji. Jedyną rzeczą, którą użytkownik musi wykonać to wprowadzenie danych. Podstawowo są to trzy słowniki oraz kilka zasad (np. zmiany szyku zdania lub gramatyki).

Bardziej szczegółowe wprowadzenie na temat jak to wszystko działa znajdziesz w dziale Publications.

Wymagania

• lttoolbox (>= 3.0.0)
• libxml utils (xmllint itp.)
• apertium (>= 3.0.0)
• edytor tekstu (lub specjalny edytor XML)

Ten poradnik nie obejmuje instalacji powyższych narzędzi. W celu zasięgnięcia dalszych porad zajrzyj do dokumentacji projektu na stronie Apertium.

Na czym polega para języków?

Apertium jest komputerowym systemem tłumaczenia, który do pracy wykorzystuje słowniki oraz płytkie reguły transferowe (shallow transfer rules). Zasadniczą różnicą pomiędzy głębokimi i płytkimi zasadami jest to, że płytkie zasady nie analizują składni oraz działają na grupach jednostek leksykalnych zamiast używania struktury drzewa. Wyróżnia się trzy podstawowe słowniki:

1. Słownik morfologiczny dla języka xx: zawierający zbiór zasad dot. odmieniania słowa w języku xx. W naszym przykładzie będzie to: apertium-sh-en.sh.dix
2. Słownik morfologiczny dla języka yy: zawierający zbiór zasad dot. odmieniania słowa w języku yy. W naszym przykładzie będzie to: apertium-sh-en.en.dix
3. Słownik dwujęzyczny: zawierający zależności pomiędzy słowami i symbolami w tych dwóch językach. W naszym przykładzie będzie to: apertium-sh-en.sh-en.dix

W parze tłumaczonych języków dany język może być zarówno źródłem jak i wynikiem translacji.

Istnieją również dwa pliki zawierające zasady transferu. Zasady te opisują, w jaki sposób zarządzać szykiem zdań np. “kot czarny -> czarny kot”. Regulują one też powiązania pomiędzy płcią, liczbami itp. Zasady te mogą być też wykorzystywane do dodawania lub usuwania elementów leksykalnych, co będzie opisane później. Pliki, o których mowa to:

• zasady transferu języka xx do yy: zawierający zasady translacji języka xx do języka yy. W naszym przypadku będzie to: apertium-sh-en.sh-en.t1x
• zasady transferu języka yy do xx: zawierający zasady translacji języka yy do języka xx. W naszym przypadku będzie to: apertium-sh-en.en-sh.t1x

Wiele dostępnych par językowych posiada dodatkowe pliki, jednak nie będą one tutaj opisywane. Powyższe pliki służą, jako podstawa do stworzenia funkcjonalnego systemu.

Przykładowa para języków

Jak zapewne zauważyłeś, ten artykuł opiera się o przykład translatora Serbsko-Chorwackiego na Angielski w celu opisania zasad tworzenia podstawowej wersji systemu. Jest to dość niefortunna para języków, zważywszy na fakt, że system działa lepiej w przypadku bardziej pokrewnych języków. Nie powinno to jednak przeszkadzać w przypadku użycia tak prostych przykładów, jakie będą tu zaprezentowane.

Wyjaśnienie używanych pojęć

Istnieje kilka pojęć, z którymi powinieneś się zapoznać zanim będziemy mogli kontynuować.

Pierwszym określeniem jest lemma. Jest to forma podstawowa danego słowa. Ma ona najczęściej postać zbliżoną do najprostszej z możliwych (bezokoliczników itd.). Dla przykładu, lemma słowa cats to cat. W języku angielskim lemmy rzeczowników są zazwyczaj w liczbie pojedynczej. Dla czasowników, lemma jest bezokolicznikiem, np. lemmą was będzie be.

Następnym określeniem jest symbol. W kontekście systemu Apertium, symbol oznacza etykietę gramatyczną danego słowa. Słowo cats jest rzeczownikiem w liczbie mnogiej, więc będzie miało zarówno przyporządkowany symbol rzeczownika jak i symbol liczby mnogiej. Na wejściu i wyjściu modułów programowych są one zazwyczaj pomiędzy ostrymi nawiasami, tak jak poniżej:

• <n>; dla rzeczownika
• <pl>; dla liczby mnogiej.

Innymi przykładami symbolami są <sg> (liczba pojedyncza) <p1> (pierwsza osoba) itd. Pisane w ostrych nawiasach symbole mogą być też traktowane, jako tagi. Warto zauważyć, że w wielu obecnie dostępnych parach językowych definicje symboli są akronimami lub skrótami zaczerpniętymi z języka katalońskiego. Symbole są definiowane w tagu <sdef> i używane w <s>

Trzecie określenie to paradygmat. W ramach systemu Apertium, paradygmat odnosi się do sposobu, w jaki powinno się odmieniać daną grupę słów. W słownikach morfologicznych, lemmy (patrz wyżej) są przypisane do paradygmatów, które pozwalają nam opisać, w jaki sposób dana lemmy odmienia się, bez konieczności zapisywania wszystkich końcówek.

Poniższy przykład pokazuje użyteczność tego podejścia, w przypadku, gdy chcemy zapisać przymiotniki ‘‘happy i lazy:

• happy, happ (y, ier, iest)
• lazy, laz (y, ier, iest)

Możemy po prostu zapisać jedno, a następnie powiedzieć, “lazy odmienia się jak happy" lub równoznacznie, “shy odmienia się jak happy", "naughty odmienia się jak happy", "friendly odmienia się jak happy" itd. W tym przykładzie happy jest paradygmatem pokazującym jak powinno się odmieniać inne słowa. Paradygmaty definiuje się w tagu <paradef> a używa w tagu <par>.

Na początek

Słowniki jednojęzyczne

See also: List of dictionaries and Incubator

Zacznijmy od stworzenia naszego pierwszego źródłowego słownika. Będzie to dokument XML. Otwórz swój edytor i wpisz:

<?xml version="1.0" encoding="UTF-8"?>
<dictionary>

</dictionary>

Na razie definiujemy, że to, co zaraz stworzymy będzie słownikiem. Aby był przydatny musimy dodać kilka innych wpisów, pierwszym będzie alfabet. Definiuje on zbiór liter, które mogą być użyte. Dla słownika Serbsko-Chorwackiego będzie wyglądał tak:

<alphabet>ABCČĆDDžĐEFGHIJKLLjMNNjOPRSŠTUVZŽabcčćddžđefghijklljmnnjoprsštuvzž</alphabet>

Alfabet umieść poniżej tagu <dictionary>.

Następnie zdefiniujemy kilka symboli. Zacznijmy od prostych rzeczy jak: rzeczownik (n) w liczbie pojedynczej (sg) i mnogiej (pl).

<sdefs>
   <sdef n="n"/>
   <sdef n="sg"/>
   <sdef n="pl"/>
</sdefs>

Nazwy symboli nie muszą być krótkie, w rzeczywistości mogą być napisane w całości, lecz częste używanie długich nazw byłoby na dłuższą metę męczące.

Niestety, sprawa jest nieco bardziej skomplikowana. Rzeczowniki w języku Sarbsko-Chorwackim odmieniają się także od płci i przypadku. Jednak założymy na potrzeby tego przykładu, że rzeczownik jest rodzaju męskiego w mianowniku (pełny przykład można znaleźć na końcu tego dokumentu).

Następnym krokiem jest zdefiniowanie sekcji dla paradygmatów,

<pardefs>

</pardefs>

Oraz sekcji słownika:

<section id="main" type="standard">

</section>

Istnieją dwa typy sekcji - pierwszy jest sekcją standardową, która zawiera słowa, enklityki itd. Drugim typem sekcji jest inconditional section zawierająca znaki interpunkcyjne itd. Opisywany przykład nie zawiera drugiego typu.

Plik na obecną chwilę powinien wyglądać tak:

<?xml version="1.0" encoding="UTF-8"?>
<dictionary>
   <sdefs>
     <sdef n="n"/>
     <sdef n="sg"/>
     <sdef n="pl"/>
   </sdefs>
   <pardefs>

   </pardefs>
   <section id="main" type="standard">

   </section>
</dictionary>

Mamy więc szkielet, możemy rozpocząć pracę od dodania rzeczownika. Rzecznikiem tym będzie 'gramofon'.

Pierwszą rzeczą, jaką musimy zrobić jest określenie paradygmatu.

Pamiętaj, że zakładamy, iż jest to rodzaj męski w mianowniku. Liczba pojedyncza tego rzeczownika to 'gramofon', a mnoga 'gramofoni'. Tak, więc:

<pardef n="gramofon__n">
   <e><p><l/><r><s n="n"/><s n="sg"/></r></p></e>
   <e><p><l>i</l><r><s n="n"/><s n="pl"/></r></p></e>
</pardef>

Uwaga: '<l/>' (równoznaczne z <l></l>) oznacza, że nie ma żadnych dodatkowych znaków dołączanych do rdzenia rzeczownika w 1-szej liczbie pojedynczej.

Może to wyglądać na dość zawiłą drogą opisywania tak prostych rzeczy, lecz zaowocuje to w przyszłości.

Prawdopodobnie zastanawiasz się, co oznaczają tagi <e>,

, <l> i <r>. A więc:

• e, jest słowem początkowym.
• p, jest dla pary.
• l, jest z lewej strony.
• r, jest z prawej strony.

Dlaczego z lewej i prawej? Cóż, słowniki morfologiczne zostaną później skompilowane do finalnej postaci. Kompilowanie ich od lewej do prawej powoduje analizę słów, a kompilowanie od prawej do lewej - słowa analizy. Na przykład:

* gramofoni (od lewej do prawej) gramofon<n><pl> (analiza)
* gramofon<n><pl> (od prawej do lewej) gramofoni (generowanie)

Zdefiniowaliśmy, zatem paradygmat, teraz musimy połączyć go z odpowiadającą lemmą, czyli w tym przypadku "gramofon". Umieścimy to w sekcji, którą przed chwilą zdefiniowaliśmy.

Słowo początkowe, które umieścimy w </dictionary>

Teraz musimy dodać wpis służący do translacji pomiędzy dwoma słowami. Wygląda to tak:

<e><p><l>gramofon<s n="n"/></l><r>gramophone<s n="n"/></r></p></e>

Ponieważ często zdarza się, że takich wpisów jest bardzo dużo, są one najczęściej pisane w jednej linii, w celu polepszenia czytelności kodu. Pamiętając o 'l' oraz 'r' oczywiście. Tym razem kompilujemy plik od lewej do prawej by utworzyć translator Serbsko-chorwacko → Angielski, a kompilowanie od prawej do lewej spowodowałoby utworzenie Angielsko → Serbsko-chorwackiego słownika.

Następnym krokiem jest uruchomienie poniższych komend:

$ lt-comp lr apertium-sh-en.sh.dix sh-en.automorf.bin
$ lt-comp rl apertium-sh-en.en.dix sh-en.autogen.bin

$ lt-comp lr apertium-sh-en.en.dix en-sh.automorf.bin
$ lt-comp rl apertium-sh-en.sh.dix en-sh.autogen.bin

$ lt-comp lr apertium-sh-en.sh-en.dix sh-en.autobil.bin
$ lt-comp rl apertium-sh-en.sh-en.dix en-sh.autobil.bin

Na potrzeby generowania analizatorów morfologicznych (automorf), generatorów (autogen) oraz tłumaczeń słów (autobil), bil będzie oznaczać "dwujęzyczny".

Zasady Transferu

Więc, mamy dwa jednojęzyczne słowniki, oraz jeden dwujęzyczny. Jedyne, czego teraz potrzebujemy to zaimplementowanie zasad dla rzeczowników. Pliki tego typu posiadają własne DTD (transfer.dtd) znajdującym się w pakiecie Apertium. Gdy zaistnieje potrzeba zaimplementowania jakiejś zasady pomocnym krokiem jest spojrzenie na sposób, w jaki zostało to zaimplementowane w innych plikach językowych. Wiele z nich ma to do siebie, że mogą być użyte ponownie w translacji różnych języków. Przykład opisany poniżej może być używany dla wszystkich języków z domyślnym podmiotem.

Zacznijmy podobnie jak w poprzednich przykładach, wykonując szkielet:

<?xml version="1.0" encoding="UTF-8"?>
<transfer>

</transfer>

W tym momencie musimy jedynie stworzyć zasadę, która będzie brała symbole gramatyczne i przesyłała je z powrotem.

Najpierw musimy zdefiniować kategorie oraz atrybuty. Obydwa fragmenty będą używane do grupowania symboli gramatycznych. Kategorie pozwalają nam na grupowanie symboli, które pasują do pewnego wzorca (dla przykładu 'n.*' dla wszystkich rzeczowników). Atrybuty z kolei utworzą grupę symboli, z których będziemy mogli w przyszłości korzystać.

Dodajmy wiec niezbędne sekcje:

<section-def-cats>

</section-def-cats>
<section-def-attrs>

</section-def-attrs>

Ponieważ odmieniamy jedynie rzeczowniki w liczbie pojedynczej i mnogiej to potrzebujemy dodać osobną kategorię dla rzeczowników, razem z atrybutem liczby. Coś takiego powinno wystarczyć:

W section-def-cats dodaj:

<def-cat n="nom">
   <cat-item tags="n.*"/>
</def-cat>

Ten fragment kodu wyłapuje wszystkie rzeczowniki (lemmy i następujące po nich <n>), i odnosi się do nich, jako "nom"y (później zobaczymy jak tego używać).

W sekcji section-def-attrs, dodaj:

<def-attr n="nbr">
   <attr-item tags="sg"/>
   <attr-item tags="pl"/>
</def-attr>

a następnie

<def-attr n="a_nom">
   <attr-item tags="n"/>
</def-attr>

Pierwsza dodaje atrybut "nbr" (liczbę), która może być liczbą pojedynczą (sg) lub mnogą pl).

Druga definiuje atrybut a_nom (atrybut rzeczownika).

Następnie musimy dodać sekcje dla globalnych zmiennych:

<section-def-vars>

</section-def-vars>

Te zmienne będą używane do przechowywania lub przenoszenia atrybutów pomiędzy zasadami. Na razie wystarczy nam tylko jedna zmienna

<def-var n="number"/>

Na koniec musimy dodać zasadę, która pobierze rzeczownik i zwróci go w odpowiedniej formie. Musimy zatem dodać sekcję zasad...

<section-rules>

</section-rules>

Zwiększymy trochę tempo, najpierw wklejając poniższy kod a dopiero potem go omawiając.

<rule>
   <pattern>
     <pattern-item n="nom"/>
   </pattern>
   <action>
     <out>
       <lu>
         <clip pos="1" side="tl" part="lem"/>
         <clip pos="1" side="tl" part="a_nom"/>
         <clip pos="1" side="tl" part="nbr"/>
       </lu>
     </out>
   </action>
</rule>

Pierwszy tag jest oczywisty, po prostu definiuje zasadę. Drugi mówi: "zastosują tą zasadę, jeżeli pasuje do wzorca". W tym przykładzie wzorzec składa się z pojedynczego rzeczownika (zdefiniowany przez kategorię "nom"). Zwróć uwagę, że wzorce są dostosowywane w kolejności od najdłuższego pasującego. Więc jeśli masz trzy zasady: pierwszą łapiącą "<prn><vblex><n>", drugą łapiącą "<prn><vblex>" i trzecią łapiącą "<n>", pierwszą zastosowaną regułą będzie właśnie reguła pierwsza.

Dla każdego wzorca jest odpowiadająca jej akcja, która tworzy odpowiadający wynik na wyjściu będący jednostką leksykalną (lu). Zaciskające tagi (clip tags) pozwalają użytkownikowi na wybranie i manipulowanie na atrybutach i elementach języka źródłowego (side="sl") lub docelowego (side="tl") elementu leksykalnego.

Spróbujmy więc to skompilować i przetestować. Zasady transferu kompilujemy za pomocą:

$ apertium-preprocess-transfer apertium-sh-en.sh-en.t1x sh-en.t1x.bin

Które powinno wygenerować plik sh-en.t1x.bin.

Jesteśmy już gotowi do przystąpienia to fazy testowania. Pominęliśmy jednak bardzo ważną część kodu, a mianowicie tagger part-of-speech (PoS), jednak omówimy to później. Na razie możemy przetestować to, co mamy.

Najpierw zanalizujmy słowo gramofoni:

$ echo "gramofoni" | lt-proc sh-en.automorf.bin 
^gramofon/gramofon<n><pl>$

W normalnych warunkach tagger PoS powinien wybrać prawidłową wersję analizując część mowy, jednak ponieważ go nie zaimplementowaliśmy, użyjemy tego skryptu (podziękowania dla Sergio), który powinien zwrócić tylko odpowiednią wersje.

$ echo "gramofoni" | lt-proc sh-en.automorf.bin | \
  gawk 'BEGIN{RS="$"; FS="/";}{nf=split($1,COMPONENTS,"^"); for(i = 1; i<nf; i++) printf COMPONENTS[i]; if($2 != "") printf("^%s$",$2);}'
^gramofon<n><pl>$

Wykorzystamy to razem z zasadami transferu:

$ echo "gramofoni" | lt-proc sh-en.automorf.bin | \
  gawk 'BEGIN{RS="$"; FS="/";}{nf=split($1,COMPONENTS,"^"); for(i = 1; i<nf; i++) printf COMPONENTS[i]; if($2 != "") printf("^%s$",$2);}' | \
  apertium-transfer apertium-sh-en.sh-en.t1x sh-en.t1x.bin sh-en.autobil.bin

Powinniśmy otrzymać:

^gramophone<n><pl>$^@

• 'gramophone' jest w języku docelowym (side="tl") lemma (lem) na pozycji pierwszej (pos="1").
• '<n>' jest a_nom na pozycji pierwszej w języku docelowym.
• '<pl>' jest atrybutem numeru (nbr) na pozycji pierwszej w języku docelowym.

Spróbuj zamienić jedną z zasad na komentarz, skompilować i zobaczyć co się stanie.

Mamy teraz rezultat z wyjścia, ostatnią rzeczą jaką musimy się zająć jest wygenerowanie odmienionych form języka docelowego. Do wykonania tej czynności użyjemy lt-proc, w rybie generacji (-g), a nie w trybie analizy (-a).

$ echo "gramofoni" | lt-proc sh-en.automorf.bin | \
  gawk 'BEGIN{RS="$"; FS="/";}{nf=split($1,COMPONENTS,"^"); for(i = 1; i<nf; i++) printf COMPONENTS[i]; if($2 != "") printf("^%s$",$2);}' | \
  apertium-transfer apertium-sh-en.sh-en.t1x sh-en.t1x.bin sh-en.autobil.bin | \
  lt-proc -g sh-en.autogen.bin

gramophones\@

Masz teraz przed sobą system tłumaczenia maszynowego, który tłumaczy rzeczownik w języku serbsko-chorwackim na rzeczownik angielski. Oczywiście nie jest to szczególnie przydatne, ale niedługo przejdziemy do bardziej skomplikowanych rzeczy. Nie przejmuj się symbolem '@', później wyjaśnimy sobie do czego służy i jak go używać.

Pomyśl o kilku innych przykładach rzeczowników, odmieniających się w ten sam sposób co rzeczownik gramofon. Spróbuj dodać je do słownika. Nie musimy dodawać żadnych paradygmatów, wystarczy tylko dodać wpisy w głównych sekcjach słownika jednojęzycznego i dwujęzycznego.

Pora na czasowniki

Ok, mamy system, który tłumaczy nam rzeczowniki, ale jest to trochę bezużyteczne, chcemy też przecież tłumaczyć czasowniki, a nawet całe zdania! Może na początek zacznijmy od tłumaczenia czasowników. W języku serbsko-chorwackim czasownik nazywa się videti.

Język serbsko-chorwacki jest językiem nie-tematycznym, co oznacza, iż zwykle nie stosuje zaimków poprzedzających odmienioną formę czasownika. Angielski taki nie jest. Na ten przykład: "I see" (ja widzę) w języku angielskim zostałoby przetłumaczone na "vidim" w języku Serbsko-Chorwackim.

• Vidim
• see<p1><sg>
• I see

Uwaga: <p1> oznacza pierwszą osobę

Okaże się to ważne, w momencie, gdy zaczniemy pisać zasady transferu dla czasowników. Inne przykłady języków nie-tematycznych obejmują: Hiszpański, Rumuński i Polski. Wynika to także z tego, że, gdy w serbsko-chorwackim słowniku morfologicznym musimy dodać tylko czasownik, w angielskim słowniku morfologicznym musimy dodać czasownik i zaimek osobowy. Przeanalizujemy oba sposoby.

Inne formy czasownika "videti" to: vidiš, vidi, vidimo, vidite, and vide; które odpowiadają: you see (singular), he sees, we see, you see (plural), oraz they see.

Istnieją dwie formy "you see", jedna jest w liczbie mnogiej oraz formalnej pojedynczej (vidite) oraz druga tylko w nieformalnej pojedynczej (vidiš).

Spróbujemy przetłumaczyć następujące zdanie: "Vidim gramofoni" na "I see gramophones". W poszanowaniu miejsca, dodamy po prostu wystarczającą ilość informacji do tłumaczenia i pozostawimy wypełnianie paradygmatów (dodanie spójników do czasownika), jako ćwiczenia.

Bystry czytelnik najprawdopodobniej już zauważył, że nie możemy po prostu przetłumaczyć "vidim gramofoni”, ponieważ nie jest to zdanie poprawne gramatycznie w języku Serbsko-Chorwackim. Poprawnie brzmiałoby ono vidim gramofone, jako, iż rzeczownik jest w bierniku. Będziemy musieli dodać również i tą formę, aczkolwiek nie ma potrzeby dodawania informacji o przypadku, po prostu dodamy dodatkową opcję dla liczby mnogiej. Przepisz zatem fragment zawierający 'e' dla 'i' oraz zamień 'i' na 'e'.

Pierwszą rzeczą którą musimy zrobić jest dodanie symboli. Najpierw musimy dodać symbol dla 'verb', który będziemy od tej pory nazywać "vblex" (co znaczy czasownik leksykalny, przeciwnie do czasowników modalnych czy innych typów). Czasowniki mają 'person' (osobę), oraz 'tense' (czas) jak również liczbę, więc dodajmy kilka z nich. Musimy przetłumaczyć "I see", więc dla osoby powinniśmy dodać "p1", lub 'first person', a dla czasu "pri", albo 'present indicative'.

<sdef n="vblex"/>
<sdef n="p1"/>
<sdef n="pri"/>

Gdy to zrobimy, również z rzeczownikami, dodamy paradygmat lub koniugację czasownika. Pierwsza linijka powinna wyglądać następująco:

<pardef n="vid/eti__vblex">

Symbol '/' jest użyty w celu wytyczenia granicy gdzie łodygi (fragmenty pomiędzy tagami <l> i </l>) są również pododawane.

Następnie odmiana pierwszej osoby liczby pojedyńczej:

<e><p><l>im</l><r>eti<s n="vblex"/><s n="pri"/><s n="p1"/><s n="sg"/></r></p></e>

'im' oznacza koniec (jak w 'vidim'), jest on potrzebny w celu dodania 'eti' do sekcji <r>, jako że zostanie odcięty z definicji. Reszta jest stosunkowo prosta: 'vblex' jest czasownikiem leksykalnym, 'pri' jest czasem orientacyjnym, 'p1' to pierwsza osoba a 'sg' jest liczbą pojedyńczą. Możemy również dodać liczbę mnogą która byłaby taka sama, za wyjątkiem 'imo' zamiast 'im' i 'pl' zamiast 'sg'.

Następnie musimy dodać lemmę, oraz paradygmat do głównej sekcji:

<e lm="videti"><i>vid</i><par n="vid/eti__vblex"/></e>

Uwaga: zawartość <i> </i> jest korzeniem (rootem), a nie lemmą.

To część pracy jaką wykona dla nas translator Serbsko-Chorwacki. Skompilujmy oraz przetestujmy kod.

$ lt-comp lr apertium-sh-en.sh.dix sh-en.automorf.bin
main@standard 23 25
$ echo "vidim" | lt-proc sh-en.automorf.bin
^vidim/videti<vblex><pri><p1><sg>$
$ echo "vidimo" | lt-proc sh-en.automorf.bin
^vidimo/videti<vblex><pri><p1><pl>$

Teraz musimy zrobić to samo dla angielskiego słownika (pamiętaj o dodaniu tego samego symbolu definicji, tak samo jak dodaliśmy do Serbsko-Chorwackiego).

Paradygmatem w tym przypadku będzie:

<pardef n="s/ee__vblex">

ponieważ czas przeszły to 'saw'. Teraz możemy wykonać jedną z dwóch rzeczy - możemy dodać pierwszą i drugą osobę, ale w tej samej formie. Tak na prawdę, wszystkie formy (za wyjątkiem trzeciej osoby liczby pojedyńczej) czasownika 'to see' są równoznaczne 'see'. Więc zamiast tego dodamy tylko jedną linię kodu dla 'see' i dodamy jedynie symbol 'pri'.

<e><p><l>ee</l><r>ee<s n="vblex"/><s n="pri"/></r></p></e>

oraz, jak zwykle, wpis w głównej sekcji:

<e lm="see"><i>s</i><par n="s/ee__vblex"/></e>

Potem skompilujmy i przetestujmy kod:

$ lt-comp lr apertium-sh-en.en.dix en-sh.automorf.bin
main@standard 18 19

$ echo "see" | lt-proc en-sh.automorf.bin
^see/see<vblex><pri>$

Teraz kolej na obowiązkowy wpis w dwujęzycznym słowniku:

<e><p><l>videti<s n="vblex"/></l><r>see<s n="vblex"/></r></p></e>

(nie zapomnij o dodaniu sdef'ów do wpisów)

Oraz re-kompilacja:

$ lt-comp lr apertium-sh-en.sh-en.dix sh-en.autobil.bin
main@standard 18 18
$ lt-comp rl apertium-sh-en.sh-en.dix en-sh.autobil.bin
main@standard 18 18

Teraz pora na test:

$ echo "vidim" | lt-proc sh-en.automorf.bin | \
  gawk 'BEGIN{RS="$"; FS="/";}{nf=split($1,COMPONENTS,"^"); for(i = 1; i<nf; i++) printf COMPONENTS[i]; if($2 != "") printf("^%s$",$2);}' | \
  apertium-transfer apertium-sh-en.sh-en.t1x sh-en.t1x.bin sh-en.autobil.bin

^see<vblex><pri><p1><sg>$^@

Widzimy że analiza wypadła pomyślnie, ale kiedy próbujemy wygenerować z tego "powierzchnię", otrzymujemy '#', jak poniżej:

$ echo "vidim" | lt-proc sh-en.automorf.bin | \
  gawk 'BEGIN{RS="$"; FS="/";}{nf=split($1,COMPONENTS,"^"); for(i = 1; i<nf; i++) printf COMPONENTS[i]; if($2 != "") printf("^%s$",$2);}' | \
  apertium-transfer apertium-sh-en.sh-en.t1x sh-en.t1x.bin sh-en.autobil.bin | \
  lt-proc -g sh-en.autogen.bin
#see\@

Symbol '#' oznacza, że generato nie może utworzyć poprawnej formy leksykalnej czasownika ponieważ jej nie posiada. Dlaczego?

Krótko mówiąc, analizy nie są ze sobą zgodne, 'see' w słowniku oznacza see<vblex><pri>, a to dostarczone przez transfer oznacza see<vblex><pri><p1><sg>. Serbsko-Chorwacka strona posiada więcej informacji niż tego wymaga strona angielska. Możesz to sprawdzić, dodając brakujące symbole do angielskiego słownika, rekompilując, i testując ponownie.

Jednakże, bardziej paradygmatycznym wyjściem z tej sytuacji jest napisanie zasady. Otwieramy więc plik zasad: (apertium-sh-en.sh-en.t1x sh-en.t1x.bin sh-en.autobil.bin gdybyś zapomniał)

Musimy dodać nową kategorię dla czasowników ('verb').

<def-cat n="vrb">
   <cat-item tags="vblex.*"/>
</def-cat>

usimy również dodać atrybuty dla czasu i osoby. Zrobimy to w bardzo prosty sposób, możesz dodać p2 i p3, ale w tym przypadku to pominiemy by zaoszczędzić miejsce:

<def-attr n="temps">
   <attr-item tags="pri"/>
</def-attr>

<def-attr n="pers">
   <attr-item tags="p1"/>
</def-attr>

Powinniśmy również dodać atrybut dla czasowników:

<def-attr n="a_verb">
   <attr-item tags="vblex"/>
</def-attr>

Teraz sama zasada:

<rule>
   <pattern>
     <pattern-item n="vrb"/>
   </pattern>
   <action>
     <out>
       <lu>
         <clip pos="1" side="tl" part="lem"/>
         <clip pos="1" side="tl" part="a_verb"/>
         <clip pos="1" side="tl" part="temps"/>
       </lu>
     </out>
   </action>
</rule>

Pamiętasz, gdy ująłeś fragment zawierający zaciskające (clip) tagi w komentarz w poprzednim przykładzie zasad i gdy znikły one z transferu? Cóż, to praktycznie to samo co próbujemy zaimplementować teraz. Poddajemy czasownik pełnej analizie ale zwracamy tylko część analizy (lemme + tag czasownika + tag czasu).

Gdy zrekompilujemy kod, otrzymamy:

$ echo "vidim" | lt-proc sh-en.automorf.bin | \
  gawk 'BEGIN{RS="$"; FS="/";}{nf=split($1,COMPONENTS,"^"); for(i = 1; i<nf; i++) printf COMPONENTS[i]; if($2 != "") printf("^%s$",$2);}' | \
  apertium-transfer apertium-sh-en.sh-en.t1x sh-en.t1x.bin sh-en.autobil.bin
^see<vblex><pri>$^@

oraz:

$ echo "vidim" | lt-proc sh-en.automorf.bin  | \
  gawk 'BEGIN{RS="$"; FS="/";}{nf=split($1,COMPONENTS,"^"); for(i = 1; i<nf; i++) printf COMPONENTS[i]; if($2 != "") printf("^%s$",$2);}' | \
  apertium-transfer apertium-sh-en.sh-en.t1x sh-en.t1x.bin sh-en.autobil.bin | \
  lt-proc -g sh-en.autogen.bin
see\@

Wypróbuj to używając 'vidimo' (we see) by zobaczyć czy otrzymujemy poprawny wynik.

Teraz spróbuj tego samego z użyciem "vidim gramofone":

$ echo "vidim gramofoni" | lt-proc sh-en.automorf.bin | \
  gawk 'BEGIN{RS="$"; FS="/";}{nf=split($1,COMPONENTS,"^"); for(i = 1; i<nf; i++) printf COMPONENTS[i]; if($2 != "") printf("^%s$",$2);}' | \
  apertium-transfer apertium-sh-en.sh-en.t1x sh-en.t1x.bin sh-en.autobil.bin | \
  lt-proc -g sh-en.autogen.bin
see gramophones\@

A co z zaimkami?

Jest fajnie, ale ciągle nie mamy osobowych zaimków, które są potrzebne w języku angielskim. W celu ich dodaniu, najpierw potrzebujemy wyedytować angielski słownik morfologiczny.

Jak przedtem, pierwszym krokiem jest dodanie symboli:

<sdef n="prn"/>
<sdef n="subj"/>

W tym przypadku, prn jest zaimkiem, a subj jest podmiotem (tak jak podmiot w zdaniu).

Ponieważ nie ma tutaj rdzenia (roota), ani 'lemmy' dla osobowego podmiotu zaimka, po prostu dodajemy pardef tak jak poniżej:

<pardef n="prsubj__prn">
   <e><p><l>I</l><r>prpers<s n="prn"/><s n="subj"/><s n="p1"/><s n="sg"/></r></p></e>
</pardef>

gdzie 'prsubj' jest 'podmiotem osobowym' (personal subject). Reszta (You, We itd.) zostaje, jako ćwiczenie dla czytelnika.

Możemy dodać wpis do głównej sekcji, tak jak poniżej:

<e lm="personal subject pronouns"><i/><par n="prsubj__prn"/></e>

Zapiszmy, skompilujmy i przetestujmy kod. Powinniśmy otrzymać coś takiego:

$ echo "I" | lt-proc en-sh.automorf.bin
^I/PRPERS<prn><subj><p1><sg>$

(Uwaga: wynik jest wypisany drukowanymi literami, ponieważ 'I' jest drukowane).

Teraz musimy poprawić regułę dla czasownika ('verb') by otrzymać osobowy podmiot zaimka razem z poprawną formą czasownika.

Najpierw, dodajmy kategorię:

<def-cat n="prpers">
   <cat-item lemma="prpers" tags="prn.*"/>
</def-cat>

Teraz, dodajmy typy zaimków, jako atrybuty, możemy też dodać typ 'obj’, jako, że przy nim jesteśmy, aczkolwiek nie będziemy go teraz potrzebować:

<def-attr n="tipus_prn">
   <attr-item tags="prn.subj"/>
   <attr-item tags="prn.obj"/>
</def-attr>

A teraz, by wczytać regułę:

<rule>
   <pattern>
     <pattern-item n="vrb"/>
   </pattern>
   <action>
     <out>
       <lu>
         <lit v="prpers"/>
         <lit-tag v="prn"/>
         <lit-tag v="subj"/>
         <clip pos="1" side="tl" part="pers"/>
         <clip pos="1" side="tl" part="nbr"/>
       </lu>
       <b/>
       <lu>
         <clip pos="1" side="tl" part="lem"/>
         <clip pos="1" side="tl" part="a_verb"/>
         <clip pos="1" side="tl" part="temps"/>
       </lu>
     </out>
   </action>
</rule>

Jest to praktycznie ta sama reguła co wcześniej, dodaliśmy tylko kilka niewielkich poprawek. Potrzebowaliśmy wyniku:

^prpers<prn><subj><p1><sg>$ ^see<vblex><pri>$

by generator mógł wybrać prawidłowy zaimek i prawidłową formę czasownika.

Więc, krótkie podsumowanie:

• <lit>, wypisuje ciąg literowy, w tym przypadku "prpers"
• <lit-tag>, wypisuje tag literowy, ponieważ nie możemy otrzymać tagu z czasownika dodamy go ręcznie, "prn" dla zaimka, a "subj" dla podmiotu.
• wypisuje spację (pusty znak).

Zwróć uwagę, że otrzymaliśmy liczbę oraz czas wprost z czasownika.

Więc teraz, jeśli skompilujemy i przetestujemy znowu, otrzymujemy:

$ echo "vidim gramofone" | lt-proc sh-en.automorf.bin  | \
  gawk 'BEGIN{RS="$"; FS="/";}{nf=split($1,COMPONENTS,"^"); for(i = 1; i<nf; i++) printf COMPONENTS[i]; if($2 != "") printf("^%s$",$2);}' | \
  apertium-transfer apertium-sh-en.sh-en.t1x sh-en.t1x.bin sh-en.autobil.bin | \
  lt-proc -g sh-en.autogen.bin
I see gramophones

które (pomijając długo oczekiwany, końcowy rezultat), jest stosunkowo dokładnym i precyzyjnym tłumaczeniem.

Więc co z tym gramofonem? (Wielowyrazy)

Jakby na to nie spojrzeć, nasze tłumaczenie dla słowa "gramophone" nie wydaje się być najlepszym z możliwych. Lepszym tłumaczeniem byłoby coś w stylu 'record player'. Co prawda jest to więcej niż jedno słowo, możemy jednak potraktować to tłumaczenie jakoby było ono jednym słowem, a konkretnie wielowyrazem (multiword/multipalabra).

Nie ma potrzeby zaglądać do słownika Serbsko-Chorwackiego, użyjemy jedynie angielskiego i dwujęzycznego, więc czym prędzej je otwórzmy.

Liczba mnoga od 'record player' to 'record players', więc korzysta ona z tego samego paradygmatu, co gramophone (gramophone__n) — dodajemy tylko na końcu 's'. Jedyne, co musimy zrobić to dodać nowy element do głównej sekcji.

<e lm="record player"><i>record<b/>player</i><par n="gramophone__n"/></e>

Jedyną różnicę stanowi użycie tagu , aczkolwiek nie jest to kompletna nowość, jako że widzieliśmy ją już w pliku z regułami.

A więc, ponownie kompilujemy i testujemy nasz kod:

$ echo "vidim gramofone" | lt-proc sh-en.automorf.bin | \
  gawk 'BEGIN{RS="$"; FS="/";}{nf=split($1,COMPONENTS,"^"); for(i = 1; i<nf; i++) printf COMPONENTS[i]; if($2 != "") printf("^%s$",$2);}' | \
  apertium-transfer apertium-sh-en.sh-en.t1x sh-en.t1x.bin sh-en.autobil.bin  | \
  lt-proc -g sh-en.autogen.bin
I see record players

Idealnie. Dużym plusem korzystania z wielowyrazów jest fakt, że możemy dosłownie tłumaczyć związki frazeologiczne, bez potrzeby tłumaczenia słowa po słowie. Na przykład, angielska fraza "at the moment" byłaby przetłumaczona na język Serbsko-Chorwacki, jako "trenutno" (trenutak = moment, trenutno będący czasownikiem) — Tłumaczenie tego słowo po słowie na język Serbsko-Chorwacki nie byłoby w tym przypadku możliwe.

Radzenie sobie z dialektami

Serbko-Chorwacki zwykle pozwala na kilka sposóbów zapisania tego samego słowa, z powodu różnych dialektów. Posiada fajny system zapisywania fonetycznego więc można pisać tak jak się dane słowo wymawia. Na przykład, ludność mówiąca po Ijekaviańsku powiedziałaby "rječnik", w czasie gdy ktoś mówiący po Ekaviańsku powiedziałby "rečnik", co z kolei podkreśla różnice w wymowie słowiańskich samogłosek.

Analizer

Nie wydaje się to znacząco trudne do zaimplementowania, prawda? I faktycznie nie jest, można to w łatwy sposób wykonać za pomocą parydgmatów. Nie są one używane jedynie w celu dodawania gramatycznych symboli, ale również w celu zamiany znaków/symboli nawzajem między sobą. Dla przykładu, poniżej znajduje się paradygmat który akceptuje zarówno "e" i "je" w analizie. Powinien on trafić razem z innymi paradygmatami do jednojęzycznego słownika Serbsko-Chorwackiego.

  <pardef n="e_je__yat">
    <e>
      <p>
        <l>e</l>
        <r>e</r>
      </p>
    </e>
    <e>
      <p>
        <l>je</l>
        <r>e</r>
      </p>
    </e>
  </pardef>

Następnie w głównej sekcji:

    <e lm="rečnik"><i>r</i><par n="e_je__yat"/><i>čni</i><par n="rečni/k__n"/></e>

To pozwala na analizę tych dwóch form, aczkolwiek wymagało by to więcej pracy w przypadku gdyby zainstniała potrzeba wyświetlenia obu form.

Zobacz też

• Building dictionaries
• Finding_errors_in_dictionaries
• Cookbook
• Chunking
• Contributing to an existing pair