Difference between revisions of "Jak zrobić nową parę języków"

From Apertium
Jump to navigation Jump to search
(→‎Słownik dwujęzyczny: Zmiany stylistyczne/językowe)
(→‎Zasady Transferu: Zmiany stylistyczne/językowe)
Line 234: Line 234:
 
===Zasady Transferu===
 
===Zasady Transferu===
   
Więc, mamy dwa jednojęzyczne słowniki, oraz jeden dwujęzyczny. Wszystko czego potrzebujemy teraz jest przeniesienie zasad opisanych dla rzeczowników. Pliki te posiadają własne DTD (transfer.dtd) które możesz znaleść w pakiecie Apertium. Jeżeli potrzebujesz zaimplementować jakaś zasadę przydatnę jest spojrzenie jak zostało to zrobione w innych plikach. Wiele z nich może być używane ponownie pomiędzy róznymi językami. Przykład opisany poniżej może być używany dla wszystkich języków z domyślnym podmiotem.
+
Więc, mamy dwa jednojęzyczne słowniki, oraz jeden dwujęzyczny. Jedyne, czego teraz potrzebujemy to zaimplementowanie zasad dla rzeczowników. Pliki tego typu posiadają własne DTD (transfer.dtd) znajdującym się w pakiecie Apertium. Gdy zaistnieje potrzeba zaimplementowania jakiejś zasady pomocnym krokiem jest spojrzenie na sposób, w jaki zostało to zaimplementowane w innych plikach językowych. Wiele z nich ma to do siebie, że mogą być użyte ponownie w translacji różnych języków. Przykład opisany poniżej może być używany dla wszystkich języków z domyślnym podmiotem.
   
Zacznijmy podobnie jak w poprzednich przykładach, od szkieletu:
+
Zacznijmy podobnie jak w poprzednich przykładach, wykonując szkielet:
 
<pre>
 
<pre>
 
<?xml version="1.0" encoding="UTF-8"?>
 
<?xml version="1.0" encoding="UTF-8"?>
Line 244: Line 244:
 
</pre>
 
</pre>
   
W tym momencie musimy jedynie stworzyć zasadę, która będzie brała symbole gramatyczne i przesyłała je ponownie.
+
W tym momencie musimy jedynie stworzyć zasadę, która będzie brała symbole gramatyczne i przesyłała je z powrotem.
   
Pierw musimy zdefinować kategorie oraz atrybuty. Obydwie będą używane do grupowania symboli gramatycznych. Kategorie pozwalają nam do grupowania symboli które pasują do pewnego wzorca (dla przykładu 'n.*' dla wszystkich rzeczowników). Atrybuty z koleji zbiór grup symboli z którch możemy wybierać.
+
Najpierw musimy zdefiniować kategorie oraz atrybuty. Obydwa fragmenty będą używane do grupowania symboli gramatycznych. Kategorie pozwalają nam na grupowanie symboli, które pasują do pewnego wzorca (dla przykładu 'n.*' dla wszystkich rzeczowników). Atrybuty z kolei utworzą grupę symboli, z których będziemy mogli w przyszłości korzystać.
   
Dodajmy więć niezbędne sekcje:
+
Dodajmy wiec niezbędne sekcje:
 
<pre>
 
<pre>
 
<section-def-cats>
 
<section-def-cats>
Line 257: Line 257:
 
</section-def-attrs>
 
</section-def-attrs>
 
</pre>
 
</pre>
Jeżeli odmieniamy, przymiotniki od liczby to potrzebujemy dodać kategorie dla rzeczowników, a także atrybut. Coś takiego powinno wystarczyć.
+
Ponieważ odmieniamy jedynie rzeczowniki w liczbie pojedynczej i mnogiej to potrzebujemy dodać osobną kategorię dla rzeczowników, razem z atrybutem liczby. Coś takiego powinno wystarczyć:
   
 
W section-def-cats dodaj:
 
W section-def-cats dodaj:
Line 265: Line 265:
 
</def-cat>
 
</def-cat>
 
</pre>
 
</pre>
To wyłapuje wszystkie rzeczowniki, i odnosci się do "nom" (póżniej zobaczysz jak tego używać).
+
Ten fragment kodu wyłapuje wszystkie rzeczowniki (lemmy i następujące po nich <n>), i odnosi się do nich, jako "nom"y (później zobaczymy jak tego używać).
   
 
W sekcji section-def-attrs, dodaj:
 
W sekcji section-def-attrs, dodaj:
Line 280: Line 280:
 
</def-attr>
 
</def-attr>
 
</pre>
 
</pre>
Pierwsza definiuje atrybut nbr (liczbę), która może być liczbą pojedyńczą (sg) lub mnogą pl).
+
Pierwsza dodaje atrybut "nbr" (liczbę), która może być liczbą pojedynczą (sg) lub mnogą pl).
   
 
Druga definiuje atrybut a_nom (atrybut rzeczownika).
 
Druga definiuje atrybut a_nom (atrybut rzeczownika).
Line 290: Line 290:
 
</section-def-vars>
 
</section-def-vars>
 
</pre>
 
</pre>
Te zmienne będą używane do przechowywania lub przenoszenia atrybutów pomiędzy zasadami. Na razie wystarczy tylko to,
+
Te zmienne będą używane do przechowywania lub przenoszenia atrybutów pomiędzy zasadami. Na razie wystarczy nam tylko jedna zmienna
 
<pre>
 
<pre>
 
<def-var n="number"/>
 
<def-var n="number"/>
 
</pre>
 
</pre>
Ostatecznie, musimy dodać zasadę, która weźmie rzeczownik i odda go w poprawnej formie. Potrzebować będziemy do tego sekcji zasad...
+
Na koniec musimy dodać zasadę, która pobierze rzeczownik i zwróci go w odpowiedniej formie. Musimy zatem dodać sekcję zasad...
 
<pre>
 
<pre>
 
<section-rules>
 
<section-rules>
Line 300: Line 300:
 
</section-rules>
 
</section-rules>
 
</pre>
 
</pre>
  +
Zwiększymy trochę tempo, najpierw wklejając poniższy kod a dopiero potem go omawiając.
Przyśpieszmy trochę. Po prostu dodaj poniższą zasadę, a następnie przejdź dalej.
 
 
<pre>
 
<pre>
 
<rule>
 
<rule>
Line 318: Line 318:
 
</pre>
 
</pre>
   
Pierwszy tag jest oczywisty, definiuje zasadę. Drugi mówi: "zastosują tą zasadę, jęzeli pasuje do wzorca". W tym przykładzie wskazuje na rzeczownik w liczbie poj. (zdefinowany przez kategorię "nom"). Uwaga: wzorce sa dostosowywane w kolejnosci od najdłuższego pasującego. Więc jeżeli masz trzy asady, pierszą łapiącą "<prn><vblex><n>", drugą "<prn><vblex>" i trzecią łapiącą "<n>", pierszą zastosowaną regułą będzie właśnie reguła pierwsza.
+
Pierwszy tag jest oczywisty, po prostu definiuje zasadę. Drugi mówi: "zastosują tą zasadę, jeżeli pasuje do wzorca". W tym przykładzie wzorzec składa się z pojedynczego rzeczownika (zdefiniowany przez kategorię "nom"). Zwróć uwagę, że wzorce dostosowywane w kolejności od najdłuższego pasującego. Więc jeśli masz trzy zasady: pierwszą łapiącą "<prn><vblex><n>", drugą łapiącą "<prn><vblex>" i trzecią łapiącą "<n>", pierwszą zastosowaną regułą będzie właśnie reguła pierwsza.
   
Dla każdego wzorca, jest też akcja która powinna być wykonana, która produkuje na wyjście będące jednostką leksykalną (lu).
+
Dla każdego wzorca jest odpowiadająca jej akcja, która tworzy odpowiadający wynik na wyjściu będący jednostką leksykalną (lu).
 
Zaciskające tagi (clip tags) pozwalają użytkownikowi na wybranie i manipulowanie na atrybutach i elementach języka źródłowego (side="sl") lub docelowego (side="tl") elementu leksykalnego.
   
 
Spróbujmy więc to skompilować i przetestować. Zasady transferu kompilujemy za pomocą:
Pominięte tagi pozwalają użytkownikowi do wybrania i manipulowania na atrybutach i elementach języka źródłowego (side="sl") lub docelowego (side="tl") elementu leksykalnego.
 
 
Skompilujmy i przetestujmy więc to. Zasady transferu kompilujemy za pomocą:
 
 
<pre>
 
<pre>
 
$ apertium-preprocess-transfer apertium-sh-en.sh-en.t1x sh-en.t1x.bin
 
$ apertium-preprocess-transfer apertium-sh-en.sh-en.t1x sh-en.t1x.bin
Line 330: Line 329:
 
Które powinno wygenerować plik <code>sh-en.t1x.bin</code>.
 
Które powinno wygenerować plik <code>sh-en.t1x.bin</code>.
   
Teraz jesteśmy gotowi by przetestować własnego translatora. Pominięto to jedną ważną część, tagger part-of-speech (PoS), jednak będzie to później wytłumaczone krótko. Na razie możemy przetestować to.
+
Jesteśmy już gotowi do przystąpienia to fazy testowania. Pominęliśmy jednak bardzo ważną część kodu, a mianowicie tagger part-of-speech (PoS), jednak omówimy to później. Na razie możemy przetestować to, co mamy.
   
Pierw, zanalizujmy słowo, gramofoni:
+
Najpierw zanalizujmy słowo gramofoni:
 
<pre>
 
<pre>
 
$ echo "gramofoni" | lt-proc sh-en.automorf.bin
 
$ echo "gramofoni" | lt-proc sh-en.automorf.bin
 
^gramofon/gramofon<n><pl>$
 
^gramofon/gramofon<n><pl>$
 
</pre>
 
</pre>
Normalnie tagger PoS powinien wybrać prawą wersje, jednak go teraz nieposiadamy, więć użyjmy tego skryptu (podziękowania dla Sergio), on powinien zwrócić tylko odpowiednią wersje.
+
W normalnych warunkach tagger PoS powinien wybrać prawidłową wersję analizując część mowy, jednak ponieważ go nie zaimplementowaliśmy, użyjemy tego skryptu (podziękowania dla Sergio), który powinien zwrócić tylko odpowiednią wersje.
 
<pre>
 
<pre>
 
$ echo "gramofoni" | lt-proc sh-en.automorf.bin | \
 
$ echo "gramofoni" | lt-proc sh-en.automorf.bin | \
Line 343: Line 342:
 
^gramofon<n><pl>$
 
^gramofon<n><pl>$
 
</pre>
 
</pre>
Wykorzystajmy to razem z zasadami transferu:
+
Wykorzystamy to razem z zasadami transferu:
 
<pre>
 
<pre>
 
$ echo "gramofoni" | lt-proc sh-en.automorf.bin | \
 
$ echo "gramofoni" | lt-proc sh-en.automorf.bin | \
Line 357: Line 356:
 
* '<pl>' jest atrybutem numeru (nbr) na pozycji pierwszej w języku docelowym.
 
* '<pl>' jest atrybutem numeru (nbr) na pozycji pierwszej w języku docelowym.
   
Spróbuj zakomentować jedną z zasad, zrekompilować i zobaczyć co się stanie.
+
Spróbuj zamienić jedną z zasad na komentarz, skompilować i zobaczyć co się stanie.
   
Więc, mamy teraz plik wyjściowy z transferu, ostatnią rzeczą jaką musimy się zająć jest wygenerowanie odmienionych form języka docelowego. Do wykonania tej czynności użyjemy lt-proc, w trybie generacji (-g), a nie w trybie analizy (-a).
+
Mamy teraz rezultat z wyjścia, ostatnią rzeczą jaką musimy się zająć jest wygenerowanie odmienionych form języka docelowego. Do wykonania tej czynności użyjemy lt-proc, w rybie generacji (-g), a nie w trybie analizy (-a).
 
<pre>
 
<pre>
 
$ echo "gramofoni" | lt-proc sh-en.automorf.bin | \
 
$ echo "gramofoni" | lt-proc sh-en.automorf.bin | \
Line 369: Line 368:
 
</pre>
 
</pre>
   
Posiadasz teraz system tłumaczenia maszynowego, który tłumaczy serbsko-chorwacki rzeczownik na rzeczownik angielski. Oczywiście nie jest to bardzo przydatne, ale niedługo dojdziemy do bardziej skomplikowanych rzeczy. Nie martw się tym symbolem --> '@', później wyjaśnię po co się go używa.
+
Masz teraz przed sobą system tłumaczenia maszynowego, który tłumaczy rzeczownik w języku serbsko-chorwackim na rzeczownik angielski. Oczywiście nie jest to szczególnie przydatne, ale niedługo przejdziemy do bardziej skomplikowanych rzeczy. Nie przejmuj się symbolem '@', później wyjaśnimy sobie do czego służy i jak go używać.
   
Pomyśl o kilku innych słowach odmieniających się w ten sam sposób co słowo gramofon. Co myślisz o dodaniu tych słów. Nie musimy dodawać żadnych paradygmatów, wystarczy tylko dodać wpisy w głównych sekcjach słownika jednojęzycznego i dwujęzycznego.
+
Pomyśl o kilku innych przykładach rzeczowników, odmieniających się w ten sam sposób co rzeczownik gramofon. Spróbuj dodać je do słownika. Nie musimy dodawać żadnych paradygmatów, wystarczy tylko dodać wpisy w głównych sekcjach słownika jednojęzycznego i dwujęzycznego.
   
 
==Pora na czasowniki==
 
==Pora na czasowniki==

Revision as of 00:28, 5 December 2010

Ten artykuł opisuje, jak stworzyć od początku, nową parę języków dla systemu tłumaczenia automatycznego Apertium.

Nie zawiera, żadnej wiedzy na temat językoznawstwa lub tłumaczenia automatycznego powyżej poziomu możliwości odróżniania rzeczowników od czasowników (i przyimków itp.)

Wprowadzenie

Apertium jest, jak się zapewne domyślasz, systemem do automatycznego tłumaczenia komputerowego. Dokładniej mówiąc jest to platforma stworzona do tego celu. Zawiera silnik oraz zbiór narzędzi, które pozwalają na zbudowanie własnego systemu translacji. Jedyną rzeczą, którą użytkownik musi wykonać to wprowadzenie danych. Podstawowo są to trzy słowniki oraz kilka zasad (np. zmiany szyku zdania lub gramatyki).

Bardziej szczegółowe wprowadzenie na temat jak to wszystko działa znajdziesz w dziale Publications.

Wymagania

  • lttoolbox (>= 3.0.0)
  • libxml utils (xmllint itp.)
  • apertium (>= 3.0.0)
  • edytor tekstu (lub specjalny edytor XML)

Ten poradnik nie obejmuje instalacji powyższych narzędzi. W celu zasięgnięcia dalszych porad zajrzyj do dokumentacji projektu na stronie Apertium.

Na czym polega para języków?

Apertium jest komputerowym systemem tłumaczenia, który do pracy wykorzystuje słowniki oraz płytkie reguły transferowe (shallow transfer rules). Zasadniczą różnicą pomiędzy głębokimi i płytkimi zasadami jest to, że płytkie zasady nie analizują składni oraz działają na grupach jednostek leksykalnych zamiast używania struktury drzewa. Wyróżnia się trzy podstawowe słowniki:

  1. Słownik morfologiczny dla języka xx: zawierający zbiór zasad dot. odmieniania słowa w języku xx. W naszym przykładzie będzie to: apertium-sh-en.sh.dix
  2. Słownik morfologiczny dla języka yy: zawierający zbiór zasad dot. odmieniania słowa w języku yy. W naszym przykładzie będzie to: apertium-sh-en.en.dix
  3. Słownik dwujęzyczny: zawierający zależności pomiędzy słowami i symbolami w tych dwóch językach. W naszym przykładzie będzie to: apertium-sh-en.sh-en.dix

W parze tłumaczonych języków dany język może być zarówno źródłem jak i wynikiem translacji.

Istnieją również dwa pliki zawierające zasady transferu. Zasady te opisują, w jaki sposób zarządzać szykiem zdań np. “kot czarny -> czarny kot”. Regulują one też powiązania pomiędzy płcią, liczbami itp. Zasady te mogą być też wykorzystywane do dodawania lub usuwania elementów leksykalnych, co będzie opisane później. Pliki, o których mowa to:

  • zasady transferu języka xx do yy: zawierający zasady translacji języka xx do języka yy. W naszym przypadku będzie to: apertium-sh-en.sh-en.t1x
  • zasady transferu języka yy do xx: zawierający zasady translacji języka yy do języka xx. W naszym przypadku będzie to: apertium-sh-en.en-sh.t1x

Wiele dostępnych par językowych posiada dodatkowe pliki, jednak nie będą one tutaj opisywane. Powyższe pliki służą, jako podstawa do stworzenia funkcjonalnego systemu.

Przykładowa para języków

Jak zapewne zauważyłeś, ten artykuł opiera się o przykład translatora Serbsko-Chorwackiego na Angielski w celu opisania zasad tworzenia podstawowej wersji systemu. Jest to dość niefortunna para języków, zważywszy na fakt, że system działa lepiej w przypadku bardziej pokrewnych języków. Nie powinno to jednak przeszkadzać w przypadku użycia tak prostych przykładów, jakie będą tu zaprezentowane.

Wyjaśnienie używanych pojęć

Istnieje kilka pojęć, z którymi powinieneś się zapoznać zanim będziemy mogli kontynuować.

Pierwszym określeniem jest lemma. Jest to forma podstawowa danego słowa. Ma ona najczęściej postać zbliżoną do najprostszej z możliwych (bezokoliczników itd.). Dla przykładu, lemma słowa cats to cat. W języku angielskim lemmy rzeczowników są zazwyczaj w liczbie pojedynczej. Dla czasowników, lemma jest bezokolicznikiem, np. lemma-em was będzie be.

Następnym określeniem jest symbol. W kontekście systemu Apertium, symbol oznacza etykietę gramatyczną danego słowa. Słowo cats jest rzeczownikiem w liczbie mnogiej, więc będzie miało zarówno przyporządkowany symbol rzeczownika jak i symbol liczby mnogiej. Na wejściu i wyjściu modułów programowych są one zazwyczaj pomiędzy ostrymi nawiasami, tak jak poniżej:

  • <n>; dla rzeczownika
  • <pl>; dla liczby mnogiej.

Innymi przykładami symbolami są <sg> (liczba pojedyncza) <p1> (pierwsza osoba) itd. Pisane w ostrych nawiasach symbole mogą być też traktowane, jako tagi. Warto zauważyć, że w wielu obecnie dostępnych parach językowych definicje symboli są akronimami lub skrótami zaczerpniętymi z języka katalońskiego. Symbole są definiowane w tagu <sdef> i używane w <s>

Trzecie określenie to paradygmat. W ramach systemu Apertium, paradygmat odnosi się do sposobu, w jaki powinno się odmieniać daną grupę słów. W słownikach morfologicznych, lemmy (patrz wyżej) są przypisane do paradygmatów, które pozwalają nam opisać, w jaki sposób dana lemma odmienia się, bez konieczności zapisywania wszystkich końcówek.

Poniższy przykład pokazuje użyteczność tego podejścia, w przypadku, gdy chcemy zapisać przymiotniki ‘‘happy i lazy:

  • happy, happ (y, ier, iest)
  • lazy, laz (y, ier, iest)

Możemy po prostu zapisać jedno, a następnie powiedzieć, “lazy odmienia się jak happy" lub równoznacznie, “shy odmienia się jak happy", "naughty odmienia się jak happy", "friendly odmienia się jak happy" itd. W tym przykładzie happy jest paradygmatem pokazującym jak powinno się odmieniać inne słowa. Paradygmaty definiuje się w tagu <paradef> a używa w tagu <par>.

Na początek

Słowniki jednojęzyczne

See also: List of dictionaries and Incubator

Zacznijmy od stworzenia naszego pierwszego źródłowego słownika. Będzie to dokument XML. Otwórz swój edytor i wpisz:

<?xml version="1.0" encoding="UTF-8"?>
<dictionary>

</dictionary>

Na razie definiujemy, że to, co zaraz stworzymy będzie słownikiem. Aby był przydatny musimy dodać kilka innych wpisów, pierwszym będzie alfabet. Definiuje on zbiór liter, które mogą być użyte. Dla słownika Serbsko-Chorwackiego będzie wyglądał tak:

<alphabet>ABCČĆDDžĐEFGHIJKLLjMNNjOPRSŠTUVZŽabcčćddžđefghijklljmnnjoprsštuvzž</alphabet>

Alfabet umieść poniżej tagu <dictionary>.

Następnie zdefiniujemy kilka symboli. Zacznijmy od prostych rzeczy jak: rzeczownik (n) w liczbie pojedynczej (sg) i mnogiej (pl).

<sdefs>
   <sdef n="n"/>
   <sdef n="sg"/>
   <sdef n="pl"/>
</sdefs>

Nazwy symboli nie muszą być krótkie, w rzeczywistości mogą być napisane w całości, lecz częste używanie długich nazw byłoby na dłuższą metę męczące.

Niestety, sprawa jest nieco bardziej skomplikowana. Rzeczowniki w języku Sarbsko-Chorwackim odmieniają się także od płci i przypadku. Jednak założymy na potrzeby tego przykładu, że rzeczownik jest rodzaju męskiego w mianowniku (pełny przykład można znaleźć na końcu tego dokumentu).

Następnym krokiem jest zdefiniowanie sekcji dla paradygmatów,

<pardefs>

</pardefs>

Oraz sekcji słownika:

<section id="main" type="standard">

</section>

Istnieją dwa typy sekcji - pierwszy jest sekcją standardową, która zawiera słowa, enklityki itd. Drugim typem sekcji jest inconditional section zawierająca znaki interpunkcyjne itd. Opisywany przykład nie zawiera drugiego typu.

Plik na obecną chwilę powinien wyglądać tak:

<?xml version="1.0" encoding="UTF-8"?>
<dictionary>
   <sdefs>
     <sdef n="n"/>
     <sdef n="sg"/>
     <sdef n="pl"/>
   </sdefs>
   <pardefs>

   </pardefs>
   <section id="main" type="standard">

   </section>
</dictionary>

Mamy więc szkielet, możemy rozpocząć pracę od dodania rzeczownika. Rzecznikiem tym będzie 'gramofon'.

Pierwszą rzeczą, jaką musimy zrobić jest określenie paradygmatu.

Pamiętaj, że zakładamy, iż jest to rodzaj męski w mianowniku. Liczba pojedyncza tego rzeczownika to 'gramofon', a mnoga 'gramofoni'. Tak, więc:

<pardef n="gramofon__n">
   <e><p><l/><r><s n="n"/><s n="sg"/></r></p></e>
   <e><p><l>i</l><r><s n="n"/><s n="pl"/></r></p></e>
</pardef>

Uwaga: '<l/>' (równoznaczne z <l></l>) oznacza, że nie ma żadnych dodatkowych znaków dołączanych do rdzenia rzeczownika w 1-szej liczbie pojedynczej.

Może to wyglądać na dość zawiłą drogą opisywania tak prostych rzeczy, lecz zaowocuje to w przyszłości.

Prawdopodobnie zastanawiasz się, co oznaczają tagi <e>,

, <l> i <r>. A więc:

  • e, jest słowem początkowym.
  • p, jest dla pary.
  • l, jest z lewej strony.
  • r, jest z prawej strony.

Dlaczego z lewej i prawej? Cóż, słowniki morfologiczne zostaną później skompilowane do finalnej postaci. Kompilowanie ich od lewej do prawej powoduje analizę słów, a kompilowanie od prawej do lewej - słowa analizy. Na przykład:

* gramofoni (od lewej do prawej) gramofon<n><pl> (analiza)
* gramofon<n><pl> (od prawej do lewej) gramofoni (generowanie)

Zdefiniowaliśmy, zatem paradygmat, teraz musimy połączyć go z odpowiadającym lemma-em, czyli w tym przypadku "gramofon". Umieścimy to w sekcji, którą przed chwilą zdefiniowaliśmy.

Słowo początkowe, które umieścimy w </dictionary>

Teraz musimy dodać wpis służący do translacji pomiędzy dwoma słowami. Wygląda to tak:

<e><p><l>gramofon<s n="n"/></l><r>gramophone<s n="n"/></r></p></e>

Ponieważ często zdarza się, że takich wpisów jest bardzo dużo, są one najczęściej pisane w jednej linii, w celu polepszenia czytelności kodu. Pamiętając o 'l' oraz 'r' oczywiście. Tym razem kompilujemy plik od lewej do prawej by utworzyć translator Serbsko-chorwacko → Angielski, a kompilowanie od prawej do lewej spowodowałoby utworzenie Angielsko → Serbsko-chorwackiego słownika.

Następnym krokiem jest uruchomienie poniższych komend:

$ lt-comp lr apertium-sh-en.sh.dix sh-en.automorf.bin
$ lt-comp rl apertium-sh-en.en.dix sh-en.autogen.bin

$ lt-comp lr apertium-sh-en.en.dix en-sh.automorf.bin
$ lt-comp rl apertium-sh-en.sh.dix en-sh.autogen.bin

$ lt-comp lr apertium-sh-en.sh-en.dix sh-en.autobil.bin
$ lt-comp rl apertium-sh-en.sh-en.dix en-sh.autobil.bin

Na potrzeby generowania analizatorów morfologicznych (automorf), generatorów (autogen) oraz tłumaczeń słów (autobil), bil będzie oznaczać "dwujęzyczny".

Zasady Transferu

Więc, mamy dwa jednojęzyczne słowniki, oraz jeden dwujęzyczny. Jedyne, czego teraz potrzebujemy to zaimplementowanie zasad dla rzeczowników. Pliki tego typu posiadają własne DTD (transfer.dtd) znajdującym się w pakiecie Apertium. Gdy zaistnieje potrzeba zaimplementowania jakiejś zasady pomocnym krokiem jest spojrzenie na sposób, w jaki zostało to zaimplementowane w innych plikach językowych. Wiele z nich ma to do siebie, że mogą być użyte ponownie w translacji różnych języków. Przykład opisany poniżej może być używany dla wszystkich języków z domyślnym podmiotem.

Zacznijmy podobnie jak w poprzednich przykładach, wykonując szkielet:

<?xml version="1.0" encoding="UTF-8"?>
<transfer>

</transfer>

W tym momencie musimy jedynie stworzyć zasadę, która będzie brała symbole gramatyczne i przesyłała je z powrotem.

Najpierw musimy zdefiniować kategorie oraz atrybuty. Obydwa fragmenty będą używane do grupowania symboli gramatycznych. Kategorie pozwalają nam na grupowanie symboli, które pasują do pewnego wzorca (dla przykładu 'n.*' dla wszystkich rzeczowników). Atrybuty z kolei utworzą grupę symboli, z których będziemy mogli w przyszłości korzystać.

Dodajmy wiec niezbędne sekcje:

<section-def-cats>

</section-def-cats>
<section-def-attrs>

</section-def-attrs>

Ponieważ odmieniamy jedynie rzeczowniki w liczbie pojedynczej i mnogiej to potrzebujemy dodać osobną kategorię dla rzeczowników, razem z atrybutem liczby. Coś takiego powinno wystarczyć:

W section-def-cats dodaj:

<def-cat n="nom">
   <cat-item tags="n.*"/>
</def-cat>

Ten fragment kodu wyłapuje wszystkie rzeczowniki (lemmy i następujące po nich <n>), i odnosi się do nich, jako "nom"y (później zobaczymy jak tego używać).

W sekcji section-def-attrs, dodaj:

<def-attr n="nbr">
   <attr-item tags="sg"/>
   <attr-item tags="pl"/>
</def-attr>

a następnie

<def-attr n="a_nom">
   <attr-item tags="n"/>
</def-attr>

Pierwsza dodaje atrybut "nbr" (liczbę), która może być liczbą pojedynczą (sg) lub mnogą pl).

Druga definiuje atrybut a_nom (atrybut rzeczownika).

Następnie musimy dodać sekcje dla globalnych zmiennych:

<section-def-vars>

</section-def-vars>

Te zmienne będą używane do przechowywania lub przenoszenia atrybutów pomiędzy zasadami. Na razie wystarczy nam tylko jedna zmienna

<def-var n="number"/>

Na koniec musimy dodać zasadę, która pobierze rzeczownik i zwróci go w odpowiedniej formie. Musimy zatem dodać sekcję zasad...

<section-rules>

</section-rules>

Zwiększymy trochę tempo, najpierw wklejając poniższy kod a dopiero potem go omawiając.

<rule>
   <pattern>
     <pattern-item n="nom"/>
   </pattern>
   <action>
     <out>
       <lu>
         <clip pos="1" side="tl" part="lem"/>
         <clip pos="1" side="tl" part="a_nom"/>
         <clip pos="1" side="tl" part="nbr"/>
       </lu>
     </out>
   </action>
</rule>

Pierwszy tag jest oczywisty, po prostu definiuje zasadę. Drugi mówi: "zastosują tą zasadę, jeżeli pasuje do wzorca". W tym przykładzie wzorzec składa się z pojedynczego rzeczownika (zdefiniowany przez kategorię "nom"). Zwróć uwagę, że wzorce są dostosowywane w kolejności od najdłuższego pasującego. Więc jeśli masz trzy zasady: pierwszą łapiącą "<prn><vblex><n>", drugą łapiącą "<prn><vblex>" i trzecią łapiącą "<n>", pierwszą zastosowaną regułą będzie właśnie reguła pierwsza.

Dla każdego wzorca jest odpowiadająca jej akcja, która tworzy odpowiadający wynik na wyjściu będący jednostką leksykalną (lu). Zaciskające tagi (clip tags) pozwalają użytkownikowi na wybranie i manipulowanie na atrybutach i elementach języka źródłowego (side="sl") lub docelowego (side="tl") elementu leksykalnego.

Spróbujmy więc to skompilować i przetestować. Zasady transferu kompilujemy za pomocą:

$ apertium-preprocess-transfer apertium-sh-en.sh-en.t1x sh-en.t1x.bin

Które powinno wygenerować plik sh-en.t1x.bin.

Jesteśmy już gotowi do przystąpienia to fazy testowania. Pominęliśmy jednak bardzo ważną część kodu, a mianowicie tagger part-of-speech (PoS), jednak omówimy to później. Na razie możemy przetestować to, co mamy.

Najpierw zanalizujmy słowo gramofoni:

$ echo "gramofoni" | lt-proc sh-en.automorf.bin 
^gramofon/gramofon<n><pl>$

W normalnych warunkach tagger PoS powinien wybrać prawidłową wersję analizując część mowy, jednak ponieważ go nie zaimplementowaliśmy, użyjemy tego skryptu (podziękowania dla Sergio), który powinien zwrócić tylko odpowiednią wersje.

$ echo "gramofoni" | lt-proc sh-en.automorf.bin | \
  gawk 'BEGIN{RS="$"; FS="/";}{nf=split($1,COMPONENTS,"^"); for(i = 1; i<nf; i++) printf COMPONENTS[i]; if($2 != "") printf("^%s$",$2);}'
^gramofon<n><pl>$

Wykorzystamy to razem z zasadami transferu:

$ echo "gramofoni" | lt-proc sh-en.automorf.bin | \
  gawk 'BEGIN{RS="$"; FS="/";}{nf=split($1,COMPONENTS,"^"); for(i = 1; i<nf; i++) printf COMPONENTS[i]; if($2 != "") printf("^%s$",$2);}' | \
  apertium-transfer apertium-sh-en.sh-en.t1x sh-en.t1x.bin sh-en.autobil.bin

Powinniśmy otrzymać:

^gramophone<n><pl>$^@
  • 'gramophone' jest w języku docelowym (side="tl") lemma (lem) na pozycji pierwszej (pos="1").
  • '<n>' jest a_nom na pozycji pierwszej w języku docelowym.
  • '<pl>' jest atrybutem numeru (nbr) na pozycji pierwszej w języku docelowym.

Spróbuj zamienić jedną z zasad na komentarz, skompilować i zobaczyć co się stanie.

Mamy teraz rezultat z wyjścia, ostatnią rzeczą jaką musimy się zająć jest wygenerowanie odmienionych form języka docelowego. Do wykonania tej czynności użyjemy lt-proc, w rybie generacji (-g), a nie w trybie analizy (-a).

$ echo "gramofoni" | lt-proc sh-en.automorf.bin | \
  gawk 'BEGIN{RS="$"; FS="/";}{nf=split($1,COMPONENTS,"^"); for(i = 1; i<nf; i++) printf COMPONENTS[i]; if($2 != "") printf("^%s$",$2);}' | \
  apertium-transfer apertium-sh-en.sh-en.t1x sh-en.t1x.bin sh-en.autobil.bin | \
  lt-proc -g sh-en.autogen.bin

gramophones\@

Masz teraz przed sobą system tłumaczenia maszynowego, który tłumaczy rzeczownik w języku serbsko-chorwackim na rzeczownik angielski. Oczywiście nie jest to szczególnie przydatne, ale niedługo przejdziemy do bardziej skomplikowanych rzeczy. Nie przejmuj się symbolem '@', później wyjaśnimy sobie do czego służy i jak go używać.

Pomyśl o kilku innych przykładach rzeczowników, odmieniających się w ten sam sposób co rzeczownik gramofon. Spróbuj dodać je do słownika. Nie musimy dodawać żadnych paradygmatów, wystarczy tylko dodać wpisy w głównych sekcjach słownika jednojęzycznego i dwujęzycznego.

Pora na czasowniki

Ok, mamy system, który tłumaczy rzeczowniki, ale jest to trochę bezużyteczne, chcemy też przecież tłumaczyć czasowniki, a nawet całe zdania! Może na początek zaczniemy z tłumaczeniem czasowników. W serbsko-chorwackim czasownik nazywa się videti.

Serbo-Croatian is a null-subject language, this means that it doesn't typically use personal pronouns before the conjugated form of the verb. English is not. So for example: I see in English would be translated as vidim in Serbo-Croatian.

  • Vidim
  • see<p1><sg>
  • I see

Note: <p1> denotes first person

To będzie bardzo ważne, gdy będziemy pisali zasadę transferu dla czasowników. Inne przykłady języków "null-subject" obejmują: Hiszpański, Rumuński i Polski. Wynika to także z tego, że, gdy w serbsko-chorwackim słowniku morfologicznym musimy dodać tylko czasownik, w angielskim słowniku morfologicznym musimy dodać czasownik i zaimek osobowy. Przeanalizujemy oba sposoby.


The other forms of the verb videti are: vidiš, vidi, vidimo, vidite, and vide; which correspond to: you see (singular), he sees, we see, you see (plural), and they see.

There are two forms of you see, one is plural and formal singular (vidite) and the other is singular and informal (vidiš).

We're going to try and translate the sentence: "Vidim gramofoni" into "I see gramophones". In the interests of space, we'll just add enough information to do the translation and will leave filling out the paradigms (adding the other conjugations of the verb) as an exercise to the reader.

The astute reader will have realised by this point that we can't just translate vidim gramofoni because it is not a grammatically correct sentence in Serbo-Croatian. The correct sentence would be vidim gramofone, as the noun takes the accusative case. We'll have to add that form too, no need to add the case information for now though, we just add it as another option for plural. So, just copy the 'e' block for 'i' and change the 'i' to 'e' there.

First thing we need to do is add some more symbols. We need to first add a symbol for 'verb', which we'll call "vblex" (this means lexical verb, as opposed to modal verbs and other types). Verbs have 'person', and 'tense' along with number, so lets add a couple of those as well. We need to translate "I see", so for person we should add "p1", or 'first person', and for tense "pri", or 'present indicative'.

<sdef n="vblex"/>
<sdef n="p1"/>
<sdef n="pri"/>

After we've done this, the same with the nouns, we add a paradigm for the verb conjugation. The first line will be:

<pardef n="vid/eti__vblex">

The '/' is used to demarcate where the stems (the parts between the <l> </l> tags) are added to.

Then the inflection for first person singular:


<e><p><l>im</l><r>eti<s n="vblex"/><s n="pri"/><s n="p1"/><s n="sg"/></r></p></e>

The 'im' denotes the ending (as in 'vidim'), it is necessary to add 'eti' to the <r> section, as this will be chopped off by the definition. The rest is fairly straightforward, 'vblex' is lexical verb, 'pri' is present indicative tense, 'p1' is first person and 'sg' is singular. We can also add the plural which will be the same, except 'imo' instead of 'im' and 'pl' instead of 'sg'.

After this we need to add a lemma, paradigm mapping to the main section:

<e lm="videti"><i>vid</i><par n="vid/eti__vblex"/></e>

Note: the content of <i> </i> is the root, not the lemma.

Thats the work on the Serbo-Croatian dictionary done for now. Lets compile it then test it.

$ lt-comp lr apertium-sh-en.sh.dix sh-en.automorf.bin
main@standard 23 25
$ echo "vidim" | lt-proc sh-en.automorf.bin
^vidim/videti<vblex><pri><p1><sg>$
$ echo "vidimo" | lt-proc sh-en.automorf.bin
^vidimo/videti<vblex><pri><p1><pl>$

Ok, so now we do the same for the English dictionary (remember to add the same symbol definitions here as you added to the Serbo-Croatian one).

The paradigm is:

<pardef n="s/ee__vblex">

because the past tense is 'saw'. Now, we can do one of two things, we can add both first and second person, but they are the same form. In fact, all forms (except third person singular) of the verb 'to see' are 'see'. So instead we make one entry for 'see' and give it only the 'pri' symbol.


<e><p><l>ee</l><r>ee<s n="vblex"/><s n="pri"/></r></p></e>

and as always, an entry in the main section:

<e lm="see"><i>s</i><par n="s/ee__vblex"/></e>

Then lets save, recompile and test:

$ lt-comp lr apertium-sh-en.en.dix en-sh.automorf.bin
main@standard 18 19

$ echo "see" | lt-proc en-sh.automorf.bin
^see/see<vblex><pri>$

Now for the obligatory entry in the bilingual dictionary:

<e><p><l>videti<s n="vblex"/></l><r>see<s n="vblex"/></r></p></e>

(again, don't forget to add the sdefs from earlier)

And recompile:

$ lt-comp lr apertium-sh-en.sh-en.dix sh-en.autobil.bin
main@standard 18 18
$ lt-comp rl apertium-sh-en.sh-en.dix en-sh.autobil.bin
main@standard 18 18

Now to test:

$ echo "vidim" | lt-proc sh-en.automorf.bin | \
  gawk 'BEGIN{RS="$"; FS="/";}{nf=split($1,COMPONENTS,"^"); for(i = 1; i<nf; i++) printf COMPONENTS[i]; if($2 != "") printf("^%s$",$2);}' | \
  apertium-transfer apertium-sh-en.sh-en.t1x sh-en.t1x.bin sh-en.autobil.bin

^see<vblex><pri><p1><sg>$^@

We get the analysis passed through correctly, but when we try and generate a surface form from this, we get a '#', like below:

$ echo "vidim" | lt-proc sh-en.automorf.bin | \
  gawk 'BEGIN{RS="$"; FS="/";}{nf=split($1,COMPONENTS,"^"); for(i = 1; i<nf; i++) printf COMPONENTS[i]; if($2 != "") printf("^%s$",$2);}' | \
  apertium-transfer apertium-sh-en.sh-en.t1x sh-en.t1x.bin sh-en.autobil.bin | \
  lt-proc -g sh-en.autogen.bin
#see\@

This '#' means that the generator cannot generate the correct lexical form because it does not contain it. Why is this?

Basically the analyses don't match, the 'see' in the dictionary is see<vblex><pri>, but the see delivered by the transfer is see<vblex><pri><p1><sg>. The Serbo-Croatian side has more information than the English side requires. You can test this by adding the missing symbols to the English dictionary, and then recompiling, and testing again.

However, a more paradigmatic way of taking care of this is by writing a rule. So, we open up the rules file (apertium-sh-en.sh-en.t1x sh-en.t1x.bin sh-en.autobil.bin in case you forgot).

We need to add a new category for 'verb'.

<def-cat n="vrb">
   <cat-item tags="vblex.*"/>
</def-cat>

We also need to add attributes for tense and for person. We'll make it really simple for now, you can add p2 and p3, but I won't in order to save space.

<def-attr n="temps">
   <attr-item tags="pri"/>
</def-attr>

<def-attr n="pers">
   <attr-item tags="p1"/>
</def-attr>

We should also add an attribute for verbs.

<def-attr n="a_verb">
   <attr-item tags="vblex"/>
</def-attr>

Now onto the rule:

<rule>
   <pattern>
     <pattern-item n="vrb"/>
   </pattern>
   <action>
     <out>
       <lu>
         <clip pos="1" side="tl" part="lem"/>
         <clip pos="1" side="tl" part="a_verb"/>
         <clip pos="1" side="tl" part="temps"/>
       </lu>
     </out>
   </action>
</rule>

Remember when you tried commenting out the 'clip' tags in the previous rule example and they disappeared from the transfer, well, thats pretty much what we're doing here. We take in a verb with a full analysis, but only output a partial analysis (lemma + verb tag + tense tag).

So now, if we recompile that, we get:

$ echo "vidim" | lt-proc sh-en.automorf.bin | \
  gawk 'BEGIN{RS="$"; FS="/";}{nf=split($1,COMPONENTS,"^"); for(i = 1; i<nf; i++) printf COMPONENTS[i]; if($2 != "") printf("^%s$",$2);}' | \
  apertium-transfer apertium-sh-en.sh-en.t1x sh-en.t1x.bin sh-en.autobil.bin
^see<vblex><pri>$^@

and:

$ echo "vidim" | lt-proc sh-en.automorf.bin  | \
  gawk 'BEGIN{RS="$"; FS="/";}{nf=split($1,COMPONENTS,"^"); for(i = 1; i<nf; i++) printf COMPONENTS[i]; if($2 != "") printf("^%s$",$2);}' | \
  apertium-transfer apertium-sh-en.sh-en.t1x sh-en.t1x.bin sh-en.autobil.bin | \
  lt-proc -g sh-en.autogen.bin
see\@

Try it with 'vidimo' (we see) to see if you get the correct output.

Now try it with "vidim gramofone":

$ echo "vidim gramofoni" | lt-proc sh-en.automorf.bin | \
  gawk 'BEGIN{RS="$"; FS="/";}{nf=split($1,COMPONENTS,"^"); for(i = 1; i<nf; i++) printf COMPONENTS[i]; if($2 != "") printf("^%s$",$2);}' | \
  apertium-transfer apertium-sh-en.sh-en.t1x sh-en.t1x.bin sh-en.autobil.bin | \
  lt-proc -g sh-en.autogen.bin
see gramophones\@

But what about personal pronouns?

Well, thats great, but we're still missing the personal pronoun that is necessary in English. In order to add it in, we first need to edit the English morphological dictionary.

As before, the first thing to do is add the necessary symbols:

<sdef n="prn"/>
<sdef n="subj"/>

Of the two symbols, prn is pronoun, and subj is subject (as in the subject of a sentence).

Because there is no root, or 'lemma' for personal subject pronouns, we just add the pardef as follows:

<pardef n="prsubj__prn">
   <e><p><l>I</l><r>prpers<s n="prn"/><s n="subj"/><s n="p1"/><s n="sg"/></r></p></e>
</pardef>

With 'prsubj' being 'personal subject'. The rest of them (You, We etc.) are left as an exercise to the reader.

We can add an entry to the main section as follows:

<e lm="personal subject pronouns"><i/><par n="prsubj__prn"/></e>

So, save, recompile and test, and we should get something like:

$ echo "I" | lt-proc en-sh.automorf.bin
^I/PRPERS<prn><subj><p1><sg>$

(Note: it's in capitals because 'I' is in capitals).

Now we need to amend the 'verb' rule to output the subject personal pronoun along with the correct verb form.

First, add a category (this must be getting pretty pedestrian by now):

<def-cat n="prpers">
   <cat-item lemma="prpers" tags="prn.*"/>
</def-cat>

Now add the types of pronoun as attributes, we might as well add the 'obj' type as we're at it, although we won't need to use it for now:

<def-attr n="tipus_prn">
   <attr-item tags="prn.subj"/>
   <attr-item tags="prn.obj"/>
</def-attr>

And now to input the rule:

<rule>
   <pattern>
     <pattern-item n="vrb"/>
   </pattern>
   <action>
     <out>
       <lu>
         <lit v="prpers"/>
         <lit-tag v="prn"/>
         <lit-tag v="subj"/>
         <clip pos="1" side="tl" part="pers"/>
         <clip pos="1" side="tl" part="nbr"/>
       </lu>
       <b/>
       <lu>
         <clip pos="1" side="tl" part="lem"/>
         <clip pos="1" side="tl" part="a_verb"/>
         <clip pos="1" side="tl" part="temps"/>
       </lu>
     </out>
   </action>
</rule>

This is pretty much the same rule as before, only we made a couple of small changes.

We needed to output:

^prpers<prn><subj><p1><sg>$ ^see<vblex><pri>$

so that the generator could choose the right pronoun and the right form of the verb.

So, a quick rundown:

  • <lit>, prints a literal string, in this case "prpers"
  • <lit-tag>, prints a literal tag, because we can't get the tags from the verb, we add these ourself, "prn" for pronoun, and "subj" for subject.
  • , prints a blank, a space.

Note that we retrieved the information for number and tense directly from the verb.

So, now if we recompile and test that again:

$ echo "vidim gramofone" | lt-proc sh-en.automorf.bin  | \
  gawk 'BEGIN{RS="$"; FS="/";}{nf=split($1,COMPONENTS,"^"); for(i = 1; i<nf; i++) printf COMPONENTS[i]; if($2 != "") printf("^%s$",$2);}' | \
  apertium-transfer apertium-sh-en.sh-en.t1x sh-en.t1x.bin sh-en.autobil.bin | \
  lt-proc -g sh-en.autogen.bin
I see gramophones

Which, while it isn't exactly prize-winning prose (much like this HOWTO), is a fairly accurate translation.

So tell me about the record player (Multiwords)

While gramophone is an English word, it isn't the best translation. Gramophone is typically used for the very old kind, you know with the needle instead of the stylus, and no powered amplification. A better translation would be 'record player'. Although this is more than one word, we can treat it as if it is one word by using multiword (multipalabra) constructions.

We don't need to touch the Serbo-Croatian dictionary, just the English one and the bilingual one, so open it up.

The plural of 'record player' is 'record players', so it takes the same paradigm as gramophone (gramophone__n) — in that we just add 's'. All we need to do is add a new element to the main section.

<e lm="record player"><i>record<b/>player</i><par n="gramophone__n"/></e>

The only thing different about this is the use of the tag, although this isn't entirely new as we saw it in use in the rules file.

So, recompile and test in the orthodox fashion:

$ echo "vidim gramofone" | lt-proc sh-en.automorf.bin | \
  gawk 'BEGIN{RS="$"; FS="/";}{nf=split($1,COMPONENTS,"^"); for(i = 1; i<nf; i++) printf COMPONENTS[i]; if($2 != "") printf("^%s$",$2);}' | \
  apertium-transfer apertium-sh-en.sh-en.t1x sh-en.t1x.bin sh-en.autobil.bin  | \
  lt-proc -g sh-en.autogen.bin
I see record players

Perfect. A big benefit of using multiwords is that you can translate idiomatic expressions verbatim, without having to do word-by-word translation. For example the English phrase, "at the moment" would be translated into Serbo-Croatian as "trenutno" (trenutak = moment, trenutno being adverb of that) — it would not be possible to translate this English phrase word-by-word into Serbo-Croatian.

Radzenie sobie z dialektami

Serbko-Chorwacki typowo posiada kilka dróg do zapisania każdego słowa, z powodu różnych dialektów. Posiada fajny system zapisywania fonetycznego więc morzesz pisać tak jak wymawiasz.

Analizer

Nie powinno być trudnę stworzenie czegoś takiego, prawda? I nie jest, można to wykonać też za pomocą parydgmatów. Nie są tylko do dodawania gramatycznych symboli, ale mogą być też używane do zamieniania dowolnego znaku/symbolu w inny. DLa przykładu, tutaj jest paradygmat który akceptuje "e" i "je" w analizie. Ten paradygmat powinien, trafić z innymi do jednojęzycznego słownika Serbsko-Chorwackiego.

  <pardef n="e_je__yat">
    <e>
      <p>
        <l>e</l>
        <r>e</r>
      </p>
    </e>
    <e>
      <p>
        <l>je</l>
        <r>e</r>
      </p>
    </e>
  </pardef>

Następnie w głównej sekcji:

    <e lm="rečnik"><i>r</i><par n="e_je__yat"/><i>čni</i><par n="rečni/k__n"/></e>

To pozwala tylko do analizy tych dwóch form, jednakże... czeka nas więcej pracy jeżeli chcemy generować obydwie formy.

Generator

Zobacz też