Difference between revisions of "HFST ile yeni bir dile başlamak"

From Apertium
Jump to navigation Jump to search
Line 306: Line 306:
 
</pre>
 
</pre>
   
  +
===Kesişen Birleşimin Gücü İle===
===With the power of intersecting composition!===
 
  +
Son dönüştürücüyü elde etmek için, yapmamız gereken şey morphographemic model (<code>twol</code>) ile morphotactic model'i(<code>lexc</code>) birleştirmek. Bunu yapmanın bir yolu oldukça etkin olan "intersecting composition". HFST'de kullanacağımız <code>hfst-compose-intersect</code> isimli bir araç da var.
 
In order to get the final transducer, what we need to do is combine the morphotactic model (<code>lexc</code>) with the morphographemic model (<code>twol</code>). There is a way of doing this called "intersecting composition" which is fairly efficient. There is also a tool in HFST called <code>hfst-compose-intersect</code> which is what we'll be using.
 
 
 
<pre>
 
<pre>
 
$ hfst-compose-intersect -1 tr-tk.lexc.hfst -2 tr-tk.twol.hfst -o tr-tk.autogen.hfst
 
$ hfst-compose-intersect -1 tr-tk.lexc.hfst -2 tr-tk.twol.hfst -o tr-tk.autogen.hfst
 
</pre>
 
</pre>
   
  +
Şimdi son dönüştürücümüzü test edebiliriz:
Now we can test the final transducer:
 
   
 
<pre>
 
<pre>
Line 324: Line 322:
 
</pre>
 
</pre>
   
  +
Harika!! İstediğimiz formlara ulaştık!!!.
Great!! We have the desired forms.
 
   
 
==Analysis and generation==
 
==Analysis and generation==

Revision as of 16:22, 10 December 2011

HFST'nin kurulumu hakkında bilgi için, HFST'ye bakınız.

Bu sayfa HFST ile yeni bir dile nasıl başlanılacağını hakkında bilgi verecek. Burada lexc ve twol biçimciliklerine bazı referanslar var, örneğin FSMBook, ana bunların çoğu özel Xerox uygulamalarıyla ilgilidir, ücretsiz HFST uygulamasıyla ilgili değildir.

Güncel biçimcilikler daha çok veya daha az farklı iken, onları derlemek için kullanılar komutların aynı olması şart değil. HFST Unix ile daha çok uyumlu bir felsefeye sahip. Bu yüzden bunun avantajlarını kullanacağız. Hint-Avrupa dillerinin çoğuyla ve yalınlayan dillerle lttoolbox ile kurallara uygun bir şekilde ve kolayca uğraşılabilir. biz ise bu dil ailelerinden olmayan bir dil ile uğraşacağız, ve karışık bir morpolojiye(yapı bilimine) sahip lttoolbox ile kolayca uğraşılamacak bir dil.

Başlangıç

Diğer dosya twol veya xfst dosyası olabilir. Bir morfolojik dönüştürücü olan HFST iki temel ilkeye sahiptir, bunlardan biri lexc dosyası. Bu, bu dildeki morfemlerin(anlambirimler) biçim dizgeleriyle birlikte nasıl katılacağını, ekleneceğini tanımlar. Diğer dosya twol veya xfst dosyası olabilir. These describe what changes happen when these morphemes are joined together, morphographemics or morphophonology . For example, Bu, morfemler morphographemics (veya "morphophonology") ile birlikte eklenildiğinde gerçekleşecek değişiklikleri tanımlar.

Morphotactics: wolf<n><pl>wolf + s
Morphographemics: wolf + swolves

Burada twol ile ilişkilendireceğiz. Eğer xfst ile ilgileniyorsan, Foma'nın sitesinde güzel bir öğretici ders var.

Bir sonraki bölümde lexicon ile (lexc dosyası ile) başlayacağız ve morphographemics (twol dosyası) ile devam edeceğiz.

Bunun için HFST3'ü derlediğinizden emin olmasınız.

Dil

Üzerinde çalışacağımız dil çifti Türkçe--Türkmence. Şimdi modelleyeceğimiz dil Türkmence, Türkmenistan'da konuşulan bir dil. Üzerinde çalışacağımız dil çifti Türkçe--Türkmence. İsim kategorisin basit bir çekimlemesini yapacağız. Türkmen isimlerinin basit çekimlemesi şöyledir: Altı isim hali, iki çoğul eki, ve iyelik hali. Ekler kelimenin sonundaki bir ünlü ya da ünsüz harfe bağlı olarak farklı durumlarda olabilirler.

Ünlü Uyumu

Çok basitleştirecek olursak,[1] Türkmence'deki kelime kökleri iki tür olabilir, kalın ünlü kelimesi gövdesi, ya da ince ünlü gövdesi. Kalın ünlü gövdesi, örneğin "mugallym" "öğretmen" sadece kalın ünlüsü olan bir kelime, ve ince ünlü gövdesi, örneğin kädi "kabak" sadece ince ünlüsü olan bir kelime.Türkmence'deki kalın ünlüler: "a, y, o" ve "u". İnce ünlüler: ä, e, i, ö, ve ü.

Kelimenin gövdesine bir ek ekleneceği zaman, eke koyacağımız doğru ünlüyü seçmek için gövdedeki hangi ünlülerin olduğunu bilmemiz gerekiyor.

Çoğul Eki

Türkmence'de kelime ya tekildir(ek olmadığı yerde) ya da çoğuldur -lar" yada -ler ekinin olduğu yerde. İlki kalın ünlüler ile kullanılır, ikincisi de ince ünlüler ile kullanılır.

Durum Halleri

Durum hallerini için ekleri göstermenin altında daha sıkı ve kısa bir gösterim kullanırız. { ve } aralarında eklerdeki ünlü değişimleri, ( ve ) aralarında ise ünlü türemelerini gösteririz.

Durum Ek Kullanım Örnek
V C V C
Yalın Cümlenin öznesini belirtir pagta gazan
Sahiplik -n{y,i,u,ü}ň -{y,i,u,ü}ň Şahıs belirtir pagtanyň gazanyň
Yönelme -{a,ä} , -n{a,e} -{a,e} Dolaylı tümleç pagta gazana
Belirtme -n{y,i} -{y,i} Nesne pagtany gazany
Bulunma -(n)d{a,e} -d{a,e} Yer/Zaman pagtada gazanda
Ayrılma -(n)d{a,e}n -d{a,e}n Nereden çıktığını belirtir pagtadan gazandan

Çekim Örneği

Not: Bu iyelik halini içermiyor.

maşgala "aile"
Durum Tekil Çoğul
Yalın maşgala maşgalalar
Sahiplik maşgalanyň maşgalalaryň
Yönelme maşgala maşgalalara
Belirtme maşgalany maşgalalary
Bulunma maşgalada maşgalalarda
Ayrılma maşgaladan maşgalalardan
esger "asker"
Durum Tekil Çoğul
Yalın esger esgerler
Sahiplik esgeriň esgerleriň
Yönelme esgere esgerlere
Belitme esgeri esgerleri
Bulunma esgerde esgerlerde
Ayrılma esgerden esgerlerden

Lexicon

Küçük bir tanıtımdan sonra, lexicon ile başlayalım. Yapacağımız dosyanın ismi apertium-tr-tk.tk.lexc, ve o dönüştürücümüzün lexicon'unu içerecek. Şimdi text editörünü açınız.

Temeller

Tanımlamamız gereken ilk şey üretmek istediğimiz etiketler. lttoolbox'da, bu <.dix> dosyasının <sdefs> bölümünde doğrudan yapılır.

Multichar_Sembolleri

%<n%>   ! İsim
%<nom%> ! Yalın Hal
%<pl%>  ! Çoğul

< ve > sembolleri lexc'in içinde tutulur, bu yüzden % ile çıkmaya ihtiyacımız var.

Tanımlamamız gereken bir diğer şey ise Lexicon NounStems kodunun içinde isim köklerinin listesini gösterecek bir Root lexicon'udur.


LEXICON Root

NounStems ;

Şimdi iki kelimemizi ekleyelim:

LEXICON NounStems

maşgala Ninfl ; ! "family"
esger Ninfl ;   ! "soldier"

Önce isim kökünü koyduk, ve sahip olduğu paradigm(çekim örneği) koyduk, Ninfl yolluyla, ve son olarak, bir komutla(! komut sembolüdür) derleriz.

Ve çekimin en temelini tanımlamak, <n> ile bir isim belirtmek için isim kökünü etiketlemek:

LEXICON Ninfl

%<n%>: # ;

Bu LEXICON, NounStems lexiconundan önce konulmalıdır. # sembolü sözcüğün sonudur. Bunu koymak çok önemlidir, bu dönüştürücünün nerede duracağını söyler.

Derlemek

Şimdi temel bir lexicon'umuz var, derleyelim ve test edelim. hfst-lexc ile derleriz:

$ hfst-lexc apertium-tr-tk.tk.lexc -o tk-tr.lexc.hfst

(Eğer bilgisayarınızda hfst-lexc kurulu değlse, muhtemelen sorunlar çıkacaktır. --enable-lexc ile derlemeniz gerekir, ama hfst-lexc'nin yerine code>hfst-lexc2fst'yi de kullanabilirsiniz.)

Ve hfst-fst2strings ile test edelim:

$ hfst-fst2strings tk-tr.lexc.hfst 
maşgala<n>:maşgala
esger<n>:esger

Lexica'nın devamı

Şimdi, maşgala ve esger kelimelerinin isim olduğunu tanımlanayı başardık, peki ya çekim. Bunlar lttoolbox'daki 'paradigms(çekim örnekleri) gibi.

Türkmen isminin temel morphotactics(biçim dizgesi):

stem plural? possessive? case copula?

? isteğe bağlı olarak belirtilir. Burada tekil-çoğul ve durum halleriyle çalışıyoruz, bu yüzden çekimi tanımlayalım, ilk olarak tekil-çoğul ile başlayabiliriz. Dosyanın LEXICON Ninfl bölümünde, bir sonraki satırda:

%<n%>%<pl%>:%>l%{A%}r # ;

Oov, Bu çol karışık gözüküyor. Belki, ama her bölüm gerekli, şimdi onları tanımlayalım:

Bölüm Tanımı
%<n%>%<pl%> Soldaki bölüm çözümlemeyi tanımlar, bu durumda isim, çoğul. Not, bu çözümlemenin sağ tarafta yapıldığı lttoolbox'ın tam tersidir.
: : sembolü sağ ve sol tarafı ayırır.
%>%>l%{A%}r Burası bölümlere ayrılmış yüzeysel formdur:
    %> Morfem sınır ayırıcısı (bunu sonra açıklayacağız, değişikliklerin olabileceği morfemlerin arasına koyarız.
    l%{A%}r Yüzeysel morfem, bu durumda -lar or -ler
    %{A%} Bir "archivowel"(üst ünlü)... Bir ünlünün 'a veya e olabileceği yer için bir yer tutucu.
# Kelimenin sonu
; Satır sonu

Karışık gözükmesinin bir nedeni de % sembolleri. Eğer onları kaldırırsak, daha okunaklı gözükecektir.

<n><pl>:>l{A}r # ;

Karşılaştırma yapıcak olursak, lttoolbox'da, bu şu şekilde olurdu.

<e><p><l>·l<s n="A"/>r</l><r><s n="n"/><s n="pl"/></e>

Şimdi, çekimlemelerimizin ilkini ekledik, çoğul. Onu test etmeden önce iki şey yapmamız gerekiyor. İlk olarak dosyanın Multichar_Symbols kısmına %{A%} eklememiz gerekiyor, üste çık ve ekle, böyle bir şey almalısınız:

Multichar_Sembolleri

%<n%>   ! Noun
%<nom%> ! Nominative
%<pl%>  ! Plural

%{A%}   ! Archivowel 'a' or 'e'

Şimdi dosyayı kaydet. Yapmamız gereken ikinci şey ise yeniden derlemek:

$ hfst-lexc apertium-tr-tk.tk.lexc > tk-tr.lexc.hfst

Ve test edelim:

$ hfst-fst2strings tk-tr.lexc.hfst 
maşgala<n><pl>:maşgala>l{A}r
maşgala<n>:maşgala
esger<n><pl>:esger>l{A}r
esger<n>:esger

Tamam, çok iyi, ama bir yönden de kötü, bunlar gerçek yüzey formlar değil. Biz herhangi bir textte asla esger>l{A}r görmeyiz. Aradığımız for esgerler. Peki ya onu nasıl yapabiliriz?

Enter twol

twol'un ana fikri lexc ile üretilmiş yüzeysel formları almak ve kuralları uygulayıp gerçek yüzeysel forma dönüştürmek. İşte burası-l{A}r ı alıp -lar veya -ler yapacağımız yer. Biz temel olarak "eğer kelime kökü ince ünlü içeriyorsa, ince ünlüye değişim istiyoruz, ve eğer kelime kökü kalın ünlü içeriyorsa, kalın ünlü değişimi istiyoruz" diyebiliyoruz. Aynı zamanda, morfem sonunu kaldırırız. Şimdi bir deneyelim.

Şimdi apertium-tr-tk.tk.twol adlı bir dosya yapacağız.

İlk olarak alfabeyi tanımlamamız gerekiyor:

Alphaet
 A B Ç D E Ä F G H I J Ž K L M N Ň O Ö P R S Ş T U Ü W Y Ý Z
 a b ç d e ä f g h i j ž k l m n ň o ö p r s ş t u ü w y ý z
 %{A%}:a ;

Büyük ve küçük harfleri ayrı satırlarda tanımlamanıza gerek yok, ancak bu daha temiz ve okunaklı yapıyor.

Biz şunu da tanımlamak istiyoruz, ne olursa olsun, morfem sonlarını ; yüzeysel formlardan kaldırmak istiyoruz, bu yüzden bir sonraki satıra, küçük harf satırının altına, ; öncesinde şunu ekleyiniz:

 %>:0 

Burası, morphotactic formun sol kısmı, ve sağ kısmı da yüzeysel form. %>:0 yapmak, %> kodunu 0 koduna çevirir. 0 sembolü çıktı değildir.

Şimdi, son alfabe görünümü bunun gibi olmalıdır:

Alphabet
 A B Ç D E Ä F G H I J Ž K L M N Ň O Ö P R S Ş T U Ü W Y Ý Z
 a b ç d e ä f g h i j ž k l m n ň o ö p r s ş t u ü w y ý z
 %{A%}:a %>:0  ;

Şimdi onunla çalışmak için bazı "sets" tanımlamamız gerekiyor, bunlar temel olarak özelliklere çeviri yöntemleri vermek içindir, örneğin kurallarda bahsedeceğimiz "back vowel"(kalın ünlü) ve "front vowel"(ince ünlü).

Sets

Consonant = B Ç D F G H J Ž K L M N Ň P R S Ş T W Z
            b ç d f g h j ž k l m n ň p r s ş t w z ; 
Vowel =     A E Ä I O Ö U Ü Y Ý 
            a e ä i o ö u ü y ý ;
FrontVowel = Ä E I Ö Ü ä e i ö ü ;  
BackVowel = A Y O U a y o u ;
NonBack = Consonant FrontVowel %> ;
NonFront = Consonant BackVowel %> ; 

Şimdi yüklenecek her şeye sahibiz, kural eklemek için, yeni bir bölüm var, Rules:

Rules
  
"Front harmony in suffixes"
%{A%}:e <=> FrontVowel: NonBack:* %>: NonBack:* _ ;

Kural esas olarak şöyle diyor: "Eğer önceki harfler kalın ünlüler bekliyorsa, yani kalın ünlü gelecekse, {A}'nın yerine e koy, devamında bir morfem sonu var, ondan sonra kalın ünlü yok, ve bir yerde bir ince ünlü var."

Şimdi ise, kuralı derlemek ve test etmek:

$ hfst-twolc -R -i apertium-tr-tk.tk.twol -o tk-tr.twol.hfst
Reading input from tk.twol.
Writing output to tk.twol.hfst.
Reading alphabet.
Reading sets.
Reading rules and compiling their contexts and centers.
Compiling and storing rules.
Compiling rules.
Storing rules.

Kesişen Birleşimin Gücü İle

Son dönüştürücüyü elde etmek için, yapmamız gereken şey morphographemic model (twol) ile morphotactic model'i(lexc) birleştirmek. Bunu yapmanın bir yolu oldukça etkin olan "intersecting composition". HFST'de kullanacağımız hfst-compose-intersect isimli bir araç da var.

$ hfst-compose-intersect -1 tr-tk.lexc.hfst -2 tr-tk.twol.hfst -o tr-tk.autogen.hfst

Şimdi son dönüştürücümüzü test edebiliriz:

$ hfst-fst2strings tr-tk.autogen.hfst
maşgala<n>:maşgala
maşgala<n><pl>:maşgalalar
esger<n>:esger
esger<n><pl>:esgerler

Harika!! İstediğimiz formlara ulaştık!!!.

Analysis and generation

The transducer we made above was for generation, but we can't yet use it with hfst-proc because of the format. If we want to use it with hfst-proc, all we need to do is change the format, with the following command:

$ hfst-fst2fst -O -i tr-tk.autogen.hfst -o tr-tk.autogen.hfst.ol

Now we should be able to generate both of our plurals:

$ echo "^maşgala<n><pl>$" | hfst-proc -g tr-tk.autogen.hfst.ol
maşgalalar

and

$ echo "^esger<n><pl>$" | hfst-proc -g tr-tk.autogen.hfst.ol
esgerler

But what if we want to analyse some words ? Well, then we need to invert the transducer. This is changing the left side to the right side, and the right side to the left side, let's do it in two stages so we can see the results:

$ hfst-invert -i tr-tk.autogen.hfst -o tk-tr.automorf.hfst

$ hfst-fst2strings tk-mor.hfst
maşgala:maşgala<n>
maşgalalar:maşgala<n><pl>
esger:esger<n>
esgerler:esger<n><pl>

As we can see, now the left side is the surface form, and the right side the analysis. Now just to convert the analyser to optimised lookup format:

$ hfst-fst2fst -O -i tk-tr.automorf.hfst -o tk-tr.automorf.hfst.ol

And do some analysis:

$ echo "maşgalalar" | hfst-proc tk-tr.automorf.hfst.ol
^maşgalalar/maşgala<n><pl>$

$ echo "esgerler" | hfst-proc tk-tr.automorf.hfst.ol
^esgerler/esger<n><pl>$

Troubleshooting

Here is a brief troubleshooting checklist for when you do something, but it isn't working:

  • Are all your multicharacter symbols defined ? Including archivowels/consonants. If you think you added them, triple check. This goes for problems in twol as well as in lexc.

Notes

  1. Bu aslında çok karışıktır, bu didaktik örnek için, böyle diyoruz

Further reading