View source for HFST ile yeni bir dile başlamak

{{TOCD}}
:''HFST'nin kurulumu hakkında bilgi için, [[HFST]]'ye bakınız.''

Bu sayfa [[HFST]] ile yeni bir dile nasıl başlanılacağını hakkında bilgi verecek. Burada [[lexc]] ve [[twol]] biçimciliklerine bazı referanslar var, örneğin [http://www.fsmbook.com FSMBook], ana bunların çoğu özel Xerox uygulamalarıyla ilgilidir, ücretsiz HFST uygulamasıyla ilgili değildir.

Güncel biçimcilikler daha çok veya daha az farklı iken, onları derlemek için kullanılar komutların aynı olması şart değil. HFST Unix ile daha çok uyumlu bir felsefeye sahip. Bu yüzden bunun avantajlarını kullanacağız. Hint-Avrupa dillerinin çoğuyla ve yalınlayan dillerle [[lttoolbox]] ile kurallara uygun bir şekilde ve kolayca uğraşılabilir. biz ise bu dil ailelerinden olmayan bir dil ile uğraşacağız, ve karışık bir morpolojiye(yapı bilimine) sahip [[lttoolbox]] ile kolayca uğraşılamacak bir dil.

==Başlangıç==
Diğer dosya <code>twol</code> veya <code>xfst</code> dosyası olabilir.
Bir morfolojik dönüştürücü olan HFST iki temel ilkeye sahiptir, bunlardan biri <code>lexc</code> dosyası. Bu, bu dildeki morfemlerin(anlambirimler) biçim dizgeleriyle birlikte nasıl katılacağını, ekleneceğini tanımlar. Diğer dosya <code>twol</code> veya <code>xfst</code> dosyası olabilir. These describe what changes happen when these morphemes are joined together, ''morphographemics'' or ''morphophonology'' . For example, 
Bu, morfemler ''morphographemics'' (veya "morphophonology") ile birlikte eklenildiğinde gerçekleşecek değişiklikleri tanımlar.
:Morphotactics: <code>wolf<n><pl></code> → <code>wolf + s</code> 
:Morphographemics: <code>wolf + s</code> → <code>wolves</code> 

Burada <code>twol</code> ile ilişkilendireceğiz. Eğer <code>xfst</code> ile ilgileniyorsan,  [[Foma]]'nın sitesinde güzel bir [http://foma.sourceforge.net/dokuwiki/doku.php?id=wiki:morphtutorial öğretici ders] var.

Bir sonraki bölümde lexicon ile  (<code>lexc</code> dosyası ile) başlayacağız ve morphographemics (<code>twol</code> dosyası) ile devam edeceğiz.

Bunun için [[Hfst#Compiling_HFST3|HFST3]]'ü derlediğinizden emin olmasınız.

==Dil==
Üzerinde çalışacağımız dil çifti Türkçe--Türkmence.
Şimdi modelleyeceğimiz dil Türkmence,  Türkmenistan'da konuşulan bir dil. Üzerinde çalışacağımız dil çifti Türkçe--Türkmence. İsim kategorisin basit bir çekimlemesini yapacağız. Türkmen isimlerinin basit çekimlemesi şöyledir: Altı isim hali, iki çoğul eki, ve iyelik hali. Ekler kelimenin sonundaki bir ünlü ya da ünsüz harfe bağlı olarak farklı durumlarda olabilirler.

===Ünlü Uyumu===

Çok basitleştirecek olursak,<ref>Bu aslında çok karışıktır, bu didaktik örnek için, böyle diyoruz</ref> Türkmence'deki kelime kökleri iki tür olabilir, kalın ünlü kelimesi gövdesi, ya da ince ünlü gövdesi. Kalın ünlü gövdesi, örneğin "mugallym" "öğretmen" sadece kalın ünlüsü olan bir kelime, ve ince ünlü gövdesi, örneğin kädi "kabak" sadece ince ünlüsü olan bir kelime.Türkmence'deki kalın ünlüler: "a, y, o" ve "u". İnce ünlüler: ä, e, i, ö, ve ü.

Kelimenin gövdesine bir ek ekleneceği zaman, eke koyacağımız doğru ünlüyü seçmek için gövdedeki hangi ünlülerin olduğunu bilmemiz gerekiyor.

===Çoğul Eki===
Türkmence'de kelime ya tekildir(ek olmadığı yerde) ya da çoğuldur ''-lar" yada ''-ler'' ekinin olduğu yerde. İlki kalın ünlüler ile kullanılır, ikincisi de ince ünlüler ile kullanılır.

===Durum Halleri===
Durum hallerini için ekleri göstermenin altında daha sıkı ve kısa bir gösterim kullanırız.  ''{'' ve ''}'' aralarında eklerdeki ünlü değişimleri,  ''('' ve '')'' aralarında ise [http://en.wikipedia.org/wiki/Epenthetic ünlü türemelerini] gösteririz.

{|class=wikitable
! Durum         !!colspan=2| Ek           !! Kullanım            !!colspan=2| Örnek
|-
!              !! V             !! C !!                          !! V      !! C 
|-
| Yalın   ||               ||     || Cümlenin öznesini belirtir || pagta || gazan
|-
| Sahiplik     || ''-n{y,i,u,ü}ň''  || ''-{y,i,u,ü}ň''  || Şahıs belirtir         || pagta<u>nyň</u> || gaza<u>nyň</u>
|-   
| Yönelme       || ''-{a,ä} , -n{a,e}''  ||  ''-{a,e}''     || Dolaylı tümleç || pagta || gazan<u>a</u>
|- 
| Belirtme   || ''-n{y,i}''  || ''-{y,i}''    || Nesne || pagta<u>ny</u> || gaza<u>ny</u>
|-
| Bulunma     || ''-(n)d{a,e}''  || ''-d{a,e}''    || Yer/Zaman || pagta<u>da</u> || gazan<u>da</u>
|-
| Ayrılma || ''-(n)d{a,e}n''  ||  ''-d{a,e}n''   || Nereden çıktığını belirtir || pagta<u>dan</u> || gazan<u>dan</u>
|-
|}

===Çekim Örneği===

Not: Bu iyelik halini içermiyor.

{|class=wikitable
!colspan=3|''maşgala'' "aile"
|-
! Durum               !! Tekil !! Çoğul 
|-
| '''Yalın'''   || maşgala    || maşgalalar
|-
| '''Sahiplik'''     || maşgalanyň || maşgalalaryň
|-
| '''Yönelme'''       || maşgala || maşgalalara
|-
| '''Belirtme'''   || maşgalany || maşgalalary
|-
| '''Bulunma'''     || maşgalada || maşgalalarda
|-
| '''Ayrılma''' || maşgaladan || maşgalalardan
|-
|}

{|class=wikitable
!colspan=3|''esger'' "asker"
|-
! Durum               !! Tekil !! Çoğul 
|-
| '''Yalın'''   || esger    || esgerler
|-
| '''Sahiplik'''     || esgeriň || esgerleriň
|-
| '''Yönelme'''       || esgere || esgerlere
|-
| '''Belitme'''   || esgeri || esgerleri
|-
| '''Bulunma'''     || esgerde || esgerlerde
|-
| '''Ayrılma''' || esgerden || esgerlerden
|-
|}

==Lexicon==
Küçük bir tanıtımdan sonra, lexicon ile başlayalım. Yapacağımız dosyanın ismi <code>apertium-tr-tk.tk.lexc</code>, ve o dönüştürücümüzün lexicon'unu içerecek. Şimdi text editörünü açınız.

===Temeller===
Tanımlamamız gereken ilk şey üretmek istediğimiz etiketler. [[lttoolbox]]'da, bu <code><.dix></code> dosyasının <code><sdefs></code> bölümünde doğrudan yapılır.

<pre>
Multichar_Sembolleri

%<n%>   ! İsim
%<nom%> ! Yalın Hal
%<pl%>  ! Çoğul
</pre>

<code>&lt;</code> ve <code>&gt;</code> sembolleri <code>lexc</code>'in içinde tutulur, bu yüzden <code>%</code> ile çıkmaya ihtiyacımız var.

Tanımlamamız gereken bir diğer şey ise Lexicon <code>NounStems</code> kodunun içinde isim köklerinin listesini gösterecek bir <code>Root</code> lexicon'udur.
<pre>

LEXICON Root

NounStems ;

</pre>

Şimdi iki kelimemizi ekleyelim:

<pre>
LEXICON NounStems

maşgala Ninfl ; ! "family"
esger Ninfl ;   ! "soldier"
</pre>

Önce isim kökünü koyduk, ve sahip olduğu ''paradigm''(çekim örneği) koyduk, <code>Ninfl</code> yolluyla, ve son olarak, bir komutla(<code>!</code> komut sembolüdür) derleriz.  

Ve çekimin en temelini tanımlamak, <code><n></code> ile bir isim belirtmek için isim kökünü etiketlemek:

<pre>
LEXICON Ninfl

%<n%>: # ;
</pre>

Bu <code>LEXICON</code>, <code>NounStems</code> lexiconundan önce konulmalıdır. <code>#</code> sembolü sözcüğün sonudur. Bunu koymak çok önemlidir, bu dönüştürücünün nerede duracağını söyler.

===Derlemek===
Şimdi temel bir lexicon'umuz var, derleyelim ve test edelim. <code>hfst-lexc</code> ile derleriz:

<pre>
$ hfst-lexc apertium-tr-tk.tk.lexc -o tk-tr.lexc.hfst
</pre>

(Eğer bilgisayarınızda <code>hfst-lexc</code> kurulu değlse, muhtemelen sorunlar çıkacaktır. <code>--enable-lexc</code> ile derlemeniz gerekir,  ama <code>hfst-lexc</code>'nin yerine code>hfst-lexc2fst</code>'yi de kullanabilirsiniz.)

Ve <code>hfst-fst2strings</code> ile test edelim:

<pre>
$ hfst-fst2strings tk-tr.lexc.hfst 
maşgala<n>:maşgala
esger<n>:esger
</pre>

===Lexica'nın devamı===
Şimdi, ''maşgala'' ve ''esger'' kelimelerinin isim olduğunu tanımlanayı başardık, peki ya çekim. Bunlar [[lttoolbox]]'daki 'paradigms''(çekim örnekleri) gibi.

Türkmen isminin temel morphotactics(biçim dizgesi): 

:{{sc|stem}} {{sc|plural?}} {{sc|possessive?}} {{sc|case}}  {{sc|copula?}}

<code>?</code> isteğe bağlı olarak belirtilir. Burada tekil-çoğul ve durum halleriyle çalışıyoruz, bu yüzden çekimi tanımlayalım, ilk olarak tekil-çoğul ile başlayabiliriz. Dosyanın <code>LEXICON Ninfl</code> bölümünde, bir sonraki satırda:

<pre>
%<n%>%<pl%>:%>l%{A%}r # ;
</pre>

Oov, Bu çol karışık gözüküyor. Belki, ama her bölüm gerekli, şimdi onları tanımlayalım:

{|class=wikitable
! Bölüm !! Tanımı
|-
| <code>%&lt;n%&gt;%&lt;pl%&gt;</code>           || Soldaki bölüm çözümlemeyi tanımlar, bu durumda isim, çoğul. Not, bu çözümlemenin sağ tarafta yapıldığı lttoolbox'ın tam tersidir.
|-
| <code>:</code>                                 || <code>:</code> sembolü sağ ve sol tarafı ayırır.
|-
| <code>%&gt;%&gt;l%{A%}r</code>                 || Burası bölümlere ayrılmış yüzeysel formdur:
|-
|&nbsp;&nbsp;&nbsp; <code>%&gt;</code>           || Morfem sınır ayırıcısı (bunu sonra açıklayacağız, değişikliklerin olabileceği morfemlerin arasına koyarız.
|-
|&nbsp;&nbsp;&nbsp; <code>l%{A%}r</code>         || Yüzeysel morfem, bu durumda ''-lar'' or ''-ler''
|-
|&nbsp;&nbsp;&nbsp; <code>%{A%}</code>           || Bir "archivowel"(üst ünlü)... Bir ünlünün 'a'' veya ''e'' olabileceği yer için bir yer tutucu.
|-
| <code>#</code>                                 || Kelimenin sonu
|-
| <code>;</code>                                 || Satır sonu
|-
|}

Karışık gözükmesinin bir nedeni de <code>%</code> sembolleri. Eğer onları kaldırırsak, daha okunaklı gözükecektir.

<pre>
<n><pl>:>l{A}r # ;
</pre>

Karşılaştırma yapıcak olursak, lttoolbox'da, bu şu şekilde olurdu.

<pre>
<e><p><l>·l<s n="A"/>r</l><r><s n="n"/><s n="pl"/></e>
</pre>

Şimdi, çekimlemelerimizin ilkini ekledik, çoğul. Onu test etmeden önce iki şey yapmamız gerekiyor. İlk olarak  dosyanın <code>Multichar_Symbols</code> kısmına <code>%{A%}</code> eklememiz gerekiyor, üste çık ve ekle, böyle bir şey almalısınız: 
<pre>
Multichar_Sembolleri

%<n%>   ! Noun
%<nom%> ! Nominative
%<pl%>  ! Plural

%{A%}   ! Archivowel 'a' or 'e'
</pre>

Şimdi dosyayı kaydet. Yapmamız gereken ikinci şey ise yeniden derlemek:

<pre>
$ hfst-lexc apertium-tr-tk.tk.lexc > tk-tr.lexc.hfst
</pre>

Ve test edelim:

<pre>
$ hfst-fst2strings tk-tr.lexc.hfst 
maşgala<n><pl>:maşgala>l{A}r
maşgala<n>:maşgala
esger<n><pl>:esger>l{A}r
esger<n>:esger
</pre>
Tamam, çok iyi, ama bir yönden de kötü, bunlar gerçek yüzey formlar değil. Biz herhangi bir textte asla ''esger>l{A}r'' görmeyiz. Aradığımız for ''esgerler''.
Peki ya onu nasıl yapabiliriz?

==Enter <code>twol</code>==
<code>twol</code>'un ana fikri lexc ile üretilmiş yüzeysel formları almak ve kuralları uygulayıp gerçek yüzeysel forma dönüştürmek. İşte burası''-l{A}r'' ı alıp ''-lar'' veya ''-ler'' yapacağımız yer.
Biz temel olarak "eğer kelime kökü ince ünlü içeriyorsa, ince ünlüye değişim istiyoruz, ve eğer kelime kökü kalın ünlü içeriyorsa, kalın ünlü değişimi istiyoruz" diyebiliyoruz. Aynı zamanda, morfem sonunu kaldırırız. Şimdi bir deneyelim.

Şimdi <code>apertium-tr-tk.tk.twol</code> adlı bir dosya yapacağız.

İlk olarak alfabeyi tanımlamamız gerekiyor:

<pre>
Alphaet
 A B Ç D E Ä F G H I J Ž K L M N Ň O Ö P R S Ş T U Ü W Y Ý Z
 a b ç d e ä f g h i j ž k l m n ň o ö p r s ş t u ü w y ý z
 %{A%}:a ;
</pre>

Büyük ve küçük harfleri ayrı satırlarda tanımlamanıza gerek yok, ancak bu daha temiz ve okunaklı yapıyor.

Biz şunu da tanımlamak istiyoruz, ne olursa olsun, morfem sonlarını <code>;</code> yüzeysel formlardan kaldırmak istiyoruz, bu yüzden bir sonraki satıra, küçük harf satırının altına, <code>;</code> öncesinde şunu ekleyiniz:
<pre>
 %>:0 
</pre>
Burası, morphotactic formun sol kısmı, ve sağ kısmı da yüzeysel form. <code>%&gt;:0</code> yapmak, <code>%&gt;</code> kodunu <code>0</code> koduna çevirir. <code>0</code> sembolü çıktı değildir. 

Şimdi, son alfabe görünümü bunun gibi olmalıdır:

<pre>
Alphabet
 A B Ç D E Ä F G H I J Ž K L M N Ň O Ö P R S Ş T U Ü W Y Ý Z
 a b ç d e ä f g h i j ž k l m n ň o ö p r s ş t u ü w y ý z
 %{A%}:a %>:0  ;
</pre>

Şimdi onunla çalışmak için bazı "sets" tanımlamamız gerekiyor, bunlar temel olarak özelliklere çeviri yöntemleri vermek içindir, örneğin kurallarda bahsedeceğimiz "back vowel"(kalın ünlü) ve "front vowel"(ince ünlü).

<pre>
Sets

Consonant = B Ç D F G H J Ž K L M N Ň P R S Ş T W Z
            b ç d f g h j ž k l m n ň p r s ş t w z ; 
Vowel =     A E Ä I O Ö U Ü Y Ý 
            a e ä i o ö u ü y ý ;
FrontVowel = Ä E I Ö Ü ä e i ö ü ;  
BackVowel = A Y O U a y o u ;
NonBack = Consonant FrontVowel %> ;
NonFront = Consonant BackVowel %> ; 
</pre>

Şimdi yüklenecek her şeye sahibiz, kural eklemek için, yeni bir bölüm var, <code>Rules</code>:
<pre>
Rules
  
"Front harmony in suffixes"
%{A%}:e <=> FrontVowel: NonBack:* %>: NonBack:* _ ;
</pre>
Kural esas olarak şöyle diyor: "Eğer önceki harfler kalın ünlüler bekliyorsa, yani kalın ünlü gelecekse, {A}'nın yerine e koy, devamında bir morfem sonu var, ondan sonra kalın ünlü yok, ve bir yerde bir ince ünlü var." 

Şimdi ise, kuralı derlemek ve test etmek:

<pre>
$ hfst-twolc -R -i apertium-tr-tk.tk.twol -o tk-tr.twol.hfst
Reading input from tk.twol.
Writing output to tk.twol.hfst.
Reading alphabet.
Reading sets.
Reading rules and compiling their contexts and centers.
Compiling and storing rules.
Compiling rules.
Storing rules.
</pre>

===With the power of intersecting composition!===

In order to get the final transducer, what we need to do is combine the morphotactic model (<code>lexc</code>) with the morphographemic model (<code>twol</code>). There is a way of doing this called "intersecting composition" which is fairly efficient. There is also a tool in HFST called <code>hfst-compose-intersect</code> which is what we'll be using.

<pre>
$ hfst-compose-intersect -1 tr-tk.lexc.hfst -2 tr-tk.twol.hfst -o tr-tk.autogen.hfst
</pre>

Now we can test the final transducer:

<pre>
$ hfst-fst2strings tr-tk.autogen.hfst
maşgala<n>:maşgala
maşgala<n><pl>:maşgalalar
esger<n>:esger
esger<n><pl>:esgerler
</pre>

Great!! We have the desired forms.

==Analysis and generation==

The transducer we made above was for generation, but we can't yet use it with <code>hfst-proc</code> because of the format. If we want to use it with <code>hfst-proc</code>, all we need to do is change the format, with the following command:

<pre>
$ hfst-fst2fst -O -i tr-tk.autogen.hfst -o tr-tk.autogen.hfst.ol
</pre>

Now we should be able to generate both of our plurals:

<pre>
$ echo "^maşgala<n><pl>$" | hfst-proc -g tr-tk.autogen.hfst.ol
maşgalalar
</pre>

and 

<pre>
$ echo "^esger<n><pl>$" | hfst-proc -g tr-tk.autogen.hfst.ol
esgerler
</pre>

But what if we want to analyse some words ? Well, then we need to ''invert'' the transducer. This is changing the left side to the right side, and the right side to the left side, let's do it in two stages so we can see the results:

<pre>
$ hfst-invert -i tr-tk.autogen.hfst -o tk-tr.automorf.hfst

$ hfst-fst2strings tk-mor.hfst
maşgala:maşgala<n>
maşgalalar:maşgala<n><pl>
esger:esger<n>
esgerler:esger<n><pl>
</pre>

As we can see, now the left side is the surface form, and the right side the analysis. Now just to convert the analyser to ''optimised lookup'' format:

<pre>
$ hfst-fst2fst -O -i tk-tr.automorf.hfst -o tk-tr.automorf.hfst.ol
</pre>

And do some analysis:

<pre>
$ echo "maşgalalar" | hfst-proc tk-tr.automorf.hfst.ol
^maşgalalar/maşgala<n><pl>$

$ echo "esgerler" | hfst-proc tk-tr.automorf.hfst.ol
^esgerler/esger<n><pl>$
</pre>

==Troubleshooting==

Here is a brief troubleshooting checklist for when you do something, but it isn't working:

* Are all your ''multicharacter symbols'' defined ? Including archivowels/consonants. If you think you added them, triple check. This goes for problems in <code>twol</code> as well as in <code>lexc</code>.

==Notes==
<references/>

==Further reading==

[[Category:HFST]]

[[Category:Documentation in Turkish]]