Bech: Création page (début de traduction)

2012-09-01T20:21:04Z

Création page (début de traduction)

New page

Cette page prétend donner un cheminement pas à pas sur la manière de créer un nouveau traducteur avec la plate-forme [[Matxin]].

== Pré requis ==

Article principal : [[Matxin (français)]]

Cette page ne donne pas des instructions sur l'installation de [[Matxin (français)|Matxin]], mais présume que les paquets suivants sont correctement installés.

* [[lttoolbox (français)|Lttoolbox]] (depuis SVN)
* [[Matxin (français)|Matxin]] (depuis SVN)
* un éditeur de texte

et au choix :
* [[Freeling]] (depuis SVN) et les outils <code>fl-*</code> pour Freeling (pour le moment ceux-ci peuvent être trouvés dans <code>apertium-tools/freeling</code> dans [[SVN|apertium SVN (lien non direct)]]), si vous prévoyez d'utiliser FreeLing pour les étapes d'analyse/tagging/dépendance
ou
* [[vislcg3]] (depuis SVN), si vous prévoyez d'utiliser lttoolbox/apertium-tagger et [[Contraintes grammaticales|Constraint Grammar]] pour les étapes d'analyse/tagging/dépendance

== Aperçu ==

Comme mentionné au début, cette page prétend donner un guide pas à pas pour créer une nouvelle paire de langues avec [[Matxin]] depuis le début. Aucune connaissance en programmation n'est requise, tout ce qu'on a besoin de définir est quelques dictionnaires et grammaires. La plate-forme Matxin est décrite en détail dans [[Documentation de Matxin (lien non direct ?)]] et sur la [http://matxin.sourceforge.net page Matxin de sourceforge]. Cette page se concentrera seulement sur la création d'une nouvelle paire de langues, et évitera les problèmes théoriques et méthodologiques.

La paire de langue pour le tutoriel sera breton vers anglais. Elle a été choisie puisque les deux langues ont un ordre de mot assez divergent (le breton est assez libre, permettant VSO, OVS et SVO, là où l'anglais est assez uniformément SVO) ce qui peut montrer quelques avantages que Matxin a sur Apertium. La phrase que nous allons utiliser pour ce propos est :

:''Ur yezh indezeuropek eo ar brezhoneg.''
:[{{sc|compl}} A language indo-european] [{{sc|verb}} is] [{{sc|subj}} the breton].
:Breton is an Indo-European language.

Il y a deux problèmes principaux avec le transfert dans ce cas, le premier est de ré-ordonner, <code>OVS → SVO</code>, le second est d'enlever l'article défini précédant un nom de langue <code>ar brezhoneg → Breton</code>.

== Pour commencer ==

Ce HOWTO suppose que l'utilisateur est familier avec les bases de la plate-forme Apertium, si ce n'est pas le cas, veuillez regarder les pages : [[Lttoolbox (français)]], [[Dictionnaire bilingue]] et [[Créer une nouvelle paire de langues]].

Pour les étapes d'analyse/désambiguïsation/dépendance, il y a deux options principales ouvertes :
# utiliser l'outil Apertium [[Lttoolbox (français)|lttoolbox]] pour la désambiguïsation morphologique, [[Contraintes grammaticales|Constraint Grammar]] pour la désambiguïsation basée sur les règles et le marquage syntaxique, [[apertium-tagger (français)]] pour la désambiguïsation statistique et finalement Constraint Grammar pour l'analyse des dépendances
# utiliser [[FreeLing]] pour toutes ces étapes.

Typiquement le choix reposera sur quelles ressources sont disponibles, et les forces et faiblesses de chacun de ces outils.

== Analyse avec Apertium et Constraint Grammar ==

(à écrire...)

== Analyse avec FreeLing ==

Le processus d'analyse dans Matxin est fait par [[Freeling]], une suite libre d'analyseurs de langues. L'analyse est faite en quatre étapes, nécessitant quatre (ou plus) ensembles ou fichiers séparés. Le premier est le dictionnaire morphologique, lequel est principalement une liste de formes complète (ex: [[Speling format (français)]]) compilée dans un format BerkeleyDB. Il y a ensuite des fichiers pour la désambiguïsation des catégories de mots et pour spécifier les règles de fragmentation et de dépendances. Il y a deux autres étapes qui viennent avant l'analyse morphologique, la tokenisation et le découpage des phrases, mais pour les propos de ce tutoriel elles seront considérées le long de l'analyse morphologique.

Normalement un programme unique est utilisé pour faire toutes les différentes étapes d'analyses, prendre en entrée du texte brut ou déformatté, et envoyer en sortie une analyse de dépendances, le comportement de ce programme est contrôlé par un fichier appelé <code>config.cfg</code>. Dans Matxin ce programme s'appelle <code>Analyzer</code>, toutefois dans les étapes suivantes, on va utiliser des outils séparés et laisser créer le fichier config jusqu'à la dernière minute comme il peut devenir compliqué.

Comme compagnon la lecture de cette section de la [http://garraf.epsevg.upc.es/freeling/index.php?option=com_content&task=view&id=18&Itemid=47 documentation Freeling] est hautement recommandée. Ce tutoriel saute des caractéristiques de Freeling qui ne sont pas nécessaires pour faire un système de traduction automatique de base avec Matxin, et notez qu'il est également possible d'utiliser d'autres analyseurs comme entrée dans les parties fragmentation / dépendance analyse de Freeling, pour plus d'information voir [[Freeling|ici]].

=== Morphologique ===

Afin de créer votre analyseur morphologique dans Freeling vous avez besoin principalement de faire une liste de formes complète. S'il y a déjà un dictionnaire Apertium pour la langue, vous pouvez utiliser les scripts dans [[SVN|apertium SVN]] (module <code>apertium-tools/freeling</code>) pour générer un dictionnaire depuis le début, sinon, construisez-la quand même depuis le début, ou construisez un dictionnaire dans [[Lttoolbox (français)|lttoolbox]] et ensuite générez la liste.

Pour le but de cet exercice, vous pouvez juste taper (??) dans un petit dictionnaire à la main. On appellera le dictionnaire <code>matxin-br-en.br.dicc</code>, et il contiendra

<pre>
ul un DI0CN0
un un DI0CN0
ur un DI0CN0
yezhoù yezh NCFPV0
yezh yezh NCFSV0 yezh AQ0CN0
indezeuropek indezeuropek AQ0CN0
eo bezañ VMIP3S0
al an DA0CN0
ar an DA0CN0
an an DA0CN0
brezhoneg brezhoneg NCMSV0
prezhoneg brezhoneg NCMSV0
vrezhoneg brezhoneg NCMSV0
. . Fp
</pre>

Le fichier est séparé par des espaces avec trois colonnes ou plus. La première est pour le [[forme de surface]] du mot, les colonnes suivantes sont pour une liste de lemmes et de [[Balisage des mots|balises de mots]].

Après avoir keyed (??) ceci, on peut le compiler au format BerkeleyDB en utilisant l'outil <code>indexdict</code> des utilitaires Freeling. Il est bon de noter que Freeling supporte seulement actuellement l'encodage <code>latin1</code> des caractères, donc si vous travaillez en UTF-8, convertissez le dictionnaire à latin1 d'abord.

<pre>
$ cat matxin-br-en.br.dicc | iconv -f utf-8 -t latin1 | indexdict br-en.br.db
</pre>

Maintenant vous devriez avoir deux fichiers, <code>matxin-br-en.br.dicc</code>, qui est le dictionnaire source, et <code>br-en.br.db</code> qui est le dictionnaire dans le format BerkeleyDB. On ne peut toutefois pas utiliser cet analyseur sans spécifier un tokeniseur et un splitter. Ces fichiers définissent comment les mots et les phrases seront tokenisées. Pour l'instant on va utiliser un fichier de configuration minimal pour le splitter, donc écrire ce qui suit dans le fichier <code>matxin-br-en.spt.dat</code>

<pre>
<SentenceEnd>
. 0
</SentenceEnd>
</pre>

Bien sûr, d'autre ponctuation de fin de phrase comme '?' et '!' pourrait aussi être ajouté ici. Et maintenant pour le tokeniseur de mot, on va écrire dans <code>matxin-br-en.tok.dat</code>

<pre>
<Macros>
ALPHANUM [^\]<>[(\.,";:?!'`)^@~|}{_/\\+=&$#*+%\s\-]
OTHERS [\]<>[(\.,";:?!'`)^@~|}{_/\\+=&$#*+%\-]
</Macros>
<RegExps>
WORD 0 {ALPHANUM}+
OTHERS_C 0 {OTHERS}+
</RegExps>
</pre>

Les macros définissent des expressions régulières qui sont utilisées pour tokeniser l'entrée en mots et ponctuation. L'expression régulière <code>WORD</code> est définie comme une séquence d'un <code>ALPHANUM</code> ou plus qui à son tour est défini comme n'importe quoi sauf un caractère de ponctuation.

Donc maintenant si on veut analyser morphologiquement une phrase, nous faisons juste :

<pre>
$ echo "Ur yezh eo ar brezhoneg." | fl-morph matxin-br-en.tok.dat matxin-br-en.spt.dat br-en.br.db | iconv -f latin1
Ur un DI0CN0 -1 -1
yezh yezh NCFSV0 -1 yezh AQ0CN0 -1
eo bezañ VMIP3S0 -1 -1
ar an DA0CN0 -1 -1
brezhoneg brezhoneg NCMSV0 -1 -1
. . Fp -1
</pre>

Le <code>-1</code> après chaque analyse est la probabilité ''a priori'' de l'analyse et est calculé à partir d'un corpus balisé au préalable. Comme on n'a pas de corpus balisé au préalable, ceci est désactivé.

=== Désambiguïsation des catégories ===

Après avoir travaillé sur l'analyse morphologique, l'étape suivante est de créer un tagger de parties de discours. Freeling offre diverses façons de le faire, celles basées HMM et celles basées Relax Constraint Grammar (RelaxCG) sont toutes deux supportées. On va démontrer comment créer un tagger RelaxCG puisque c'est plus facile et que ça ne requiert pas d'entraînement de tagger.

Notre tagger sera très simple puisqu'on a seulement une ambiguïté, ''yezh'' 'langue' peut être un nom ou un adjectif. Comme les adjectifs se mettent après le nom en Breton, on va mettre un très faible poids pour les adjectifs après les déterminants,

<pre>
SETS

CONSTRAINTS

%% après un déterminant faible poids pour l'adjectif
-8.0 AQ* (-1 D*);
</pre>

Le fichier (qu'on appellera <code>matxin-br-en.br.relax</code> est fait de deux sections, la première <code>SETS</code> définit les ensembles de balises ou lemmes, vraiment (?) comme les taggers <code>LIST</code> et <code>SET</code> dans VISL [[Constraint Grammar]]. La deuxième section définit une série de contraintes de poids, dans le format 'poids', suivi par un espace, suivi par la balise suivi par un autre espace and et ensuite le contexte. Le contexte est défini comme une série de positions relatives à la balise en question.

Donc, en utilisant ce fichier on devrait être capables d'obtenir une sortie désambiguïsée :

<pre>
$ echo "Ur yezh eo ar brezhoneg." | fl-morph matxin-br-en.tok.dat matxin-br-en.spt.dat br-en.br.db | \
fl-tagger matxin-br-en.br.relax | iconv -f latin1
Ur un DI0CN0 -1
yezh yezh NCFSV0 -1
eo bezañ VMIP3S0 -1
ar an DA0CN0 -1
brezhoneg brezhoneg NCMSV0 -1
. . Fp -1
</pre>

=== Fragmentation ===

Donc, après le balisage la prochaine étape est l'analyse du fragment. C'est un peu comme la fragmentation disponible dans Apertium (voir [[Fragmentation]]), toutefois aucun transfert n'est réalisé, on groupe juste des mots dans des fragments. La grammaire est assez familière, le côté gauche montre le non-terminal, et le côté droit peut être aussi bien un terminal (dans le cas d'une balise, ex: <code>NCM*</code>) ou un non-terminal (dans le cas de <code>n-m</code>). Cette grammaire extrêmement simple va fragmenter l'entrée balisée en constituants (groupe nominal <code>sn</code> et <code>verb-eo</code>) pour une utilisation ultérieure par l'analyseur de dépendance. Ça devrait être assez direct, <code>|</code> est une opération ou, et <code>+</code> marque le gouverneur (??), ou la tête du fragment. La fin de chaque règle est marqué avec un point <code>.</code> et les commentaires ils sont placés avec <code>%</code>.

<pre>
n-m ==> NCM* .
n-f ==> NCF* .

adj ==> AQ* .

def ==> DA0CN0 .
indef ==> DI0CN0 .

verb-eo ==> VMIP3S0(eo). %% Un type de fragment spécifique pour la forme 'eo' de bezañ
verb ==> VL* .

punt ==> Fp .

sn ==> def, +n-f, adj | def, +n-f | +n-f, adj | +n-f .
sn ==> def, +n-m, adj | def, +n-m | +n-m, adj | +n-m .
sn ==> indef, +n-m, adj | indef, +n-m | +n-m, adj | +n-m .
sn ==> indef, +n-f, adj | indef, +n-f | +n-f, adj | +n-f .

@START S.
</pre>

La directive <code>@START</code> indique que le noeud de début de la phrase devrait être étiqueté <code>S</code>. Donc, la sortie de cette grammaire sera :

<pre>
$ echo "Ur yezh indezeuropek eo ar brezhoneg." | fl-morph matxin-br-en.tok.dat matxin-br-en.spt.dat br-en.br.db | \
fl-tagger matxin-br-en.br.relax | fl-chunker matxin-br-en.br.gram | iconv -f latin1
S_[
sn_[
indef_[
+(Ur un DI0CN0)
]
+n-f_[
+(yezh yezh NCFSV0)
]
adj_[
+(indezeuropek indezeuropek AQ0CN0)
]
]
verb-eo_[
+(eo bezañ VMIP3S0)
]
sn_[
def_[
+(ar an DA0CN0)
]
+n-m_[
+(brezhoneg brezhoneg NCMSV0)
]
]
punt_[
+(. . Fp)
]
]
</pre>

Notez que la phrase est fragmentée en <code>sn verb-eo sn</code>. Ça peut valoir la peine de jouer un peu avec la grammaire pour obtenir un meilleur ressenti pour ça.

=== Analyse des dépendances ===

La prochaine étape est de créer une grammaire de dépendance. La grammaire de dépendance décrit et étiquette les dépendances entre constituants. Elle est constituée de deux sections principales, <code><GRPAR></code> qui arrange l'analyse fournie par le fragmenteur. Dans l'exemple, le verbe est déplacé au début de la phrase, avant le complément, et <code><GRLAB></code> qui étiquette les parties de l'analyse.

Notez qu'en breton, les phrases avec ''eo'' (une forme de ''bezañ'' 'être') a toujours la structure Objet—Verbe—Sujet, et donc nécessite une attention spéciale. Ainsi on étiquette le côté gauche comme le prédicat complément et le côté droit comme le sujet.

<pre>
<GRPAR>

1 - - (sn,verb-eo) top_right RELABEL - % (Ur yezh keltiek (eo))

</GRPAR>

<GRLAB>

verb-eo attr-pred d.label=sn d.side=left p.label=verb-eo %% Étiquette dépendant de la gauche du verb-eo comme attr-pred
verb-eo ncsubj d.label=sn d.side=right p.label=verb-eo %% Étiquette dépendant de la droite du verb-eo comme ncsubj

</GRLAB>
</pre>

Dans la grammaire ci-dessus, <code>d.side</code> indique le côté du dépendant, et <code>p.label</code> indique l'étiquette du parent. Ce fichier est documenté de manière compréhensible dans la section [http://garraf.epsevg.upc.es/freeling/doc/userman/html/node28.html Dependency parser rule file] dans la documentation Freeling.

On va mettre le fichier dans <code>matxin-br-en.br.dep</code>, et la sortie résultante de l'analyse est :

<pre>
$ echo "Ur yezh indezeuropek eo ar brezhoneg." | fl-morph matxin-br-en.tok.dat matxin-br-en.spt.dat br-en.br.db | \
fl-tagger matxin-br-en.br.relax | fl-parser matxin-br-en.br.gram matxin-br-en.br.dep | iconv -f latin1
verb-eo/top/(eo bezañ VMIP3S0) [
sn/attr-pred/(yezh yezh NCFSV0) [
indef/modnorule/(Ur un DI0CN0)
adj/modnorule/(indezeuropek indezeuropek AQ0CN0)
]
sn/ncsubj/(brezhoneg brezhoneg NCMSV0) [
def/modnorule/(ar an DA0CN0)
]
punt/modnomatch/(. . Fp)
]
</pre>

=== Fichier de configuration ===

Donc maintenant nous avons une étape d'analyse qui fonctionne plus ou moins bien, il nous faut obtenir cette analyse dans une forme que peut être utilisé par Matxin. Ceci impliquera d'écrire un fichier de configuration qui spécifie tous les modules qu'on a utilisé auparavant (?) à un endroit. Ci dessous voici un fichier de configuration minimal pour les modules que nous avons utilisé ci-dessus. Toutes les options sont obligatoires, si une est omise, des messages d'error critiques peuvent se produire, donc le mieux est juste de copier et coller ceci, changer les chemins et ensuite y ajouter as we go along (???).

<pre>
#### Langue
Lang=br

## Les formats d'entrée/sortie valides sont : plain, token, splitted, morfo, tagged, parsed
InputFormat=plain
OutputFormat=dep

# Considérer chaque passage à la ligne comme une fin de phrase
AlwaysFlush=no

# Options tokeniser
TokenizerFile="/home/fran/MATXIN/source/matxin-br-en/matxin-br-en.tok.dat"

# Options splitter (découpeur)
SplitterFile="/home/fran/MATXIN/source/matxin-br-en/matxin-br-en.spt.dat"

# Options d'analyse morphologique
SuffixFile=""
SuffixAnalysis=no
MultiwordsDetection=no
LocutionsFile=""
DecimalPoint="."
ThousandPoint=","
QuantitiesFile=""
NumbersDetection=no
PunctuationDetection=no
PunctuationFile=""
DatesDetection=no
QuantitiesDetection=no
DictionarySearch=yes
DictionaryFile=/home/fran/MATXIN/source/matxin-br-en/br-en.br.db
ProbabilityAssignment=no
ProbabilityFile=""

# Options NER
NERecognition=none
NPDataFile=""

# Options Tagger
Tagger=relax
TaggerRelaxFile=/home/fran/MATXIN/source/matxin-br-en/matxin-br-en.br.relax
TaggerRelaxMaxIter=500
TaggerRelaxScaleFactor=670.0
TaggerRelaxEpsilon=0.001
TaggerRetokenize=no
TaggerForceSelect=tagger

# Options Parser
GrammarFile=/home/fran/MATXIN/source/matxin-br-en/matxin-br-en.br.gram

# Options dépendence parser
DepParser=txala
DepTxalaFile=/home/fran/MATXIN/source/matxin-br-en/matxin-br-en.br.dep
</pre>

Quand on a installé le fichier de configuration on peur utiliser le programme <code>Analyzer</code> du paquet Matxin. La sortie finale de <code>Analyzer</code> sera :

<pre>
$ echo "Ur yezh indezeuropek eo ar brezhoneg." | Analyzer -f matxin-br-en.br-en.cfg | iconv -f latin1

<?xml version='1.0' encoding='UTF-8' ?>
<corpus>
<SENTENCE ord='1' alloc='0'>
<CHUNK ord='2' alloc='21' type='verb-eo' si='top'>
<NODE ord='4' alloc='21' form='eo' lem='bezañ' mi='VMIP3S0'>
</NODE>
<CHUNK ord='1' alloc='0' type='sn' si='attr-pred'>
<NODE ord='2' alloc='3' form='yezh' lem='yezh' mi='NCFSV0'>
<NODE ord='1' alloc='0' form='Ur' lem='un' mi='DI0CN0'>
</NODE>
<NODE ord='3' alloc='8' form='indezeuropek' lem='indezeuropek' mi='AQ0CN0'>
</NODE>
</NODE>
</CHUNK>
<CHUNK ord='3' alloc='24' type='sn' si='ncsubj'>
<NODE ord='6' alloc='27' form='brezhoneg' lem='brezhoneg' mi='NCMSV0'>
<NODE ord='5' alloc='24' form='ar' lem='an' mi='DA0CN0'>
</NODE>
</NODE>
</CHUNK>
<CHUNK ord='4' alloc='36' type='punt' si='modnomatch'>
<NODE ord='7' alloc='36' form='.' lem='.' mi='Fp'>
</NODE>
</CHUNK>
</CHUNK>
</SENTENCE>
</corpus>
</pre>

ce qui est une représentation XML (voir [[Documentation of Matxin]]) de l'analyse des dépendances qu'on a vu précédemment.

== Transfert ==

=== Transfert lexical ===

La prochaine étape dans le processus est le transfert lexical, il prend les formes lexicales de la langue source et retourne les formes lexicales de la langue cible. Il y a trois fichiers impliqués dans le transfert lexical :

* Le dictionnaire bilingue (<code>matxin-br-en.br-en.dix</code>), qui utilise le familier format de dictionnaire [[Lttoolbox (français)|lttoolbox]], bien que légèrement différent comme résultat des [[Parole tags|balises de parole]]
* Le dictionnaire de sémantique des noms (<code>matxin-br-en.br.sem_info</code>), un fichier avec des tabulations comme séparateur
* Le dictionnaire de type de fragment (<code>matxin-br-en.br.chunk_type</code>), un fichier avec des tabulations comme séparateur

Le module qui réalise le transfert lexical s'appelle <code>LT</code>, et le format des dictionnaires décrit ci-dessus sera expliqué en bas.

==== Dictionnaire bilingue ====

Le format de base du dictionnaire bilingue est le même que dans Apertium,

<pre>
<dictionary>
<alphabet/>
<sdefs>
<sdef n="mi" c="Information morphologique"/>
<sdef n="parol" c="style de balise PAROLE"/>
</sdefs>
<section id="main" type="standard">

</section>
</dictionary>
</pre>

Contrairement à Apertium où les symboles sont utilisés pour supporter l'information morphologique (ex: <code><sdef n="adj"/></code> et <code><s n="adj"/></code> pour les adjectifs), dans Matxin les symboles sont utilisés pour définir les attributs de l'élément noeud. Par exemple, <code><s n="parol"/></code> fabrique un attribut dans le noeud appelé <code>parol</code> avec la valeur des balises qui suivent. Les balises suivantes sont habituellement entourées de crochets <code>[]</code>.

Donc, pour transférer la balise de parole d'un nom féminin singulier (<code>NCFSV0</code>) en Breton dans la représentation appropriée en anglais pour le reste des étapes de transfert, ex: nom singulier sans genre <code> parol="NC" mi="[NUMS]" </code>, on peut utiliser l'entrée suivante dans le dictionnaire bilingue :

<pre>
<e><l>yezh<s n="parol"/>NCFSV0</l><r>language<s n="parol"/>NC<s n="mi"/>[NUMS]</r></e>
</pre>

ce qui donnera en sortie

<pre>
<NODE ref="2" alloc="3" UpCase="none" lem="language" parol="NC" mi="[NUMS]">
</pre>

par le module de transfert lexical. Comme ces modèles sont répétés fréquemment, typiquement ils sont mis dans des paradigmes, mais au lieu d'être des paradigmes morphologiques, comme dans Apertium, ce sont des paradigmes de transfert lexical, donc par exemple pour les noms on peur avoir :

<pre>
<pardef n="NC_STD">
<e><l><s n="parol"/>NCFSV0</l><r><s n="parol"/>NC<s n="mi"/>[NUMS]</r></e>
<e><l><s n="parol"/>NCFPV0</l><r><s n="parol"/>NC<s n="mi"/>[NUMP]</r></e>
<e><l><s n="parol"/>NCMSV0</l><r><s n="parol"/>NC<s n="mi"/>[NUMS]</r></e>
<e><l><s n="parol"/>NCMPV0</l><r><s n="parol"/>NC<s n="mi"/>[NUMP]</r></e>
</pardef>
</pre>

Transferring both feminine and masculine singular and plural nouns in Breton to their English equivalents. The corresponding entries for our two nouns in the main section would be,

<pre>
<e><l>yezh</l><r>language</r><par n="NC_STD"/></e>
<e><l>brezhoneg</l><r>Breton</r><par n="NC_STD"/></e>
</pre>

Using the information for nouns and the XML generated after lexical transfer below you should be able to create a full dictionnaire bilingue for our test phrase.

==== Noun semantic dictionary ====

The noun semantic dictionary is a simple file which allows basic semantic tagging of lemmas. The works somewhat like lists in Apertium transfer files, and allows the categorisation of nouns into semantic classes, for example ''language'', ''animacy'', ''material'', ''communication medium'' etc. The file is a tab separated list of lemma and semantic tag, for example for our phrase we might want to tag ''brezhoneg'' 'Breton' as <code>[HZK]</code> (an abbreviation of ''hizkuntzak'' 'languages').

So make the file <code>matxin-br-en.br.sem_info</code> with the following contents:

<pre>
##[HZK]: Languages / Yezhoù (hizkuntzak)

brezhoneg [HZK+]
</pre>

You can add other languages such as ''euskareg'' 'Basque' and ''kembraeg'' 'Welsh'. The symbol <code>+</code> means that this feature is positive, the feature can also be followed by <code>-</code> for negative or <code>?</code> for uncertain. The lexical transfer module doesn't seem to use this information directly, but it needs the file to be in place.

==== Chunk-type transfer dictionary ====

The final dictionary required for the lexical transfer stage is the chunk-type transfer dictionary. This transfers chunk types (e.g. <code>sn</code> ''sintagma nominal'' 'Noun phrase' and <code>sp</code> ''sintagma preposicional'' 'Prepositional phrase') into the target language chunk types. As we maintain the same chunk types between languages we can just have an empty file for this. Although it is probably worth adding a comment with the format, for example make a file called <code>matxin-br-en.br-en.chunk_type</code> with the following contents,

<pre>
#Category (SL) #Category (TL) #Description (SL) #Description (TL)
sn sn #Noun phrase Noun phrase
</pre>

==== Fichier de configuration ====

Now we come to editting the configuration file, we open the file, add the following options at the bottom of the file and save it.

<pre>
# Transfer options

TransDictFile=/home/fran/MATXIN/source/matxin-br-en/br-en.autobil.bin
ChunkTypeDict=/home/fran/MATXIN/source/matxin-br-en/matxin-br-en.br-en.chunk_type
NounSemFile=/home/fran/MATXIN/source/matxin-br-en/matxin-br-en.br.sem_info

</pre>

==== Output of lexical transfer ====

<pre>
$ echo "Ur yezh indezeuropek eo ar brezhoneg." | Analyzer -f matxin-br-en.br-en.cfg | iconv -f latin1 | \
LT -f matxin-br-en.br-en.cfg

<?xml version="1.0" encoding="UTF-8"?>
<corpus>
<SENTENCE ref="1" alloc="0">
<CHUNK ref="2" type="verb-eo" alloc="21" si="top">
<NODE ref="4" alloc="21" slem="bezañ" smi="VMIP3S0" UpCase="none" lem="be" parol="VM" mi="[IND][PRES][P3][NUMS]"/>
<CHUNK ref="1" type="sn" alloc="0" si="attr-pred">
<NODE ref="2" alloc="3" slem="yezh" smi="NCFSV0" UpCase="none" lem="language" parol="NC" mi="[NUMS]">
<NODE ref="1" alloc="0" slem="un" smi="DI0CN0" UpCase="none" lem="a" parol="DI"/>
<NODE ref="3" alloc="8" slem="indezeuropek" smi="AQ0CN0" UpCase="none" lem="Indo-European" parol="AQ" mi="[PST]"/>
</NODE>
</CHUNK>
<CHUNK ref="3" type="sn" alloc="24" si="ncsubj">
<NODE ref="6" alloc="27" slem="brezhoneg" smi="NCMSV0" UpCase="none" lem="Breton" parol="NC" mi="[NUMS]">
<NODE ref="5" alloc="24" slem="an" smi="DA0CN0" UpCase="none" lem="the" parol="DA"/>
</NODE>
</CHUNK>
<CHUNK ref="4" type="punt" alloc="36" si="modnomatch">
<NODE ref="7" alloc="36" slem="." smi="Fp" UpCase="none" lem="." parol="Fp"/>
</CHUNK>
</CHUNK>
</SENTENCE>
</corpus>

</pre>

Note: The above output has been post-processed by <code>xmllint --format -</code> to give more human readable formatting.

=== Intra-chunk transfer ===

The purpose of the intra-chunk transfer is to move information from nodes in a chunk to the chunk, for example to do concordance between a subject noun phrase and the verb in a verb phrase. We're just going to copy the morphological information straight over, so make a file called <code>matxin-br-en.br-en.intra1</code> and put the following in.

<pre>
# 1/2 3/4 5
mi!=''/mi /mi no-overwrite
</pre>

The file is tab and forward-slash separated and has five columns:

# Node specification: Defines which nodes to take information from, in this case <code>mi!=<nowiki>''</nowiki></code> where the morphological information is non-null.
# Source attribute: Which source attribute to copy, in this case the morphological information.
# Chunk condition: Restricts the chunk to which the information can be moved. In this case there is no restriction, but for example, you might want to only move the information when the subject is a common noun, in which case <code>si='ncsubj'</code> would do the trick.
# Destination attribute: The attribute in which the information should be put.
# Write mode: Can be one of three, either ''no-overwrite'' (do not overwrite previous information), ''overwrite'' (overwrite previous information), ''concat'' (concatenate information to any previously existing).

After you've made the file, add the details to the bottom of the configuration file as follows,

<pre>
IntraMoveFile=/home/fran/MATXIN/source/matxin-br-en/matxin-br-en.br-en.intra1
</pre>

After this has been added, we're ready to run the intra-chunk syntactic transfer module. This is done with the <code>ST_intra</code> program, which can be called as follows:

<pre>
$ echo "Ur yezh indezeuropek eo ar brezhoneg." | Analyzer -f matxin-br-en.br-en.cfg | iconv -f latin1 | LT -f matxin-br-en.br-en.cfg \
ST_intra -f matxin-br-en.br-en.cfg

<?xml version="1.0" encoding="UTF-8"?>
<corpus>
<SENTENCE ref="1" alloc="0">
<CHUNK ref="2" type="verb-eo" alloc="21" si="top" mi="[IND][PRES][P3][NUMS]">
<NODE ref="4" alloc="21" UpCase="none" lem="be" parol="VM" mi="[IND][PRES][P3][NUMS]" />
<CHUNK ref="1" type="sn" alloc="0" si="attr-pred" mi="[NUMS]">
<NODE ref="2" alloc="3" UpCase="none" lem="language" parol="NC" mi="[NUMS]">
<NODE ref="1" alloc="0" UpCase="none" lem="a" parol="DI"/>
<NODE ref="3" alloc="8" UpCase="none" lem="Indo-European" parol="AQ" mi="[PST]"/>
</NODE>
</CHUNK>
<CHUNK ref="3" type="sn" alloc="24" si="ncsubj" mi="[NUMS]">
<NODE ref="6" alloc="27" UpCase="none" lem="Breton" parol="NC" mi="[NUMS]">
<NODE ref="5" alloc="24" UpCase="none" lem="the" parol="DA"/>
</NODE>
</CHUNK>
<CHUNK ref="4" type="punt" alloc="36" si="modnomatch">
<NODE ref="7" alloc="36" UpCase="none" lem="." parol="Fp"/>
</CHUNK>
</CHUNK>
</SENTENCE>
</corpus>
</pre>

The morphological information has been moved from the node head of the chunk to the chunk itself.

=== Inter-chunk transfer ===

The next stage is similar to the previous stage, but deals with movement between chunks themselves. In our example we don't need to use this.

== Generation ==

=== Intra-chunk ===

As Breton and English differ in the internal structure of noun phrases, the next thing we want to do is transfer the Breton structure into English, this will involve changing {{sc|det nom adj}} to {{sc|det adj nom}}. Another intra-chunk process we want to take care of is the removal of the definite article before a noun which has the semantic tag for language (<code>[HZK+]</code>).

[[Category:Matxin]]
[[Category:Documentation]]
[[Category:HOWTO]]
[[Category:Documentation en français]]

← Older revision		Revision as of 07:18, 8 October 2014
Line 1:		Line 1:
			[[Matxin New Language Pair HOWTO\|In English]]

	Cette page prétend donner un cheminement pas à pas sur la manière de créer un nouveau traducteur avec la plate-forme [[Matxin (français)\|Matxin]].		Cette page prétend donner un cheminement pas à pas sur la manière de créer un nouveau traducteur avec la plate-forme [[Matxin (français)\|Matxin]].

Création d'une nouvelle paire avec Matxin - Revision history

Bech: Lien page anglaise

Bech: Fin de la tradiction

Bech: Création page (début de traduction)