Bech: Lien page anglaise

2014-10-08T07:52:16Z

Lien page anglaise

Bech: Correction accès svn

2014-07-04T21:36:45Z

Correction accès svn

Bech: Création page

2012-11-11T00:25:03Z

Création page

New page

Cette page donne une description sur la manière de pré-traiter un corpus en utilisant Apertium afin qu'il puisse être utilisé pour entraîner Moses "factoredly" (???).

== Exigences ==

* [[Lttoolbox (français)]]
* [[Apertium (français)]]
* <code>tagger-to-factored.py</code> script de [[Utiliser SVN|apertium SVN]]

== Étapes ==

=== Télécharger et compiler les données ===

Pour le corpus parallèle, on va utiliser Europarl, la page [[corpora]] (seulement en anglais) en liste d'autres :

<pre>
$ wget http://www.statmt.org/europarl/v5/da-en.tgz
$ tar -xzf da-en.tgz
</pre>

Et pour l'analyseur morphologique et le tagger, on va utiliser <code>apertium-sv-da</code> et <code>apertium-is-en</code>. Vous pouvez en trouver d'autres dans : [[Liste des paires de langues]] et [[list of dictionaries]].

<pre>
$ wget http://apertium.svn.sourceforge.net/svnroot/apertium/trunk/apertium-sv-da/apertium-sv-da.da.dix
$ wget http://apertium.svn.sourceforge.net/svnroot/apertium/trunk/apertium-sv-da/da-sv.prob

$ wget http://apertium.svn.sourceforge.net/svnroot/apertium/trunk/apertium-is-en/apertium-is-en.en.dix
$ wget http://apertium.svn.sourceforge.net/svnroot/apertium/trunk/apertium-is-en/en-is.prob

$ lt-comp lr apertium-sv-da.da.dix da-sv.automorf.bin
final@inconditional 20 105
main@standard 9121 18055
unchecked@standard 4411 8130

$ lt-comp lr apertium-is-en.en.dix en-is.automorf.bin
final@inconditional 97 2809
main@standard 22284 47423
</pre>The

=== Nettoyer et baliser chaque coté du corpus ===

Supprimer chaque ligne qui commence par des balises :

<pre>

$ cat da-en/da/* | grep -v '^<' > europarl.da
$ cat da-en/en/* | grep -v '^<' > europarl.en

</pre>

Vérifier que les fichiers ont la même longueur.

<pre>
$ wc -l europarl.*
1687533 europarl.da
1687533 europarl.en
</pre>

Analyser et baliser le corpus :

<pre>
$ cat europarl.da | apertium-destxt | lt-proc -w da-sv.automorf.bin | \
apertium-tagger -g -p da-sv.prob | apertium-retxt > tagged.da

$ cat europarl.en | apertium-destxt | lt-proc -w en-is.automorf.bin | \
apertium-tagger -g -p en-is.prob | apertium-retxt > tagged.en
</pre>

Notez que l'option <code>-w</code> supporte la mise en minuscules du dictionnaire, c'est à dire, que le lemme est envoyé avec la casse qu'il a dans le dictionnaire, pas celle de la forme de surface.

=== Convertir dans le format "factored" pour Moses ===

Télécharger le tagger pour le script factored (???) :

<pre>
$ wget http://apertium.svn.sourceforge.net/svnroot/apertium/trunk/apertium-tools/tagger-to-factored.py
</pre>

Alors convertir dans le format "factored" pour Moses :

<pre>
$ cat tagged.da | python tagger-to-factored.py 2 > factored.da
$ cat tagged.en | python tagger-to-factored.py 2 > factored.en
</pre>

'''Note:''' Le nombre en option de <code>tagger-to-factored.py</code> spécifie combien de balises vous voulez envoyer. En mettant <code>0</code> ça va seulement envoyer la [[forme de surface]] et le lemme. En mettant <code>1</code> ça va envoyer la forme de surface, le lemme et la première balise (qui est presque toujours la balise POS). Tout ce qui précède sera envoyé comme avant, mais un facteur supplémentaire sera envoyé comme le reste de l'information morphologique.

Par exemple:

<pre>
$ echo "^der/der<adv>$ ^blev/blive<vblex><past><actv>$ ^ramt/ramme<vblex><pp>$^./.<sent>$" | python tagger-to-factored.py 0
der|der blev|blive ramt|ramme .|.

$ echo "^der/der<adv>$ ^blev/blive<vblex><past><actv>$ ^ramt/ramme<vblex><pp>$^./.<sent>$" | python tagger-to-factored.py 1
der|der|adv blev|blive|vblex ramt|ramme|vblex .|.|sent

$ echo "^der/der<adv>$ ^blev/blive<vblex><past><actv>$ ^ramt/ramme<vblex><pp>$^./.<sent>$" | python tagger-to-factored.py 2
der|der|adv|adv blev|blive|vblex|vblex.past ramt|ramme|vblex|vblex.pp .|.|sent|sent

$ echo "^der/der<adv>$ ^blev/blive<vblex><past><actv>$ ^ramt/ramme<vblex><pp>$^./.<sent>$" | python tagger-to-factored.py
der|der|adv|adv blev|blive|vblex|vblex.past.actv ramt|ramme|vblex|vblex.pp .|.|sent|sent
</pre>

Après ça, vérifiez de nouveau que les fichiers ont la même longueur :

<pre>
$ wc -l factored.*

</pre>

== Entraîner un modèle "factored" basé sur des phrases ==

Maintenant vous avez les données, vous pouvez [http://www.statmt.org/moses/?n=Moses.FactoredTutorial entraîner un modèle "factored" basé sur des phrases] avec Moses !

== Voir aussi ==

* [[List of dictionaries]]
* [[Liste des paires de langues]]
* [[Compilation des dictionnaires]]
* [[Lttoolbox (français)]]

== Liens externes ==

* [http://www.statmt.org/moses/?n=Moses.FactoredTutorial Tutoriel pour utiliser les Modèles Factored]

[[Category:Documentation]]
[[Category:Documentation en français]]

← Older revision		Revision as of 07:52, 8 October 2014
Line 1:		Line 1:
			[[Preparing data for Moses factored training using Apertium\|In English]]

	Cette page donne une description sur la manière de pré-traiter un corpus en utilisant Apertium afin qu'il puisse être utilisé pour entraîner Moses "factoredly" (???).		Cette page donne une description sur la manière de pré-traiter un corpus en utilisant Apertium afin qu'il puisse être utilisé pour entraîner Moses "factoredly" (???).

@@ Line 21: / Line 21: @@
 <pre>
-$ wget http://apertium.svn.sourceforge.net/svnroot/apertium/trunk/apertium-sv-da/apertium-sv-da.da.dix
+$ wget https://svn.code.sf.net/p/apertium/svn/trunk/apertium-sv-da/apertium-sv-da.da.dix
-$ wget http://apertium.svn.sourceforge.net/svnroot/apertium/trunk/apertium-sv-da/da-sv.prob
+$ wget https://svn.code.sf.net/p/apertium/svn/trunk/apertium-sv-da/da-sv.prob
-$ wget http://apertium.svn.sourceforge.net/svnroot/apertium/trunk/apertium-is-en/apertium-is-en.en.dix
+$ wget https://svn.code.sf.net/p/apertium/svn/trunk/apertium-is-en/apertium-is-en.en.dix
-$ wget http://apertium.svn.sourceforge.net/svnroot/apertium/trunk/apertium-is-en/en-is.prob
+$ wget https://svn.code.sf.net/p/apertium/svn/trunk/apertium-is-en/en-is.prob
 $ lt-comp lr apertium-sv-da.da.dix da-sv.automorf.bin
@@ Line 73: / Line 73: @@
 <pre>
-$ wget http://apertium.svn.sourceforge.net/svnroot/apertium/trunk/apertium-tools/tagger-to-factored.py
+$ wget https://svn.code.sf.net/p/apertium/svn/trunk/apertium-tools/tagger-to-factored.py
 </pre>

Préparation de données pour Moses - Revision history

Bech: Lien page anglaise

Bech: Correction accès svn

Bech: Création page