Bech: Lien page anglaise

2014-10-07T12:27:51Z

Lien page anglaise

Bech: moved Test+de+vocabulaire to Test de vocabulaire: Problème récurent lorsqu'on crée une page en ayant été déconnecté

2011-11-25T21:48:12Z

moved Test+de+vocabulaire to Test de vocabulaire: Problème récurent lorsqu'on crée une page en ayant été déconnecté

Bech: Création page

2011-11-25T21:46:43Z

Création page

New page

Un '''testvoc''' est littéralement un test de vocabulaire. Au niveau le plus basique, il étend (?) juste un dictionnaire {{sc|sl}}, et fait passer chaque [[forme lexicale]] éventuellement analysée à travers toutes les étapes de traduction pour voir si pour chaque entrée possible, une traduction sensible (?) dans le {{sc|tl}}, sans symboles <code>#</code>, ou <code>@</code> est générée.

Toutefois, comme les règles de transfert peuvent introduire des erreurs qui ne sont pas visibles lorsqu'on traduit de simples unités lexicales, une paire de langues de qualité ''release'' nécessite aussi des tests de vocabulaire sur des phrases constituées de plusieurs unités lexicales. Souvent on peut trouver beaucoup d'erreurs en donnant un grand corpus (avec tous les symboles @, / ou # supprimés) au traducteur, avec les symboles de debug activés, et un grep sur [@#/].
: Ce serait bien toutefois, avec un script qui teste le fonctionnement de toutes les règles de transfert possibles (sans avoir à travailler sur toutes les combinaisons d'unités lexicales possible, ce qui prendrait une éternité). Un des problèmes est que les règles de transfert peuvent ne pas se référer seulement aux balises, mais aussi aux lemmes; et que le transfert en plusieurs étapes suppose que vous avez à tester des séquences assez longues.

== Scripts d'exemple pour le testvoc d'unités lexicales simples ==

Ce qui suit est un script très simple illustrant testvoc pour la première étape du transfert. La commande <code>tee</code> sauvegarde la sortie du transfert, qui inclue les mots (actuellement des unités lexicales) qui ont passé le transfert avec succès et des mots qui ont récupéré un @ en préfixe. Le dernier fichier est la sortie de la génération, qui inclue les mots qui ont été générés avec succès, et les mots qui ont un # en préfixe (n'importe quoi avec un @ obtiendra aussi un #):
<pre>
MONODIX=apertium-nn-nb.nn.dix
T1X=apertium-nn-nb.nn-nb.t1x
BIDIXBIN=nn-nb.autobil.bin
GENERATORBIN=nn-nb.autogen.bin
ALPHABET="ABCDEFGHIJKLMNOPQRSTUVWXYZÆØÅabcdefghijklmnopqrstuvwxyzæøåcqwxzCQWXZéèêóòâôÉÊÈÓÔÒÂáàÁÀäÄöÖ" # from $MONODIX

lt-expand ${MONODIX} | grep -e ':<:' -e '[$ALPHABET]:[$ALPHABET]' |\
sed 's/:<:/%/g' | sed 's/:/%/g' | cut -f2 -d'%' | sed 's/^/^/g' | sed 's/$/$ ^.<sent><clb>$/g' |\
apertium-transfer ${T1X} ${T1X}.bin ${BIDIXBIN} | tee after-transfer.txt |\
lt-proc ${GENERATORBIN} > after-generation.txt
</pre>

Ce qui suit est un vrai script <code>inconsistency.sh</code> provenant de <code>apertium-br-fr</code> qui étend le dictionnaire de Breton et le passe au traducteur:
<pre>
TMPDIR=/tmp

lt-expand ../apertium-br-fr.br.dix | grep -v '<prn><enc>' | grep -e ':<:' -e '\w:\w' |\
sed 's/:<:/%/g' | sed 's/:/%/g' | cut -f2 -d'%' | sed 's/^/^/g' | sed 's/$/$ ^.<sent>$/g' |\
tee $TMPDIR/tmp_testvoc1.txt |\
apertium-pretransfer|\
apertium-transfer ../apertium-br-fr.br-fr.t1x ../br-fr.t1x.bin ../br-fr.autobil.bin |\
apertium-interchunk ../apertium-br-fr.br-fr.t2x ../br-fr.t2x.bin |\
apertium-postchunk ../apertium-br-fr.br-fr.t3x ../br-fr.t3x.bin |\
tee $TMPDIR/tmp_testvoc2.txt |\
lt-proc -d ../br-fr.autogen.bin > $TMPDIR/tmp_testvoc3.txt

paste -d _ $TMPDIR/tmp_testvoc1.txt $TMPDIR/tmp_testvoc2.txt $TMPDIR/tmp_testvoc3.txt |\
sed 's/\^.<sent>\$//g' | sed 's/_/ ---------> /g'

</pre>

== Testvoc d'un corpus ==

Typiquement le testvoc de corpus consiste à faire traiter un grand corpus par votre traducteur, et à récupérer avec grep les @ ou les #.

Cependant, quelquefois vous voulez récupérer la ligne d'origine du corpus qui a donné ce @ ou ce #.

Voici une façon de chercher les @ dans un corpus tout en étant encore capable de retrouver facilement la ligne d'origine :
<pre>
$ cat corpus.txt | apertium-destxt | nl | apertium -f none -d . sme-nob-interchunk1 |grep '\^@'
</pre>

<code>nl</code> va numéroter chaque ligne de corpus.txt, dans le superblank (?) qui est à la fin de chaque ligne. Ainsi on va voir

<pre>
276 ]^part<part>{^å<part>$}$ ^verb<SV><inf><loc-for><m>{^@ballat<V><inf>$}$
...
</pre>

on peut récupérer la ligne d'origine comme ceci :
<pre>
$ head -n 276 corpus.txt | tail -n1
</pre>

[[Category:Terminology]]
[[Category:Quality control]]
[[Category:Development]]
[[Category:Documentation en français]]

← Older revision		Revision as of 12:27, 7 October 2014
Line 1:		Line 1:
			[[Testvoc\|In English]]

	Un '''testvoc''' est littéralement un test de vocabulaire. Au niveau le plus basique, il étend (?) juste un dictionnaire {{sc\|sl}}, et fait passer chaque [[forme lexicale]] éventuellement analysée à travers toutes les étapes de traduction pour voir si pour chaque entrée possible, une traduction sensible (?) dans le {{sc\|tl}}, sans symboles <code>#</code>, ou <code>@</code> est générée.		Un '''testvoc''' est littéralement un test de vocabulaire. Au niveau le plus basique, il étend (?) juste un dictionnaire {{sc\|sl}}, et fait passer chaque [[forme lexicale]] éventuellement analysée à travers toutes les étapes de traduction pour voir si pour chaque entrée possible, une traduction sensible (?) dans le {{sc\|tl}}, sans symboles <code>#</code>, ou <code>@</code> est générée.

← Older revision	Revision as of 21:48, 25 November 2011
(No difference)

Test de vocabulaire - Revision history

Bech: Lien page anglaise

Bech: moved Test+de+vocabulaire to Test de vocabulaire: Problème récurent lorsqu'on crée une page en ayant été déconnecté

Bech: Création page