Курсы машинного перевода для языков России/Раздел 8

Основная задача данного раздела показать, что создание новой системы перевода с системой Apertium не обязательно должно стоить несколько миллионов евро и занимать несколько лет. Значительная доля систем Apertium была разработана несколькими людьми всего за несколько месяцев за счет использования существующих ресурсов, и подвижного движка системы.

While more time and money is often an effective way of making a better machine translation system, a lot can be said for realistic expectations, careful planning and effective contributions by volunteer developers. Хотя наличие денег и времени часто является предпосылкой для создания лучшей системы машинного перевода, многое можно сделать имея реалистичные ожидания, тщательного планируя и эффективно используя вклад добровольцев-разработчиков.

Примеры из жизни Case studies

Следующие реальные примеры отражают 4 успешных но различных стиля создания систем The following case studies highlight four different successful development styles.

Испанский и каталонский

Долгосрочное государственное финансирование, несколько разработчиков. На каталонском говорят около девяти миллионов человек.

Переводчик с испанского на каталонский является старейшим переводчиком в Apertium. Он был переписан и расширен на основе переводчика interNOSTRUM разработанного в Университете d'Alacant. В общей сложности, он создавался в течение 12 лет. Начальная версия interNOSTRUM была выпущена в начале 2000 года и заняла около 72 человеко-месяцев (четыре человека, 18 месяцев) которые разработал как движок так и лингвистические данные. Он широко использовался, насчитывая около тысячи запросов в день.

В 2004 году Apertium, при финансовой поддержке Министерства науки, промышленности и торговли Испании, запустил проект по переписки кода для общего доступа, а также по преобразованию лингвистических данных. После одного человеко-года, была выпущена первая версия испано-каталонского переводчика.

Переводчик очень высокого качества, и выдерживает сравнение с коммерческими проектами - более 95% охвата словаря (около 5 неизвестных слов из 100), и процент ошибочных слов между 3-7% (из 100 слов около 3 - 7 нужно заменить для получения адекватного перевода). Это второй по популярности переводчик на сайте Apertium, и основной машинный переводчик для ряда университетов в Испании при работе с этой языковой парой.

Новонорвежский язык (нюнорск Nynorsk) и норвежский Bokmål

Краткосрочное финансирование на конкурсной основе, один разработчик. Нюнорск - считается предпочитаемым литературным языком для около 580,000 норвежцев.

The Nynorsk to Bokmål translator is the most-used translator on our webpage. It was started in 2008 by Francis Tyers and Trond Trosterud, using existing resources such as the Norsk Ordbank (a large full-form list of words in Nynorsk and Bokmål) and the Oslo-Bergen tagger (a constraint grammar based disambiguator for both varieties of Norwegian). Переводчик с языка Нюнорск на Bokmål - самый популярный на нашем сайте. Его начали разрабатывать в 2008 году Фрэнсис Таерз и Трунд Тростеруд, используя имеющиеся данные, такие как Norsk Ordbank (список полных слов на языках нюнорск и Bokmål) и маркировщик слов Осло-Берген (грамматика ограничений, основанная на инструменте разрешения неоднозначности для обоих видов норвежского языка).

The original implementation was never completed, but the project was taken up again in 2009 during the Google Summer of Code competition by Kevin Unhammer, a masters' student in computational linguistics at the University of Bergen. Over a period of three months, Kevin completely remade the conversion of both the Ordbank, and the constraint grammar, and wrote a series of transfer rules. Начальная версия не была завершено, но проект был подхвачен в 2009 году во время летних соревнований по коду Google Кевином Унхаммеров, студентом компьютерной лингвистики Университета Бергена. В течение трех месяцев, Кевин полностью переделал преобразование обоих списков Ordbank, грамматику ограничений и написал серию правила переноса.

Он потратил 2 недели на преобразование списков Ordbank в формат Apertium, затем еще неделю на преобразование маркировщика Осло-Берген. Три недели на правила переноса, а потом еще три недели на расширение словарей. Две недели затем были потрачены на проверку правильности работы задач, например, на проверку, что только слова из всех трех словарей были включены. И последняя неделя была посвящена оценке.

Итоговый охват системы составляет около 90%, например, из корпуса около 10 неизвестных слов из 100 в среднем. Ошибочное слово - около 17%, что означает, из 100 слов 17 должны быть изменены для получения адекватного перевода. Эта система выдерживает конкуренцию с другими имеющимися системы для перевода пары нюнорск-букмол (Nynorsk-Bokmål). На система сегодня приходится более трети всех переводов осуществляющихся на сайте Apertium.

Бретонский и французский

Среднесрочный волонтерский проект при очень коротком государственном и частном финансировании, несколько разработчиков. На бретонском говорят около 200,000 людей.

Work on the Breton--French translator was started in 2008 by Francis Tyers in his spare time. After three months, a proof-of-concept system, using transfer rules from the French--Spanish pair was presented at Ofis ar Brezhoneg in December. It was decided that funding would be found to support another month of development to finish a prototype system which would be useful for assimilation purposes.

In the end, funding for the travel of a Breton speaker to Alacant was arranged by Ofis ar Brezhoneg, the Universitat d'Alacant paid for a month's wages of the Breton speaker, and Prompsit Language Engineering paid for a month of Francis Tyers' time. A further two months. In total, the monetary cost was around €3,000. The first version of the translator was released in May of 2009.

The first version had a coverage of around 85%, and a word error rate which, although high, still meant that the translator was useful for assimilation. The system is today available on the homepage of Ofis ar Brezhoneg, and updated by staff of the Ofis, including its director, Fulup Jakez.

Spanish and Aragonese

Medium-term volunteer effort with no public funding and two developers. Aragonese has around 10,000 speakers.

Work on the Spanish-Aragonese translator was begun by Apertium-developer Jim O'Regan, at the request of Aragonese-speaker Juan Pablo Martínez. After three weeks of initial effort, spread over the course of a year, a final week of concentrated effort lead to the release of the first prototype version, translating from Aragonese to Spanish only.

The first bidirectional version was completed after another 6 weeks of work by Juan Pablo, spread over the course of another year. The only available resource at the beginning of this work for Aragonese was the Aragonese edition of Wikipedia and a handful of verb templates on the English edition of Wiktionary. The Aragonese--Spanish dictionary was created by hand, but the Spanish morphological analyser/generator and part-of-speech tagger were taken from the Spanish--Catalan pair. No funding was received from any source towards the creation of the system.

Contributing factors

Existing resources

When linguistic resources, for example corpora, dictionaries, grammars, morphological analysers, lists of lemmata etc. are available under free/open-source licences they can be reused and save development time. However, the amount of time taken for adaptation should not be underestimated.

A morphological transducer designed for spell checking might make a great spell checker, but it might not be so easy to adapt it for analysis/generation in a machine translation system. Different applications have different requirements, and this should be taken into account when deciding to reuse an existing resource, to adapt it, or to start from scratch.

Objectives

It is important when starting a project to ask questions and clearly define objectives, for example,

• Who is the target audience ?
  • Do we want the system to be used by professional translators, by lay-translators, by ordinary members of the public ?
• What is the system intended to be used for ?
  • Assimilation: For giving an idea of what a text is about
  • Dissemination: For producing draft translations
  • Domain: Will it be used for news texts, encyclopaedic texts, legal texts, the weather, etc. ?
• What existing linguistic resources can be reused ?
  • Are there already good, free dictionaries available ?
• How long do we have to build the system ?
  • Six months is probably not enough enough time to build your ideal wide-domain interlingua MT system between all the languages of the Middle Volga, ...
    • ... but it might be enough to build some prototype systems for translating the weather forecast.

If a system is being planned to translate governmental texts for dissemination, then it will necessarily have different features than if it is planned to translate Wikipedia articles for assimilation.

Making a high-coverage, open domain system for assimilation and dissemination is a nice idea, but practically is not possible given limited resources.

Time

The amount of time taken to make a new language pair based on the Apertium platform depends greatly on the objectives of the project, the existing resources available and the experience of the developers. A prototype or proof of concept system can be created in anywhere from 10 days to 3 months. Whereas a production system can take from 3 months (as in the case of Nynorsk-Bokmål) to several years.

The following table summarises the development of language pairs in Apertium over the last six years.

Year	Total pairs	New pairs	Language pairs
2005	3	3	es-ca, es-gl, es-pt
2006	6	3	es-ca, es-gl, es-pt, en-ca, fr-ca, oc-ca
2007	8	2	es-ca, es-gl, es-pt, en-ca, fr-ca, oc-ca, es-ro, fr-es
2008	18	10	es-ca, es-gl, es-pt, en-ca, fr-ca, oc-ca, es-ro, fr-es, oc-es, en-gl, cy-en, eo-ca, eo-es, eu-es, pt-gl, eo-en, en-es, pt-ca
2009	21	3	es-ca, es-gl, es-pt, en-ca, fr-ca, oc-ca, es-ro, fr-es, oc-es, en-gl, cy-en, eo-ca, eo-es, eu-es, pt-gl, eo-en, en-es, pt-ca, nn-nb, sv-da, br-fr
2010	23	2	es-ca, es-gl, es-pt, en-ca, fr-ca, oc-ca, es-ro, fr-es, oc-es, en-gl, cy-en, eo-ca, eo-es, eu-es, pt-gl, eo-en, en-es, pt-ca, nn-nb, sv-da, br-fr, es-ast, mk-bg
2011	33	10	es-ca, es-gl, es-pt, en-ca, fr-ca, oc-ca, es-ro, fr-es, oc-es, en-gl, cy-en, eo-ca, eo-es, eu-es, pt-gl, eo-en, en-es, pt-ca, nn-nb, sv-da, br-fr, es-ast, mk-bg, is-en, ca-it, eo-fr, mk-en, es-an, eu-en, es-it, sh-mk, tr-az, tr-ky

Funding

As we saw in the case studies, Apertium language pairs have been funded and created in many different ways. The following table summarises the ways in which development on the "stable" machine translation systems in Apertium was funding. The most used systems online are highlighted in bold face.

Funder	Type	Language pair(s)
Google Summer of Code	Competition	mk-bg, nn-nb, sh-mk, sv-da, tr-az, tr-ky
—	Volunteers	eo-fr, es-an, mk-en, ca-it, eo-en
Generalitat de Catalunya	Regional government	oc-ca, oc-es, en-ca,
—	Thesis / Dissertation	cy-en, fr-ca, pt-ca
Universitat d'Alacant	Educational institution	eu-es, (br-fr), es-pt
Ministry of Industry, Commerce and Tourism	National government	es-ca, es-gl
ABC Enciklopedioj	Company	eo-es, eo-ca
imaxin|software	Company	en-gl, pt-gl
Universidá d'Uviéu	Educational institution	es-ast
Prompsit	Company	es-it, (br-fr), (fr-es)
Eleka Ingenieritza Linguistikoa	Company	fr-es
Icelandic Research Council	National government	is-en
Ofis ar Brezhoneg	Quasi non-governmental organisation	br-fr
European Assoc. Machine Translation	Non-governmental organisation	eu-en

Practical

• Search for existing linguistic resources for your language pair, making a note of the licence they are under.
• Define a realistic work/time-plan for making a new translator for a given language pair with Apertium taking into account:
  • Existing resources
  • What the translator will be used for
  • Man power
  • Political, financial and community support