Google Translate добавляет 110 новых языков

От кантонского до кекчи, эти новые языки охватывают более 614 миллионов носителей, открывая переводы примерно для 8% населения мира. Некоторые из них — крупные мировые языки с более чем 100 миллионами носителей, в то время как другие используются небольшими коренными сообществами. Некоторые языки даже активно возрождаются, несмотря на почти полное отсутствие носителей. Около четверти этих новых языков — из Африки, что является нашим крупнейшим расширением африканских языков, включая фон, киконго, луо, га, свази, венда и волоф.

Вот некоторые из недавно добавленных языков в Google Translate:

• Афар, тональный язык, на котором говорят в Джибути, Эритрее и Эфиопии, получил наибольшее количество добровольных вкладов от сообщества среди всех языков в этом запуске.
• Кантонский, долгое время один из самых востребованных языков для Google Translate, сложен в обработке, поскольку часто пересекается с мандаринским в письменной форме, что затрудняет поиск данных и обучение моделей.
• Мэнский, кельтский язык острова Мэн, почти вымер после смерти последнего носителя в 1974 году. Но благодаря движению за возрождение теперь на нём говорят тысячи людей.
• Нко, стандартизированная форма западноафриканских языков манде, объединяет множество диалектов в общий язык. Его уникальный алфавит был изобретён в 1949 году, и сегодня у него есть активное исследовательское сообщество.
• Пенджабский (шахмукхи), разновидность пенджабского языка, написанная персо-арабским письмом, является самым распространённым языком в Пакистане.
• Тамазигхт (амазигх), берберский язык, распространённый в Северной Африке, имеет множество диалектов, но в целом взаимопонимаемую письменную форму. Он пишется как на латинском, так и на тифинагском письме, оба из которых поддерживаются Google Translate.
• Ток-писин, креольский язык на основе английского и лингва франка Папуа — Новой Гвинеи, может быть понятен англоговорящим при переводе.

Как мы выбираем языковые разновидности

Добавление новых языков в Translate требует множества размышлений, от выбора включаемых разновидностей до принятия решений о конкретных орфографических стандартах.

Языки имеют огромное разнообразие: региональные разновидности, диалекты, различные орфографические стандарты. У многих нет единой стандартной формы, поэтому выбрать «правильную» разновидность сложно. Мы сосредотачиваемся на наиболее часто используемых вариантах. Например, романи имеет множество диалектов по всей Европе. Наши модели создают текст, наиболее близкий к южному влахскому романи, широко используемому в Интернете, но также включают элементы других, таких как северный влахский и балканский романи.

PaLM 2 сыграла ключевую роль в обучении Translate языкам, которые тесно связаны, например, близким к хинди, таким как авади и марвади, а также французским креольским, таким как сейшельский и маврикийский креольский. По мере развития технологий и продолжения работы с экспертными лингвистами и носителями языка мы будем поддерживать ещё больше языковых разновидностей и орфографических стандартов со временем.

Ознакомьтесь с Центром помощи, чтобы узнать больше о недавно добавленных языках. И начните переводить на translate.google.com или в приложении Google Translate для Android и iOS.