The OpenNET Project / Index page

[ новости /+++ | форум | теги | ]

Выпуск системы машинного перевода OpenNMT 2.28.0

30.07.2022 10:34

Опубликован выпуск системы машинного перевода OpenNMT 0.28.0 (Open Neural Machine Translation), использующей методы машинного обучения. Для построения нейронной сети проект использует возможности библиотеки машинного обучения TensorFlow. Код развиваемых проектом OpenNMT модулей написан на языке Python и распространяется под лицензией MIT. Модели подготовлены для английского, немецкого и каталанского языков, для остальных языков можно самостоятельно сформировать модель на основе набора данных от проекта OPUS (для обучения системе передаётся два файла - один с предложениями на исходном языке, а второй с качественным переводом этих предложений на целевой язык).

Проект развивается при участии компании SYSTRAN, специализирующейся на создании средств машинного перевода, и группы исследователей Harvard, разрабатывающей модели человеческого языка для систем машинного обучения. Интерфейс пользователя максимально упрощён и требует лишь указания входного файла с текстом и файла для сохранения результата перевода. Система расширений даёт возможность реализовывать на базе OpenNMT дополнительную функциональность, например, автореферирование, классификацию текстов и генерацию субтитров.

Применение TensorFlow позволяет задействовать возможности GPU (для ускорения процесса обучения нейронной сети. Для упрощения распространения продукта проектом также развивается самодостаточный вариант транслятора на языке C++ - CTranslate2, который использует предварительно натренированные модели без привязки к дополнительным зависимостям.

В новой версии добавлен параметр initial_learning_rate и реализовано несколько новых аргументов (mha_bias и output_layer_bias) для настройки генератора моделей Transformer. В остальном отмечается исправлением ошибок.

  1. Главная ссылка к новости (https://github.com/OpenNMT/Ope...)
  2. OpenNews: Facebook опубликовал модель для машинного перевода, поддерживающую 200 языков
  3. OpenNews: Компания Mozilla опубликовала собственную систему машинного перевода
  4. OpenNews: Argos Translate - программа для машинного перевода с поддержкой русского языка
  5. OpenNews: Проект OpenNMT развивает систему машинного перевода на основе нейронной сети
  6. OpenNews: Mozilla развивает собственную систему машинного перевода
Лицензия: CC BY 3.0
Короткая ссылка: https://opennet.ru/57577-opennmt
Ключевые слова: opennmt, translate
При перепечатке указание ссылки на opennet.ru обязательно


Обсуждение (29) Ajax | 1 уровень | Линейный | +/- | Раскрыть всё | RSS
  • 1.2, Аноним (2), 10:55, 30/07/2022 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    >pip install ctranslate2

    а где-нибудь можно посмотреть результат онлайн? А то systran известные трешеделы, нет доверия.

     
  • 1.4, Аноним (4), 11:50, 30/07/2022 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Любопытно. Коли обучаемая система, и есть хорошие переводы Набокова и туда, и сюда, и Пастернака, и Вудхауза, и Троллопа, да и Шекспир не обойден хорошими переводами, словарный запас у них и словоформы выходят за пределы "поколения твитов", может возможно сделать хороший переводчик?
     
     
  • 2.33, economist (?), 14:44, 31/07/2022 [^] [^^] [^^^] [ответить]  
  • +/
    Там перевод литературный, не "близко к тексту", а "близко по смыслу и духу", а это даже для ML сложно.

    Сочинить шумелки, пыхтелки, сопелки, а также кричалки и ворчалки Винни-пуха - ни один переводчик не сможет, наверное, никогда. А люди - смогли.

     
     
  • 3.36, Аноним (-), 18:34, 31/07/2022 [^] [^^] [^^^] [ответить]  
  • +/
    DALL-E может рисовать картинки в заданном стиле. Почему бы и генераторам текста не научится генерить тексты в заданном стиле? Тебе кажется, что с текстом как-то иначе, и у ML возникнут неодолимые проблемы с этим?

    С текстом есть сложность в осмысленности этого текста. С картинками нет проблем осмысленности, потому что они проективны: зритель сам находит в них смысл, даже если они бессмысленны. Кляксы Роршаха подтвердят. А смысл, когда он есть, завязан на причинно-следственные модели в головах у людей, а у современного ИИ этих моделей нет пока. Поэтому у него смысл выглядит непреодолимой проблемой, по-крайней мере до тех пор, пока разработчики ИИ не сменят парадигму. Но на пути передачи стиля я не вижу особых проблем.

     

  • 1.5, Аноним (-), 12:19, 30/07/2022 [ответить] [﹢﹢﹢] [ · · · ]  
  • +2 +/
    > Применение TensorFlow позволяет
    > задействовать возможности GPU

    Агаблин, и кому это надо кроме его кодеров, чтоб еще на GPU это акселерировать? Тому кто пытается закосплеить гуглтранслейт третьесортный? Он даже и первосортный то глубинно жжет напалмом, выдавая аццкие перлы.

     
     
  • 2.30, Бывалый смузихлёб (?), 06:07, 31/07/2022 [^] [^^] [^^^] [ответить]  
  • –2 +/
    > чтоб еще на GPU это акселерировать

    Новая фича пакета для перевода - майнинг на ГПУ во время использования в пользу разрабов
    Но без поддержки видеокарт получается даже меньше чем ничего

     

  • 1.8, ИмяХ (?), 13:30, 30/07/2022 [ответить] [﹢﹢﹢] [ · · · ]  
  • +3 +/
    2022 год, теперь для работы с текстом нужен Tensorflow и GPU
     
     
  • 2.10, Аноним (10), 13:35, 30/07/2022 [^] [^^] [^^^] [ответить]  
  • +2 +/
    Никто не мешает вам продолжать работать с текстом (на самом деле перевод — это не работа с текстом, но да ладно) на уровне PROMT'а образца 2000 года.
     
     
  • 3.13, bnm (?), 14:04, 30/07/2022 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Хочу согласится, перевод это когда ты пытаешься понять на одном языке, затем пытаешься объяснить на другом
     
  • 2.12, Аноним (12), 14:01, 30/07/2022 [^] [^^] [^^^] [ответить]  
  • –1 +/
    Для работы с текстом на родном языке, Tensorflow точно ненужен. Вот GPU нужен, если это текстовый процессор (для отрисовки интерфейса).
     
     
  • 3.14, Аноним (10), 14:12, 30/07/2022 [^] [^^] [^^^] [ответить]  
  • +/
    Для работы с текстом как с набором символов достаточно и Z80. Но когда вопрос встаёт именно о _языке_, всё меняется. Простейший пример: нужно текст, написанный в настоящем времени, переделать на написанный в прошедшем. Что, SED уже не справляется?
     
  • 3.22, Аноним (22), 19:34, 30/07/2022 [^] [^^] [^^^] [ответить]  
  • +/
    про soft rendering на cpu современные погромисты не слышали
     
     
  • 4.23, Аноним (2), 20:57, 30/07/2022 [^] [^^] [^^^] [ответить]  
  • +/
    240 кадров в 4к не вытягивает плавно отрендерить (и требует слишком много электричества), в итоге имеешь видимые лаги на скролле. Проблема сугубо техническая, видеокарты куда лучше справляются с такими задачами. Это хорошо, что программисты, которым может прийти в голову рендерить на процессоре, давно ушли в прошлое.
     
     
  • 5.24, Аноним (10), 21:15, 30/07/2022 [^] [^^] [^^^] [ответить]  
  • +2 +/
    240 кадров, безусловно, необходимы тестовому процессору.
     
     
  • 6.25, Аноним (10), 21:15, 30/07/2022 [^] [^^] [^^^] [ответить]  
  • +/
    *текстовому
     
     
  • 7.28, kusb (?), 23:54, 30/07/2022 [^] [^^] [^^^] [ответить]  
  • +/
    Текстовому процессоры необходимо много что - как и браузеру. Видимо есть скрытая сложность в отображении сложных документов.
     
  • 6.29, YetAnotherOnanym (ok), 02:55, 31/07/2022 [^] [^^] [^^^] [ответить]  
  • +/
    Запиши сейчас эти слова и сохрани где-нибудь. Когда зрение начнёт садиться, достанешь и посмеёшься.
     
     
  • 7.31, Аноним (10), 07:47, 31/07/2022 [^] [^^] [^^^] [ответить]  
  • +/
    Тогда уже 960 к/с будет минимумом.
    А посмеяться я могу и сейчас.
     
  • 4.37, Аноним (-), 18:38, 31/07/2022 [^] [^^] [^^^] [ответить]  
  • +/
    Современные опеннетовцы просто не сталкивались с софтрендером, и поэтому считают, что это что-то хорошее. А те, кому приходилось сталкиваться, и поработать с десктопом поверх vesa драйвера видеокарты например, особой любви к софтрендеру не испытывают. Когда у тебя скролл волнами по экрану прокатывается, хочется смеяться над теми, кто стонет о тиринге.
     
     
  • 5.39, ИмяХ (?), 16:14, 01/08/2022 [^] [^^] [^^^] [ответить]  
  • +/
    > Когда у тебя скролл волнами по экрану прокатывается, хочется смеяться над
    > теми, кто стонет о тиринге.

    В Diablo 2 местность даже в самых быстрых сапогах-скороходах прекрасно скроллилась без "волн", тиринга и прочих артефактов на третьем пентиуме. А сегодня на восьмиядерном андроиде скролл в соцсетях подлагивает.

     
     
  • 6.40, Аноним (-), 10:43, 02/08/2022 [^] [^^] [^^^] [ответить]  
  • +/
    Ну ты сравнил. Диабло 2, со статичным бекграундом уровня, и несколькими анимациями мобов, которые как-то там надо комбинировать. И соцсеточка, которая рисует 100500 глифов. Плюс соцсеточка -- это тысячи жабоскрипта, да ещё обмазанные жабой андроида. И подлагивает, по-моему опыту, оно из-за ввода-вывода: сеть и накопители они меееедленные, ты знаешь об этом? Диабло мог хранить всё в оперативке и видеопамяти.
     
  • 2.27, kusb (?), 23:48, 30/07/2022 [^] [^^] [^^^] [ответить]  
  • +/
    А почему это просто работа с текстом? Тут нужно переводить смысл (работа со смыслом), угадывать его, машинный перевод - сложное и "нечёткое" дело как по мне. Относительно качественные переводчики появились не так давно и они - нейронные сети, ведь так? И всё равно до людей далеко.
    Это ...мышление, но в каком-то смысле.
     
  • 2.32, Аноним (32), 08:10, 31/07/2022 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Что ещё ожидать от смузихлебов веб-макак, не умеющих освободить за собой память и не знающих архитектуру систем компьютеров
     

  • 1.26, Аноним (26), 23:14, 30/07/2022 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    > для обучения системе передаётся два файла - один с предложениями на исходном языке, а второй с качественным переводом этих предложений на целевой язык

    Надо поэкспериментировать и скормить этой системе смешные переводы Матрицы и Властелина колец от Гоблина.

     
  • 1.34, Аноним (34), 17:10, 31/07/2022 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    А есть автономные свободные эл. переводчики со словарями в комплекте? Что-то наподобие старого "Сократа" под виндой?
     
     
  • 2.38, Аноним (10), 11:52, 01/08/2022 [^] [^^] [^^^] [ответить]  
  • +/
    Ага, а переводили чтобы как Deepl.
     

  • 1.35, microsoft (?), 17:50, 31/07/2022 [ответить] [﹢﹢﹢] [ · · · ]  
  • +1 +/
    Это уже умеет переводить hentai jrpg с лунного на гаш? Нет? Бесполезное барахло тогда.
     
     
  • 2.42, nh (?), 15:05, 31/10/2022 [^] [^^] [^^^] [ответить]  
  • +/
    Вообще-то умеет. Гугли Translator++
     

  • 1.41, UnSh (?), 16:27, 03/08/2022 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Современный серверный ПРОМТ, "ой какая неожиданность" - предлагает использовать gpu для ускорения перевода
     

     Добавить комментарий
    Имя:
    E-Mail:
    Текст:



    Партнёры:
    PostgresPro
    Inferno Solutions
    Hosting by Hoster.ru
    Хостинг:

    Закладки на сайте
    Проследить за страницей
    Created 1996-2024 by Maxim Chirkov
    Добавить, Поддержать, Вебмастеру