Межагентная оценка качества машинного перевода в предметных областях: сравнительный анализ Google Translate, Yandex Translate и DeepL

Аннотация

Цель: сравнительный анализ качества машинного перевода трёх ведущих систем (Google Translate, Yandex Translate, DeepL) в трёх предметных областях (медицина, юриспруденция, публицистика) с использованием оригинального межагентного подхода на базе YandexGPT.

Методы: исследование выполнено на материале 60 англоязычных текстов (по 20 каждой тематики), переведённых тремя движками (всего 180 переводов). Для оценки привлечена система из шести виртуальных экспертов-агентов на базе YandexGPT: лингвист, семантик, терминолог, прагматик, культурный адаптер и тематический эксперт (медицинский/юридический/эксперт по медиадискурсу). Агенты оценивали переводы по 10-балльной шкале; итоговое решение выносил агент-модератор. Статистическая обработка включала дисперсионный анализ (ANOVA), t-критерий Стьюдента и корреляционный анализ Пирсона/Спирмена.

Результаты: DeepL показал наилучший общий результат (8,57±0,69), особенно в юридической сфере (8,47). Google Translate неожиданно оказался лучшим в медицинской тематике (8,80) и публицистике (8,59). Yandex Translate уступил конкурентам во всех областях, продемонстрировав наибольшую вариативность (7,91±1,06) и критические ошибки в юридических текстах (минимум 5,0). Выявлены статистически значимые различия между движками (p < 0,05). Анализ корреляций между агентами показал высокую согласованность лингвистической и семантической оценок (r = 0,82).

Выводы: Предложенный межагентный подход позволяет получать объяснимые, дифференцированные по аспектам оценки. DeepL является универсальным лидером, особенно в юриспруденции; Google предпочтителен для медицины и публицистики; Yandex требует доработки для специальных областей. Результаты могут быть использованы для оптимизации постредактирования и выбора систем перевода в профессиональных задачах.