Digital Repository
Belarusian state university of foreign languages
ISSN (online):
Please use this identifier to cite or link to this item:
http://e-lib.bsufl.by/handle/edoc/17859| Title: | Автоматическая оценка качества машинного перевода в языковой паре с малоресурсным языком |
| Other Titles: | Automatic Machine Translation Evaluation For A Low-Resource Language |
| Authors: | Епимахова, А. С. Коканова, Е. С. |
| Keywords: | Языкознание (лингвистика) Прикладное языкознание Перевод Машинный перевод |
| Issue Date: | 2025 |
| Publisher: | Белорусский государственный университет иностранных языков |
| Citation: | Епимахова, А. С. Автоматическая оценка качества машинного перевода в языковой паре с малоресурсным языком / А. С. Епимахова, Е. С. Коканова // Язык в эпоху цифровых трансформаций и развития искусственного интеллекта : сб. науч. ст. по итогам II междунар. науч. конф., Минск, 23–24 окт. 2025 г. / редкол. : Н. Е. Лаптева (отв. ред.) [и др.]. – Минск : БГУИЯ, 2025. – С. 517–527. |
| Abstract: | Использование метрик автоматической оценки качества стало неотъемлемой частью разработки систем машинного перевода. Выбор метрик определяется такими факторами, как языковая пара и направление перевода, возможность интуитивной интерпретации полученных результатов, популярность метрики среди разработчиков и исследователей. В статье проводится экспериментальное исследование по разработке модуля оценки качества машинного перевода для языковой пары ненецкий-русский. В результате исследования для автоматической оценки качества выбраны классические метрики BLEU, sacreBLEU, TER, CharacTER, RIBES, chrF++ для обоих направлений перевода и нейросетевая метрика BERTScore только для направления ненецкий-русский. Ограничения связаны с тем, что необходимо использовать метрики, либо рассчитываемые независимо от конкретного языка, либо поддерживающие данный язык. Число метрик, поддерживающих русский язык, ограничено. Ненецкий язык относится к малоресурсным и не поддерживается метриками. Использование нескольких метрик позволяет получить более комплексную оценку. Ключевые слова: машинный перевод; автоматическая оценка качества машинного перевода; метрики автоматической оценки качества машинного перевода; малоресурсный язык; ненецкий язык; языковая пара ненецкий-русский. |
| Description: | Epimakhova А., Кokanova Е. Automatic evaluation metrics are an integral part of machine translation systems development. The choice of metrics is determined by the source and target languages, possibility of intuitive interpretation of the scores, and the popularity of the metric among developers and researchers. The paper presents an experimental study on the development of a machine translation evaluation module for the Nenets-Russian language pair. As a result of the study, the traditional metrics BLEU, sacreBLEU, TER, CharacTER, RIBES, chrF++ were selected for automatic evaluation in both translation directions. BERTScore neural network metric was selected only for the Nenets-Russian direction. The chosen metrics should either be calculated independently of a specific language, or support the given languages. However, the number of metrics supporting Russian is limited. As for the Nenets language, it is low-resourced and therefore not supported by any metric. Using multiple metrics permits to get a more comprehensive assessment. Key words: machine translation; automatic machine translation evaluation; automatic machine translation evaluation metrics; low-resource language; Nenets language; Nenets-Russian language pair. |
| URI: | http://e-lib.bsufl.by/handle/edoc/17859 |
| ISBN: | 978-985-28-0275-8 |
| Appears in Collections: | Язык в эпоху цифровых трансформаций и развития искусственного интеллекта (статьи) |
Files in This Item:
| File | Description | Size | Format | |
|---|---|---|---|---|
| 517-527.pdf | 12,03 MB | Adobe PDF | View/Open |
Items in DSpace are protected by copyright, with all rights reserved, unless otherwise indicated.