Оценка качества сгенерированных научных статей экспертами и большими языковыми моделями

Abstract

Статья посвящена оценке качества научных статей, сгенерированных большими языковыми моделями (БЯМ), в сопоставлении с антропогенными статьями двух жанров (общетеоретического и научно-исследовательского) посредством интегративной лингводискурсивной методики исследования продуктов искусственного текстопорождения. Материалом послужили двенадцать текстов: два антропогенных текста научных статей (общетеоретическая и научно-исследовательская) и тексты, сгенерированные пятью БЯМ (DeepSeek-V4, Gemini 3 Flash, GigaChat 2 Ultra, ChatGPT-5.3 Instant, Alice AI LLM) на базе представленных в антропогенных статьях данных. Оценка проводилась экспертамилингвистами и БЯМ-оценщиками по двадцати пяти критериям (общеязыковым и дискурсноспецифичным) с последующим сопоставлением полученных показателей. Выявлена асимметрия экспертной и машинной оценок, зависимость качества генераций от жанра и архитектуры модели, установлена иерархия изучаемых БЯМ по качеству порождаемых текстов. Показано, что общеязыковая правильность является необходимой, но недостаточной основой для создания полноценного академического текста; наиболее уязвимы параметры, требующие эпистемической позиции, – глубина аргументации, доказательность и личный вклад автора. Современные БЯМ успешно имитируют внешние жанровые признаки, однако не достигают содержательной глубины, что ставит вопрос о разработке дискурсно-ориентированных подходов к оценке академических текстов. К л юч е в ы е с л о в а: искусственное текстопорождение; большая языковая модель; экспертная оценка; автоматическая оценка; критерии качества сгенерированного контента.