Статья: Методология иерархического многозадачного обучения нейронных сетей типа ERNIE 3 для анализа и генерации русскоязычных текстов (2025)

Читать онлайн

Статья посвящена разработке методологии иерархического многозадачного обучения нейронных сетей, основанной на принципах архитектуры ERNIE 3, и экспериментальной апробации данной методологии на базе модели FRED-T5 для задач анализа и генерации текстов на русском языке. Иерархическое многозадачное обучение является перспективным подходом к созданию универсальных языковых моделей, способных эффективно решать разнообразные задачи обработки естественного языка (NLP). Предложенная методология объединяет преимущества специализированных энкодерных блоков для задач понимания текста (NLU) и общего декодера для генеративных задач (NLG), что позволяет повысить производительность модели и снизить вычислительные затраты. В работе проведён сравнительный анализ эффективности разработанной методологии на открытом бенчмарке Russian SuperGLUE с использованием предварительно обученной русскоязычной модели FRED-T5-1.7B. Экспериментальные результаты подтвердили существенное улучшение качества модели в режимах zero-shot и few-shot по сравнению с базовой конфигурацией. Дополнительно рассмотрены возможности практического применения разработанного подхода в решении реальных NLP-задач, а также даны рекомендации по дальнейшему развитию методологии и её интеграции в прикладные системы обработки русскоязычных текстов.

Ключевые фразы: иерархическое многозадачное обучение, fred-t5, обработка естественного языка, нейронные сети, генерация текста, АНАЛИЗ ТЕКСТА, zero-shot обучение, few-shot обучение, seq2seq модели
Автор (ы): Середкин Александр Валерьевич, Тотмина Екатерина Вадимовна
Журнал: МОДЕЛИРОВАНИЕ И АНАЛИЗ ИНФОРМАЦИОННЫХ СИСТЕМ

Предпросмотр статьи

Идентификаторы и классификаторы

SCI
Информатика
УДК
004.852. Статистическое обучение и параметрическое обучение
Для цитирования:
СЕРЕДКИН А. В., ТОТМИНА Е. В. МЕТОДОЛОГИЯ ИЕРАРХИЧЕСКОГО МНОГОЗАДАЧНОГО ОБУЧЕНИЯ НЕЙРОННЫХ СЕТЕЙ ТИПА ERNIE 3 ДЛЯ АНАЛИЗА И ГЕНЕРАЦИИ РУССКОЯЗЫЧНЫХ ТЕКСТОВ // МОДЕЛИРОВАНИЕ И АНАЛИЗ ИНФОРМАЦИОННЫХ СИСТЕМ. 2025. Т. 32, № 3
Текстовый фрагмент статьи