Статья: Большие языковые модели и жанрово-речевая системность (2025)

Читать онлайн

В статье исследуется применение большой языковой модели (БЯМ) при решении задачи идентификации речевых жанров. Искусственные нейронные сети, эффективно используемые во многих важных областях, имеют, однако, серьезный недостаток: механизм их функционирования скрыт от исследователей. Поэтому результаты их применения не получают объяснения. Цель работы – определить базовые закономерности функционирования лингвистического модуля БЯМ (глубокой нейронной сети с архитектурой «Трансформер») и тем самым обеспечить интерпретируемость предоставляемых ею данных. Рассматриваются два жанра научных текстов – «Описание нового для науки явления» и «Экспликация научного понятия». Верифицируется гипотеза, согласно которой признаковое пространство, создаваемое БЯМ, базируется на речевой системности распознаваемого жанра. Обосновывается положение о том, что, поскольку жанрово-речевая системность детерминируется экстралингвистическими факторами, прежде всего характеристиками человеческого сознания, ее проявления, отражаемые во внутреннем состоянии БЯМ, могут быть использованы для моделирования воплощаемых в речи когнитивных процессов. Анализируются существующие подходы к интерпретации БЯМ. Описан применяемый метод интерпретации сетей-трансформеров. Предлагается лингвистическая трактовка предварительного обучения и дообучения БЯМ: предварительное обучение на больших корпусах текстов позволяет относительно полно отображать ресурсы языка – систему языковых единиц и общих принципов их использования; при дообучении же на образцах определенной жанрово-речевой организации происходит перестройка языковой системности в системность речевую. Декодирование внутреннего состояния БЯМ точно воспроизвело состав и частоту употребления лексических средств, образующих обучающую выборку. Показатель качества распознавания БЯМ каждого из рассмотренных жанров в результате отображения их речевой системности – F1 0,99. Ключевые слова: жанр речи, речевая системность, познавательно-речевое действие, научный текст, большая языковая модель, искусственная нейронная сеть, Трансформер, BERT

Ключевые фразы: работа выполнена при поддержке министерства науки и высшего образования россий- ской федерации, проект № 075-15-2024-544
Автор (ы): Девяткин Дмитрий Алексеевич (Devyatkin D. A.), Салимовский Владимир Александрович (Salimovskiy V. A.), Чудова Наталья Владимировна (CHudova N. V.), Рыжова Анастасия Александровна (Ryzhova A. A.), Григорьев Олег Георгиевич (Grigorev O. G.)
Журнал: ЖАНРЫ РЕЧИ

Предпросмотр статьи

Идентификаторы и классификаторы

УДК
004. Информационные технологии. Компьютерные технологии. Теория вычислительных машин и систем
811.161.1. Русский язык См. также пример, приведенный в классе 81'282.2
Для цитирования:
ДЕВЯТКИН Д. А., САЛИМОВСКИЙ В. А., ЧУДОВА Н. В., РЫЖОВА А. А., ГРИГОРЬЕВ О. Г. БОЛЬШИЕ ЯЗЫКОВЫЕ МОДЕЛИ И ЖАНРОВО-РЕЧЕВАЯ СИСТЕМНОСТЬ // ЖАНРЫ РЕЧИ. 2025. № 1 (45), ТОМ 20
Текстовый фрагмент статьи