ISSN 2311-0740 · EISSN 2311-0759
Языки: ru · en

Статья: Большие языковые модели и жанрово-речевая системность (2025)

Читать онлайн

В статье исследуется применение большой языковой модели (БЯМ) при решении задачи идентификации речевых жанров. Искусственные нейронные сети, эффективно используемые во многих важных областях, имеют, однако, серьезный недостаток: механизм их функционирования скрыт от исследователей. Поэтому результаты их применения не получают объяснения. Цель работы – определить базовые закономерности функционирования лингвистического модуля БЯМ (глубокой нейронной сети с архитектурой «Трансформер») и тем самым обеспечить интерпретируемость предоставляемых ею данных. Рассматриваются два жанра научных текстов – «Описание нового для науки явления» и «Экспликация научного понятия». Верифицируется гипотеза, согласно которой признаковое пространство, создаваемое БЯМ, базируется на речевой системности распознаваемого жанра. Обосновывается положение о том, что, поскольку жанрово-речевая системность детерминируется экстралингвистическими факторами, прежде всего характеристиками человеческого сознания, ее проявления, отражаемые во внутреннем состоянии БЯМ, могут быть использованы для моделирования воплощаемых в речи когнитивных процессов. Анализируются существующие подходы к интерпретации БЯМ. Описан применяемый метод интерпретации сетей-трансформеров. Предлагается лингвистическая трактовка предварительного обучения и дообучения БЯМ: предварительное обучение на больших корпусах текстов позволяет относительно полно отображать ресурсы языка – систему языковых единиц и общих принципов их использования; при дообучении же на образцах определенной жанрово-речевой организации происходит перестройка языковой системности в системность речевую. Декодирование внутреннего состояния БЯМ точно воспроизвело состав и частоту употребления лексических средств, образующих обучающую выборку. Показатель качества распознавания БЯМ каждого из рассмотренных жанров в результате отображения их речевой системности – F1 0,99. Ключевые слова: жанр речи, речевая системность, познавательно-речевое действие, научный текст, большая языковая модель, искусственная нейронная сеть, Трансформер, BERT

Ключевые фразы: работа выполнена при поддержке министерства науки и высшего образования россий- ской федерации, проект № 075-15-2024-544
Автор (ы): Девяткин Дмитрий Алексеевич, Салимовский Владимир Александрович, Чудова Наталья Владимировна, Рыжова Анастасия Александровна, Григорьев Олег Георгиевич
Журнал: ЖАНРЫ РЕЧИ

Идентификаторы и классификаторы

УДК
004. Информационные технологии. Компьютерные технологии. Теория вычислительных машин и систем
811.161.1. Русский язык См. также пример, приведенный в классе 81'282.2
Для цитирования:
ДЕВЯТКИН Д. А., САЛИМОВСКИЙ В. А., ЧУДОВА Н. В., РЫЖОВА А. А., ГРИГОРЬЕВ О. Г. БОЛЬШИЕ ЯЗЫКОВЫЕ МОДЕЛИ И ЖАНРОВО-РЕЧЕВАЯ СИСТЕМНОСТЬ // ЖАНРЫ РЕЧИ. 2025. № 1 (45), ТОМ 20
Текстовый фрагмент статьи
Моя история просмотров (10)