Статья: Философско-методологический анализ бенчмаркинга как средства оценки больших языковых моделей (2025)

Читать онлайн

Представлен анализ методологии бенчмаркинга и проблематики его применения для оценки эффективности больших языковых моделей (БЯМ). Этот метод получил широкое распространение в различных научных областях — как гуманитарных, так и технических. Отмечено, что в сфере машинного обучения бенчмаркинг применяется давно и считается основным способом определения качества моделей и оценки их способностей решать разноплановые задачи, однако отсутствует строгая методология создания бенчмарков, организации процесса тестирования и интерпретации полученных результатов. Показано, что бенчмаркинг представляет собой многоаспектный и комплексный процесс, подверженный влиянию социокультурной, экономической и политической среды. Изучение данной проблематики имеет высокую актуальность как для разработки БЯМ, так и для всей области искусственного интеллекта, поскольку корректная методология оценки позволит минимизировать риски интеграции моделей в различные сферы человеческой деятельности. Рассмотрены отдельные этапы становления и развития бенчмаркинга. Особое внимание уделено критическому анализу современных методов оценки, их ограничениям и потенциальным искажениям при определении реальных возможностей интеллектуальных систем. Сформулированы концептуальные аспекты для философского осмысления бенчмаркинга и намечены направления дальнейших исследований, что составляет научную новизну данной работы.

Ключевые фразы: БЕНЧМАРКИНГ, большие языковые модели, оценка искусственного интеллекта, методология тестирования, эпистемология ии, социокультурные аспекты ии, валидность тестирования, операционализация знаний
Автор (ы): Батин Роман Евгеньевич (Batin R. E.)
Журнал: ГУМАНИТАРНЫЙ ВЕСТНИК

Предпросмотр статьи

Идентификаторы и классификаторы

SCI
Нанотехнология
УДК
004.8. Искусственный интеллект
Для цитирования:
БАТИН Р. Е. ФИЛОСОФСКО-МЕТОДОЛОГИЧЕСКИЙ АНАЛИЗ БЕНЧМАРКИНГА КАК СРЕДСТВА ОЦЕНКИ БОЛЬШИХ ЯЗЫКОВЫХ МОДЕЛЕЙ // ГУМАНИТАРНЫЙ ВЕСТНИК. 2025. № 3 (113)
Текстовый фрагмент статьи
Моя история просмотров (10)
Будьте первым, кто начнет обсуждение

Если у вас возникли вопросы или появились предложения по содержанию статьи, пожалуйста, направляйте их в рамках данной темы.