Статья: Сбор и анализ датасета для задачи автоматической генерации сообщений коммитов (2025)

Читать онлайн

Цели. Для управления процессом разработки современного программного обеспечения нередко применяются системы контроля версий, которые позволяют фиксировать изменения в программном коде и передавать контекст этих изменений при помощи сообщений коммитов. Релевантное и качественное описание внесенных изменений при помощи таких сообщений требует от разработчика высокой компетенции и времени, но современные методы машинного обучения позволяют решать эту задачу автоматически. Целью работы является статистический и сравнительный анализ собранной выборки данных с наборами изменений в программном коде и их описаниями на естественном языке.

Методы. В исследовании использован комплексный подход, включающий сбор данных с популярных репозиториев на GitHub, предварительную обработку и фильтрацию данных, а также статистический анализ и метод обработки естественного языка (векторизация текста). Для оценки семантической близости между первым предложением и полным текстом сообщений коммитов было использовано косинусное сходство.

Результаты. Проведено исследование структуры и качества сообщений коммитов, включающее сбор данных из репозиториев GitHub и их предварительную очистку. Осуществлена векторизация текста сообщений коммитов и оценка семантической близости между первыми предложениями и полными текстами сообщений с использованием косинусного сходства. Выполнен сравнительный анализ качества сообщений в собранном датасете и в нескольких аналогичных наборах данных с помощью классификации при помощи модели CodeBERT.

Выводы. Проведенный анализ выявил низкий уровень косинусного сходства между первыми предложениями и полными текстами сообщений коммитов (0.0969), что свидетельствует о слабой семантической связи между ними и опровергает гипотезу о том, что первые предложения выступают в качестве обобщения содержания сообщений. Процентная доля пустых сообщений в собранном наборе данных составила лишь 0.0007%, что существенно ниже ожидаемого значения и указывает на высокое качество собранных данных. Классификационный анализ показал, что доля сообщений, отнесенных к категории «плохих», в собранном датасете составляет 16.82%, что значительно ниже аналогичных показателей в других сопоставимых наборах данных, где этот процент варьируется от 34.75% до 54.26%. Данный факт подчеркивает высокое качество собранного набора данных и его адекватность для дальнейшего применения в системах автоматической генерации сообщений коммитов.

Ключевые фразы: генерация сообщений коммитов, системы контроля версий, описание изменений в про- граммном коде, КОСИНУСНОЕ СХОДСТВО, фильтрация данных, векторизация текста, датасет, машинное обучение
Автор (ы): Косьяненко Иван Александрович, Болбаков Роман Геннадьевич
Журнал: RUSSIAN TECHNOLOGICAL JOURNAL

Предпросмотр статьи

Идентификаторы и классификаторы

УДК
004.622. Подготовка данных
Для цитирования:
КОСЬЯНЕНКО И. А., БОЛБАКОВ Р. Г. СБОР И АНАЛИЗ ДАТАСЕТА ДЛЯ ЗАДАЧИ АВТОМАТИЧЕСКОЙ ГЕНЕРАЦИИ СООБЩЕНИЙ КОММИТОВ // RUSSIAN TECHNOLOGICAL JOURNAL. 2025. № 2, ТОМ 13
Текстовый фрагмент статьи