Статьи

Введение: многочисленные исследования говорят о том, что современные крупные нейронные сети, как правило, имеют избыточное количество параметров. Целью работы является обучение и оптимизация модели “ruBERT” для применения в информационных вопросно-ответных системах на русском языке. Научная новизна работы состоит в экспериментальном исследовании различных методов прореживания модели “ruBERT” при дообучении на наборе данных “SberQuAD”.
Методы: в настоящей работе используются методы обработки естественного языка, машинного обучения, прореживания искусственных нейронных сетей. Языковая модель была настроена и дообучена при помощи библиотек машинного обучения “Torch” и “Hugging Face”. Для обучения нейронных сетей использовался набор данных “SberQuAD”. Все эксперименты проводились при помощи сервисов “Google Colab” и “Google Cloud”.
Результаты: было обнаружено, что удаление ~54% от числа весов кодировщика модели “ruBERT” (~39 миллионов параметров) приводит к незначительным ухудшениям в результатах работы модели: с 67,31 до 63,28 для показателя EM и с 85,47 до 82,48 для показателя F-мера. Полученные результаты говорят о том, что модель “ruBERT” содержит избыточное количество весов для задачи “извлечение ответа на вопрос”. Для эффективного применения данной модели в информационных вопросно-ответных системах на русском языке необходимо проводить её компрессию и оптимизацию. Оптимизированная модель может работать на менее мощном оборудовании без значимых потерь в производительности, что приводит к уменьшению затрат на поддержание информационных вопросно-ответных систем, в которых применяется данная модель.