Научный архив: статьи

Предложен подход к повышению эффективности системы распознавания изображений объектов в комплексах мониторинга и зондирования и беспилотных средствах на основе применения дополнительного признака классификации. Определен перечень задач, решаемых в комплексах зондирования при построении системы распознавания объектов. Для формирования дополнительной характеристики объектов использовано значение фрактальной размерности (фрактальной сигнатуры) изображений их контуров. Представлены результаты фрактального анализа изображений объектов дорожного движения. Получены результаты фрактального анализа изображений территорий, пострадавших от стихийных бедствий. Для построения карты и гистограммы фрактальной размерности предложено использовать размерность Минковского. Представлены результаты экспериментальной проверки работоспособности предлагаемых методов и алгоритмов

Введение: многочисленные исследования говорят о том, что современные крупные нейронные сети, как правило, имеют избыточное количество параметров. Целью работы является обучение и оптимизация модели “ruBERT” для применения в информационных вопросно-ответных системах на русском языке. Научная новизна работы состоит в экспериментальном исследовании различных методов прореживания модели “ruBERT” при дообучении на наборе данных “SberQuAD”.
Методы: в настоящей работе используются методы обработки естественного языка, машинного обучения, прореживания искусственных нейронных сетей. Языковая модель была настроена и дообучена при помощи библиотек машинного обучения “Torch” и “Hugging Face”. Для обучения нейронных сетей использовался набор данных “SberQuAD”. Все эксперименты проводились при помощи сервисов “Google Colab” и “Google Cloud”.
Результаты: было обнаружено, что удаление ~54% от числа весов кодировщика модели “ruBERT” (~39 миллионов параметров) приводит к незначительным ухудшениям в результатах работы модели: с 67,31 до 63,28 для показателя EM и с 85,47 до 82,48 для показателя F-мера. Полученные результаты говорят о том, что модель “ruBERT” содержит избыточное количество весов для задачи “извлечение ответа на вопрос”. Для эффективного применения данной модели в информационных вопросно-ответных системах на русском языке необходимо проводить её компрессию и оптимизацию. Оптимизированная модель может работать на менее мощном оборудовании без значимых потерь в производительности, что приводит к уменьшению затрат на поддержание информационных вопросно-ответных систем, в которых применяется данная модель.