ISSN 1818-1015 · EISSN 2313-5417

· Язык: ru

Статья: Алгоритмы автоматической морфемной сегментации для белорусского языка: сравнение актуальных подходов (2025)

Читать

Читать онлайн

Задача автоматической морфемной сегментации для морфологически богатых, но малоресурсных языков, таких как белорусский, остаётся недостаточно изученной. Настоящая работа представляет собой первое масштабное сравнительное исследование эффективности современных нейросетевых подходов к морфемной сегментации на материале белорусского языка. Мы сопоставили три подхода, показавших высокое качество в случае других языков: алгоритмы на базе свёрточных нейронных сетей, алгоритмы на основе LSTM-сетей и дообучение BERT-подобных моделей. Из-за малого числа доступных моноязычных белорусских моделей, мы также добавили к сравнению более крупные русскоязычные и многоязычные модели. Эксперименты проводились на свободно доступном наборе данных Slounik с использованием двух стратегий разбиения данных на обучающую и тестовую выборки. В первом случае разбиение было случайным, во втором случае слова были разбиты по корням так, чтобы однокоренные слова не могли попасть одновременно в обучающую и тестовую выборки. Наилучшей производительности в ходе экспериментов достиг ансамбль LSTM-сетей с долей полностью верных разборов 91.42% при случайном разбиении и 73.89% при разбиении по корням. Сопоставимые результаты продемонстрировали дообученные многоязычные и русскоязычные BERT-подобные модели, что подчёркивает возможность применения в этой задаче крупных моделей, в том числе, обученных на близкородственных и более ресурсообеспеченных языках. Анализ ошибок подтвердил, что большинство неточностей, как и для других славянских языков, связано с определением границ корня.

Ключевые фразы: обработка естественного языка, автоматическая морфемная сегментация, глубокое обучение, белорусский язык, малоресурсные языки

Автор (ы): Морозов Дмитрий Алексеевич, Феоктистов Григорий Олегович, Глазкова Анна Валерьевна

Журнал: МОДЕЛИРОВАНИЕ И АНАЛИЗ ИНФОРМАЦИОННЫХ СИСТЕМ

Предпросмотр статьи

Идентификаторы и классификаторы

SCI: Информатика
УДК: 004.912. Обработка текста

Для цитирования:

МОРОЗОВ Д. А., ФЕОКТИСТОВ Г. О., ГЛАЗКОВА А. В. АЛГОРИТМЫ АВТОМАТИЧЕСКОЙ МОРФЕМНОЙ СЕГМЕНТАЦИИ ДЛЯ БЕЛОРУССКОГО ЯЗЫКА: СРАВНЕНИЕ АКТУАЛЬНЫХ ПОДХОДОВ // МОДЕЛИРОВАНИЕ И АНАЛИЗ ИНФОРМАЦИОННЫХ СИСТЕМ. 2025. Т. 32, № 4

Текстовый фрагмент статьи

Моя история просмотров (2)

01. Книга: Фауна и экосистемы геологического прошлого

02. Книга: Очерки из истории раннего капитализма в Италии

Список литературы

1. P. Gage, “A new algorithm for data compression,” C User Journal, vol. 12, no. 2, pp. 23-38, 1994.
2. A. Matthews, G. Neubig, and C. Dyer, “Using Morphological Knowledge in Open-Vocabulary Neural Language Models,” in Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long Papers), New Orleans, Louisiana, 2018, pp. 1435-1445, https://doi.org/10.18653/v1/N18-1130.
3. A. Nzeyimana and A. Niyongabo Rubungo, “KinyaBERT: a Morphology-aware Kinyarwanda Language Model,” in Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), 2022, pp. 5347-5363, https://doi.org/10.18653/v1/2022.acl-long.367.
4. M. W. Kildeberg, E. A. Schledermann, N. Larsen, and R. van der Goot, “From Smor-re-brod to Subwords: Training LLMs on Danish, One Morpheme at a Time.” 2025.
5. E. Asgari, Y. E. Kheir, and M. A. S. Javaheri, “MorphBPE: A Morpho-Aware Tokenizer Bridging Linguistic Complexity for Efficient LLM Training Across Morphologies.” 2025.
6. S. O. Savchuk et al., “Russian National Corpus 2.0: New opportunities and development prospects,” Voprosy Jazykoznanija, no. 2, pp. 7-34, 2024, https://doi.org/10.31857/0373-658x.2024.2.7-34.
7. M. Olbrich and Z. vZabokrtsk’y, “Morphological Segmentation with Neural Networks: Performance Effects of Architecture, Data Size, and Cross-Lingual Transfer in Seven Languages,” in Text, Speech, and Dialogue, 2026, pp. 275-286, https://doi.org/10.1007/978-3-032-02551-7_24.
8. D. Morozov, L. Astapenka, A. Glazkova, T. Garipov, and O. Lyashevskaya, “BERT-like Models for Slavic Morpheme Segmentation,” in Proceedings of the 63rd Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), 2025, pp. 6795-6815, https://doi.org/10.18653/v1/2025.acl-long.337.
9. M. Pranji’c, M. Robnik-vSikonja, and S. Pollak, “LLMSegm: Surface-level Morphological Segmentation Using Large Language Model,” in Proceedings of the 2024 Joint International Conference on Computational Linguistics, Language Resources and Evaluation (LREC-COLING 2024), 2024, pp. 10665-10674.
10. C. Anderson, M. Nguyen, and R. Coto-Solano, “Unsupervised, Semi-Supervised and LLM-Based Morphological Segmentation for Bribri,” in Proceedings of the Fifth Workshop on NLP for Indigenous Languages of the Americas (AmericasNLP), 2025, pp. 63-76, https://doi.org/10.18653/v1/2025.americasnlp-1.7.
11. K. Batsuren et al., “The SIGMORPHON 2022 Shared Task on Morpheme Segmentation,” in Proceedings of the 19th SIGMORPHON Workshop on Computational Research in Phonetics, Phonology, and Morphology, 2022, pp. 103-116, https://doi.org/10.18653/v1/2022.sigmorphon-1.11.
12. B. Peters and A. F. T. Martins, “Beyond Characters: Subword-level Morpheme Segmentation,” in Proceedings of the 19th SIGMORPHON Workshop on Computational Research in Phonetics, Phonology, and Morphology, 2022, pp. 131-138, https://doi.org/10.18653/v1/2022.sigmorphon-1.14.
13. S. Wehrli, S. Clematide, and P. Makarov, “CLUZH at SIGMORPHON 2022 Shared Tasks on Morpheme Segmentation and Inflection Generation,” in Proceedings of the 19th SIGMORPHON Workshop on Computational Research in Phonetics, Phonology, and Morphology, 2022, pp. 212-219, https://doi.org/10.18653/v1/2022.sigmorphon-1.21.
14. A. Sorokin, “Improving Morpheme Segmentation Using BERT Embeddings,” in Analysis of Images, Social Networks and Texts, 2022, pp. 148-161, https://doi.org/10.1007/978-3-031-16500-9_13.
15. A. Sorokin and A. Kravtsova, “Deep Convolutional Networks for Supervised Morpheme Segmentation of Russian Language,” in Artificial Intelligence and Natural Language, 2018, pp. 3-10, https://doi.org/10.1007/978-3-030-01204-5_1.
16. E. I. Bolshakova and A. S. Sapin, “Comparing models of morpheme analysis for Russian words based on machine learning,” in Computational Linguistics and Intellectual Technologies. Papers from the Annual International Conference “Dialogue,” 2019, vol. 18, pp. 104-113.
17. E. Bolshakova and A. Sapin, “Bi-LSTM Model for Morpheme Segmentation of Russian Words,” in Artificial Intelligence and Natural Language, 2019, pp. 151-160, https://doi.org/10.1007/978-3-030-34518-1_11.
18. T. Garipov, D. Morozov, and A. Glazkova, “Generalization ability of CNN-based Morpheme Segmentation,” in Proceedings of the Ivannikov Ispras Open Conference (ISPRAS), 2024, pp. 58-62, https://doi.org/10.1109/ISPRAS60948.2023.10508171.
19. D. Morozov, T. Garipov, O. Lyashevskaya, S. Savchuk, B. Iomdin, and A. Glazkova, “Automatic Morpheme Segmentation for Russian: Can an Algorithm Replace Experts?,” Journal of Language and Education, vol. 10, no. 4, pp. 71-84, 2024, https://doi.org/10.17323/jle.2024.22237.
20. L. S. Mormysh, A. M. Bardovich, and L. M. Shakun, School morpheme dictionary of the Belarusian language [SHkol’ny marfemny slovnik belaruskaj movy]. Minsk: Aversev, 2005.
21. A. Paszke et al., “PyTorch: An Imperative Style, High-Performance Deep Learning Library,” in Advances in Neural Information Processing Systems 32, 2019, pp. 8024-8035.
22. D. Zmitrovich et al., “A Family of Pretrained Transformer Language Models for Russian,” in Proceedings of the 2024 Joint International Conference on Computational Linguistics, Language Resources and Evaluation (LREC-COLING 2024), 2024, pp. 507-524.
23. M. Arkhipov, M. Trofimova, Y. Kuratov, and A. Sorokin, “Tuning Multilingual Transformers for Language-Specific Named Entity Recognition,” in Proceedings of the 7th Workshop on Balto-Slavic Natural Language Processing, 2019, pp. 89-93, https://doi.org/10.18653/v1/W19-3712.
24. J. Devlin, M.-W. Chang, K. Lee, and K. Toutanova, “BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding,” in Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), 2019, pp. 4171-4186.
25. V. Sanh, L. Debut, J. Chaumond, and T. Wolf, “DistilBERT, a distilled version of BERT: smaller, faster, cheaper and lighter.” 2020.

Выпуск

Т. 32, № 4 (2025)

Кол-во страниц: 100 страниц

Другие статьи выпуска

Влияние различных типов промптов на качество автоматической оценки ответов учащихся моделями искусственного интеллекта (2025)

Авторы: Мещеряков Иван Андреевич, Лагутина Надежда Станиславовна

Модели искусственного интеллекта (AI) могут полностью или частично автоматизировать проверку контрольных работ учащихся, делая методы экспертизы более точными и объективными. Качество работы таких моделей зависит не только от базовых алгоритмов и обучающих данных, но и от эффективности формулируемых запросов. Целью работы является исследование возможности применения открытых моделей искусственного интеллекта для оценивания ответов студентов на соответствие эталонному ответу преподавателя, а также увеличение качества решения задачи при помощи промпт-инжиниринга. Методом определения этого качества выбраны статистические характеристики результатов классификации текстов ответов на четыре категории: правильные, частично правильные, неверные, несоответствующие теме вопроса, моделями AI при использовании следующих вариантов промптов: простой промпт, ролевой промпт, промпт «цепочка мыслей», промпт, сгенерированный искуственным интеллектом. Для исследования были выбраны модели, доступные для открытого использования, ChatGPT o3-mini, DeepSeek V3, Mistral-Small-3.1-24B-Instruct-2503-IQ4_XS и Grok 3. Тестирование моделей проводилось на корпусе текстов студентов, собранном преподавателями ЯрГУ имени Демидова, из 507 ответов на 8 вопросов. Лучшее качество оценки ответов показала модель ChatGPT o3-mini со сгенерированным ей же промптом. Доля правильных ответов (accuracy) составила 0,82, среднеквадратичная ошибка (MSE) — 0,2, а F-мера достигла 0,8, что показывает перспективность использования AI не только в качестве инструмента оценки, но и в качестве средства автоматической генерации инструкций. Для оценки согласованности ответов модели при 10 одинаковых запросах был использован коэффициент Флейсса. Для указанной пары модели и промпта он составил от 0,48 для сложных вопросов до 0,69 для простых вопросов.

Сохранить в закладках

Алгоритмы комбинаторной генерации на основе структур деревьев И/ИЛИ для класса алгебраических производящих функций (2025)

Авторы: Шабля Юрий Васильевич

В данной статье предложен систематический подход к разработке алгоритмов комбинаторной генерации для множеств дискретных структур, мощность которых задается коэффициентами алгебраических производящих функций и их степеней. Исследование базируется на наличии связи между операциями над производящими функциями и комбинаторными множествами. В качестве основы использован математический аппарат деревьев И/ИЛИ, который позволяет комбинировать алгоритмы комбинаторной генерации для простых подструктур в сложные комбинаторные объекты. При этом основным теоретическим результатом работы является вывод новых эффективных рекуррентных формул для вычисления значений коэффициентов алгебраических производящих функций и их степеней с полиномиальной вычислительной сложностью O ((n1 + … + nm + m) n2)по времени и O( n2) по памяти. На основе доказанных теорем о рекуррентных формулах, предложенный подход позволяет строить алгоритмы с полиномиальной оценкой вычислительной сложности, что делает их применимыми для решения практических задач в области прикладной дискретной математики и теоретической информатики. Кроме того, использование коэффициентов степеней производящих функций расширяет возможности генерации, так как это позволяет строить не только объекты исходного комбинаторного множества, связанного с производящей функцией, но и кортежи таких объектов. Апробация предложенного подхода показана на примерах получения рекуррентных формул и алгоритмов генерации на их основе для классических числовых последовательностей, таких как числа Фибоначчи, Пелля, Каталана, Моцкина и Шредера. Предложенный подход открывает новые возможности для решения задач оптимизации, моделирования и кодирования сложных дискретных структур, например, в таких областях как биоинформатика и криптография.

Сохранить в закладках

Применение тензоров в многомерном компонентном анализе категоризованных признаков (2025)

Авторы: Банин Александр Анатольевич

При моделировании социальных процессов и явлений зачастую приходится обрабатывать данные, относящиеся к категоризованным признакам, выявлять причинно-следственные связи между такими данными, выделять наиболее существенные показатели. Исследование существующих подходов к анализу зависимостей между категоризованными переменными выявило ряд проблем при применении этих методов для многомерных категоризованных данных (тензоров). Поэтому в статье предлагается подход для изучения зависимостей между такими переменными с использованием многомерного компонентного анализа. Данный подход предполагает применение матриц развертки тензора, полученных для каждой его оси (категоризованного признака). Метод позволяет построить интегральные характеристики (компоненты) по элементам исходного тензора, сформировать матрицы компонентных нагрузок и рассчитать ядро тензора, имеющего меньшее число градаций категоризованных признаков (меньшее число измерений на осях тензора), чем исходный тензор. В статье предложен метод ранжирования градаций категоризованных переменных по степени совокупного влияния на них компонентных нагрузок, основанный на вычислении векторных норм. Изложенный подход к изучению зависимостей между многомерными категоризованными переменными продемонстрирован на примере трехмерного тензора с формой (4;10;10) и категоризованными признаками: группа нозологии, сфера деятельности, группа профессионально значимых качеств. Рассмотренный в статье алгоритм изучения многомерных категоризованных данных с применением многомерного компонентного анализа предполагается включить как аналитический инструмент информационно-аналитического регионального портала «ПЕРСПЕКТИВА-PRO», который может быть использован для разработки траекторий цифрового сопровождения лиц с инвалидностью и лиц с ОВЗ с учетом их личностных и вариативных характеристик.

Сохранить в закладках

Издательство

Издательство: ЯрГУ им. П.Г. Демидова
Регион: Россия, Ярославль
Почтовый адрес: 150003, Ярославль, Советская, 14,
Юр. адрес: 150003, Ярославль, Советская, 14,
ФИО: Иванчин Артем Владимирович (Ректор)
E-mail адрес: rectorat@uniyar.ac.ru
Контактный телефон: +7 (485) 2797702
Сайт: https://www.uniyar.ac.ru/

Все права на тексты и товарные знаки принадлежат их законным владельцам. Подробнее...

Сайт https://scinetwork.ru (далее – сайт) работает по принципу агрегатора – собирает и структурирует информацию из публичных источников в сети Интернет, то есть передает полнотекстовую информацию о товарных знаках в том виде, в котором она содержится в открытом доступе.

Сайт и администрация сайта не используют отображаемые на сайте товарные знаки в коммерческих и рекламных целях, не декларируют своего участия в процессе их государственной регистрации, не заявляют о своих исключительных правах на товарные знаки, а также не гарантируют точность, полноту и достоверность информации.

Все права на товарные знаки принадлежат их законным владельцам!

Сайт носит исключительно информационный характер, и предоставляемые им сведения являются открытыми публичными данными.

Администрация сайта не несет ответственность за какие бы то ни было убытки, возникающие в результате доступа и использования сайта.

Спасибо, понятно.

Сказать «Спасибо»

Вы можете поблагодарить автора за публикацию. Ему (ей) будет приятно.

Наведите камеру на QR-код, чтобы открыть моб. версию страницы.