АВТОМАТИЧЕСКОЕ ОПРЕДЕЛЕНИЕ СЕМАНТИЧЕСКОГО СХОДСТВА ОТВЕТОВ УЧАЩИХСЯ С ЭТАЛОННЫМ С ПОМОЩЬЮ СОВРЕМЕННЫХ МОДЕЛЕЙ (2024)
В работе представлены результаты исследования современных моделей текста с целью выявления на их основе семантической близости текстов на английском языке. Задача определения семантического сходства текстов является важной составляющей многих областей обработки естественного языка: машинного перевода, поиска информации, систем вопросов и ответов, искусственного интеллекта в образовании. Авторы решали задачу классификации близости ответов учащихся к эталонному ответу учителя. Для исследования были выбраны нейросетевые языковые модели BERT и GPT, ранее применявшиеся к определению семантического сходства текстов, новая нейросетевая модель Mamba, а так же стилометрические характеристики текста. Эксперименты проводились с двумя корпусами текстов: корпус Text Similarity из открытых источников и собственный корпус, собранный с помощью филологов. Качество решения задачи оценивалось точностью, полнотой и F-мерой. Все нейросетевые языковые модели показали близкое качество F-меры около 86% для большего по размеру корпуса Text Similarity и 50-56% для собственного корпуса авторов. Совсем новым результатом оказалось успешное применение модели mamba. Однако, самым интересным достижением стало применение векторов стилометрических характеристик текста, показавшее 80% F-меры для авторского корпуса и одинаковое с нейросетевыми моделями качество решения задачи для другого корпуса.
Идентификаторы и классификаторы
- eLIBRARY ID
- 67856519
Эффективный контроль знаний обучающихся в тестовых и письменных заданиях обязательно включает ответы в виде связного текста. Классический подход к проверке выполнения таких заданий преподавателем очень трудоёмкий, утомительный и субъективный. По мере развития методов обработки естественного языка и искусственного интеллекта осуществляются исследования в области автоматизации этого процесса [1].
Основной задачей проверки ответов учащихся является определение их сходства с эталонным ответом учителя. Автоматическое определение сходства текста — это, как правило, вычисление расстояния между двумя фрагментами текста, представляющего степень их близости в естественном языке [2]. Решение этой задачи можно рассматривать в двух аспектах: лексическое сходство и семантическое сходство [3].
Список литературы
-
R. Gao, H. E. Merzdorf, S. Anwar, M. C. Hipwell, and A. Srinivasa, “Automatic assessment of text-based responses in post-secondary education: A systematic review”, Computers and Education: Artificial Intelligence, vol. 6, p. 100206, 2024,. DOI: 10.1016/j.caeai.2024.100206
-
J. Wang and Y. Dong, “Measurement of text similarity: a survey”, Information, vol. 11, no. 9, p. 421, 2020,. DOI: 10.3390/info11090421 EDN: RYZFUB
-
A. Rozeva and S. Zerkova, “Assessing semantic similarity of texts-methods and algorithms”, AIP Conference Proceedings, vol. 1910, no. 1, p. 060012, 2017,. DOI: 10.1063/1.5014006
-
P. D. Wibisono, A. Asad, and A. Chintan, “Short text similarity measurement methods: a review”, Soft Computing, vol. 25, pp. 4699-4723, 2021,. DOI: 10.1007/s00500-020-05479-2 EDN: BEKKQT
-
N. S. Lagutina, M. V. Tihomirov, and N. K. Mastakova, “Algoritm avtomaticheskogo postroeniya yazykovogo profilya uchashchegosya”, Zametki po informatike i matematike, no. 15, pp. 58-65, 2023.
-
O. B. Mishunin, A. P. Savinov, and D. I. Firstov, “Sostoyanie i uroven’ razrabotok sistem avtomaticheskoj ocenki svobodnyh otvetov na estestvennom yazyke”, Modern high technologies, no. 1, pp. 38-44, 2016. EDN: VMGKJB
-
L. Zahrotun, “Comparison Jaccard similarity, cosine similarity and combined both of the data clustering with Shared Nearest Neighbor method”, Computer Engineering and Applications Journal, vol. 5, no. 1, pp. 11-18, 2016,. DOI: 10.18495/comengapp.v5i1.160
-
H. A. Abdeljaber, “Automatic Arabic short answers scoring using longest common subsequence and Arabic WordNet”, IEEE Access, vol. 9, pp. 76433-76445, 2021,. DOI: 10.1109/ACCESS.2021.3082408 EDN: TWAHBH
-
S. Sultana and I. Biskri, “Identifying similar sentences by using n-grams of characters”, in Recent Trends and Future Technology in Applied Intelligence: Proceedings of 31st International Conference on Industrial Engineering and Other Applications of Applied Intelligent Systems, 2018, pp. 833-843,. DOI: 10.1007/978-3-319-92058-0_80
-
S. Vij, D. Tayal, and A. Jain, "A machine learning approach for automated evaluation of short answers using text similarity based on WordNet graphs", Wireless Personal Communications, vol. 111, pp. 1271-1282, 2020,. DOI: 10.1007/s11277-019-06913-x EDN: MRULWG
-
Y. Zhou, C. Li, G. Huang, Q. Guo, H. Li, and X. Wei, "A Short-Text Similarity Model Combining Semantic and Syntactic Information", Electronics, vol. 12, no. 14, p. 3126, 2023,. DOI: 10.3390/electronics12143126
-
M. Mohler and R. Mihalcea, "Text-to-text semantic similarity for automatic short answer grading", in Proceedings of the 12th Conference of the European Chapter of the ACL (EACL 2009), 2009, pp. 567-575.
-
M. Han, X. Zhang, X. Yuan, J. Jiang, W. Yun, and C. Gao, "A survey on the techniques, applications, and performance of short text semantic similarity", Concurrency and Computation: Practice and Experience, vol. 33, no. 5, p. e5971, 2021,. DOI: 10.1002/cpe.5971
-
S. Roy, S. Dandapat, A. Nagesh, and Y. Narahari, "Wisdom of students: A consistent automatic short answer grading technique", in Proceedings of the 13th International Conference on Natural Language Processing, 2016, pp. 178-187.
-
A. Ahmed, A. Joorabchi, and M. J. Hayes, "On Deep Learning Approaches to Automated Assessment: Strategies for Short Answer Grading", in Proceedings of the 14th International Conference on Computer Supported Education, 2022, vol. 2, pp. 85-94,. DOI: 10.5220/0011082100003182
-
A. Ahmed, A. Joorabchi, and M. J. Hayes, "On the application of sentence transformers to automatic short answer grading in blended assessment", in Proceedings of the 33rd Irish Signals and Systems Conference (ISSC), 2022, pp. 1-6,. DOI: 10.1109/ISSC55427.2022.9826194
-
L. Camus and A. Filighera, "Investigating transformers for automatic short answer grading", in Proceedings of the 21st International Conference Artificial Intelligence in Education, Part II 21, 2020, pp. 43-48,. DOI: 10.1007/978-3-030-52240-7_8
-
D. Viji and S. Revathy, "A hybrid approach of Weighted Fine-Tuned BERT extraction with deep Siamese Bi-LSTM model for semantic text similarity identification", Multimedia Tools and Applications, vol. 81, no. 5, pp. 6131-6157, 2022,. DOI: 10.1007/s11042-021-11771-6 EDN: VSHGJW
-
D. Witschard, I. Jusufi, R. M. Martins, K. Kucher, and A. Kerren, "Interactive optimization of embedding-based text similarity calculations", Information Visualization, vol. 21, no. 4, pp. 335-353, 2022,. DOI: 10.1177/14738716221114372 EDN: JNAUAD
-
T. Brown et al., "Language models are few-shot learners", Advances in neural information processing systems, vol. 33, pp. 1877-1901, 2020.
-
D. Shashavali et al., "Sentence similarity techniques for short vs variable length text using word embeddings", Computaci\'on y Sistemas, vol. 23, no. 3, pp. 999-1004, 2019,. DOI: 10.13053/cys-23-3-3273
-
B. Hassan, S. E. Abdelrahman, R. Bahgat, and I. Farag, "UESTS: An unsupervised ensemble semantic textual similarity method", IEEE Access, vol. 7, pp. 85462-85482, 2019,. DOI: 10.1109/ACCESS.2019.2925006
-
I. Gagliardi and M. T. Artese, "Ensemble-Based Short Text Similarity: An Easy Approach for Multilingual Datasets Using Transformers and WordNet in Real-World Scenarios", Big Data and Cognitive Computing, vol. 7, no. 4, p. 158, 2023,. DOI: 10.3390/bdcc7040158 EDN: RUZIMC
-
N. Lagutina, K. Lagutina, A. Brederman, and N. Kasatkina, "Text classification by CEFR levels using machine learning methods and BERT language model", Modeling and Analysis of Information Systems, vol. 30, no. 3, pp. 202-213, 2023,. DOI: 10.18255/1818-1015-2023-3-202-213 EDN: OBKJMW
-
P. Qi, Y. Zhang, Y. Zhang, J. Bolton, and C. D. Manning, "Stanza: A Python Natural Language Processing Toolkit for Many Human Languages", in Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics: System Demonstrations, 2020, pp. 101-108,. DOI: 10.18653/v1/2020.acl-demos.14
Выпуск
Другие статьи выпуска
Безопасность движения на железнодорожном транспорте требует регулярной проверки состояния рельсов для отслеживания и своевременного устранения возникающих на них дефектов. Вихретоковая дефектоскопия - один из популярных методов проведения неразрушающего контроля рельсов. Данные (дефектограммы), поступающие от вихретоковых дефектоскопов при тестировании рельсов, характеризуются большим объёмом и нуждаются в эффективном автоматическом анализе. Под анализом понимается процесс определения по дефектограммам наличия дефектных участков наряду с выявлением конструктивных элементов рельсового пути с учётом шума и возможных помех разной природы. Для выделения полезных сигналов (от дефектов и конструктивных элементов) находится пороговый уровень шума, значение которого может быть искажено накладывающимися на сигналы электромагнитными помехами, обладающими выраженной низкочастотностью и периодичностью. Указанные помехи завышают пороговый уровень шума, осложняя выявление полезных сигналов. В связи с этим возникает необходимость в подавлении помех описанного типа. В данной работе в качестве метода устранения помех на вихретоковых дефектограммах используется спектральное вычитание. Функция помех определяется как сумма низкочастотных гармоник дискретного преобразования Фурье исходных сигналов. Очищенные от помех сигналы получаются вычитанием гармоник низкочастотного диапазона. Правая граница этого диапазона названа частотой пороговой гармоники. Она находится с помощью минимизации расстояния между автокорреляционной функцией сигналов и ожидаемой автокорреляцией. Предложены два вида ожидаемой автокорреляции: автокорреляция гауссовского шума и эталонная автокорреляция. Оба подхода позволяют определить частоту пороговой гармоники, при которой периодические помехи будут подавляться наилучшим образом. Метод, основанный на автокорреляции гауссовского шума, является в некотором роде универсальным для вихретоковых дефектограмм. Эталонная автокорреляция привязана к конкретным данным и пишущему оборудованию. Для рассматриваемых данных вихретоковых дефектограмм найдена наиболее подходящая частота пороговой гармоники. Описанные подходы к подавлению периодических низкочастотных помех помимо вихретоковой дефектоскопии могут успешно применяться и в других областях.
Разработка более точных и адаптивных методов обнаружения вредоносного кода является критической задачей в контексте постоянно эволюционирующих угроз кибербезопасности. Это требует постоянного внимания к новым уязвимостям и методам атак, а также поиска инновационных подходов к обнаружению и предотвращению киберугроз. В работе исследуется алгоритм обнаружения исполнения вредоносного кода в процессе защищаемой программы. Этот алгоритм основан на ранее предложенном подходе, когда легитимное исполнение защищаемой программы описывается профилем разностей адресов возврата вызываемых функций, называемым также профилем расстояний. Введено такое понятие, как позиционное расстояние, которое определяется разницей между номерами вызовов в трассе программы. Основным изменением стала возможность добавления в профиль расстояний между адресами возврата не только соседних функций, а также нескольких предыдущих с заданным позиционным расстоянием. Кроме модификации алгоритма обнаружения, в работе разработано средство автоматизации построения профиля расстояний и экспериментально исследуется зависимость вероятности ложного обнаружения нетипичного расстояния от длительности обучения для четырех известных браузеров. Эксперименты подтверждают, что при незначительном увеличении времени проверки число нетипичных расстояний, обнаруживаемых предложенным алгоритмом, может быть существенно меньше числа нетипичных расстояний, выявляемых базовым алгоритмом. Однако следует отметить, что при этом эффект перехода от базового алгоритма к предложенному, как показали результаты, зависит от характеристик конкретной защищаемой программы. Исследование подчеркивает важность постоянного совершенствования методов обнаружения вредоносного кода, чтобы адаптировать их к изменяющимся угрозам и условиям эксплуатации программного обеспечения. В итоге это позволит обеспечить более надежную защиту информации и систем от кибератак и других киберугроз.
Агентная модель описывает динамику генетического разнообразия непрерывно распределенной популяции в случае конечного числа особей. В событии вымирания в некоторой области умирает часть популяции, после чего в ходе реколонизации рождаются новые особи с генотипом родителя. Мы рассматриваем модель, а также её модификацию, и получаем свойства, связанные с популяционными параметрами. В работе показано, что время жизни особей имеет экспоненциальное распределение, вероятности аллелей сохраняются во времени, средняя гетерозиготность при ограничении, связанном с числом особей при вымирании и реколонизации, равна аналогичной величине в модели Морана. Совместное распределение аллелей обобщено на случай популяций, непрерывно расположенных в пространстве. Совместное распределение аллелей и гетерозиготность посчитаны на симуляциях.
Статья продолжает цикл трудов по разработке и верификации управляющих программ на основе LTL-спецификаций специального вида. Ранее была предложена декларативная LTL-спецификация, позволяющая описывать поведение управляющих программ и выполнять построение по ней программного кода на императивном языке ST для программируемых логических контроллеров. Данная LTL-спецификация может быть непосредственно верифицирована на предмет соответствия заданным темпоральным свойствам методом проверки модели (model checking) с помощью инструмента символьной верификации nuXmv. При этом не требуется переводить LTL-формулы спецификации в другой формализм - SMV-спецификацию (код на входном языке инструмента nuXmv). Цель настоящей работы состоит в исследовании альтернативных способов представления модели поведения программы, соответствующей декларативной LTL-спецификации, при её верификации в рамках инструментального средства nuXmv. В статье выполняются преобразования декларативной LTL-спецификации в различные SMV-спецификации с сопутствующими изменениями постановки задачи верификации, что приводит к значительному снижению временных затрат при проверке темпоральных свойств с использованием инструмента nuXmv. Ускорение верификации обусловлено сокращением пространства состояний проверяемой модели. Полученные в результате предложенных преобразований SMV-спецификации задают одинаковые или бисимуляционно эквивалентные системы переходов, обеспечивая неизменность результатов верификации при замене одной SMV-спецификации на другую.
Издательство
- Издательство
- ЯрГУ им. П.Г. Демидова
- Регион
- Россия, Ярославль
- Почтовый адрес
- 150003, Ярославль, Советская, 14,
- Юр. адрес
- 150003, Ярославль, Советская, 14,
- ФИО
- Иванчин Артем Владимирович (Ректор)
- E-mail адрес
- rectorat@uniyar.ac.ru
- Контактный телефон
- +7 (485) 2797702