Эффективная трансформация образовательной системы требует применения инновационных подходов. Одним из прикладных механизмов получения качественной обратной связи в этой сфере служит аспектно-ориентированный анализ тональности (Aspect-Based Sentiment Analysis, ABSA). Многозадачная архитектура для оценки студентами преподавания (ОСП) позволяет выявлять и структурировать конкретные параметры образовательного процесса. Работа базируется на первом открытом массиве данных, содержащем 6025 отзывов на испанском языке. Представленная архитектура предлагает сегментированную и многомаркерную классификацию отзывов, обеспечивая детализированную обратную связь по девяти аспектам, включая «Качество преподавания» и «Атмосферу в аудитории». Сфера применения подхода выходит за рамки анализа ОСП и содержит ценные сведения для совершенствования учебных курсов, оценки педагогического состава и принятия управленческих решений в высшем образовании. Сопоставление эффективности тонко настроенных трансформерных моделей BERT и RoBERTa с большими языковыми моделями (LLM) GPT-4o, GPT-4o-mini и LLama-3.1-8B показало превосходство LLM GPT-4o: для выявления положительных аспектов значение F1 составило 0.69, отрицательных — 0.79. LLM задействуют методологию цепочки мыслей (Chain of Thought, CoT) в режиме тонкой настройки и малого количества подсказок (few-shot), при этом подходы Few-shot CoT обеспечивают лучшую масштабируемость и интерпретируемость. Предложенная архитектура трансформирует неструктурированную обратную связь в четко организованные выводы, способствуя повышению качества преподавания и вовлеченности студентов
Идентификаторы и классификаторы
- SCI
- Экономика
Aspect-Based Sentiment Analysis (ABSA) has emerged as a powerful tool for deriving actionable insights from qualitative feedback in education. This study presents a multitask learning framework to analyze student evaluations of teaching (SET) by extracting and classifying opinions on specific aspects of teaching performance. Leveraging a novel, and the first opensourced, dataset of 6,025 Spanish-language comments, the proposed framework integrates opinion segmentation and multi-label classification to capture nuanced feedback on nine predefined aspects, such as “Teaching Quality” and “Classroom Atmosphere”. Applications of this approach extend beyond SET analysis, offering valuable insights for course improvement, faculty assessment, and institutional decision-making in higher education. The paper compares the performance of fine-tuned transformers (BERT and RoBERTa) with large language models (LLMs), including GPT-4o, GPT4o-mini, and LLama-3.1-8B, using both finetuned and Few-shot Chain of Thought (CoT) methodologies. The evaluation results reveal that fine-tuned GPT-4o outperformed all other models, achieving a weighted F1- score of 0.69 for positive aspects and 0.79 for negative aspects, while Few-shot CoT approaches demonstrated competitive performance with greater scalability and interpretability. Our findings demonstrate the framework’s potential to transform unstructured feedback into structured insights, aiding educators and institutions in enhancing teaching quality and student engagement
Если у вас возникли вопросы или появились предложения по содержанию статьи, пожалуйста, направляйте их в рамках данной темы.
Список литературы
1. Butt S., Mejía-Almada P., Alvarado-Uribe J., Ceballos H.G., Sidorov G., Gelbukh A. (2023) MF-SET: A Multitask Learning Framework for Student Evaluation of Teaching. In: Proceedings of the Future Technologies Conference (FTC) 2023 (ed. K. Arai), vol. 1, Heidelberg, Dordrecht, London, New York: Springer, pp. 254-270. DOI: 10.1007/978-3-031-47454-5_20
2. Chauhan G.S., Agrawal P., Meena Y.K. (2019) Aspect-based sentiment analysis of students’ feedback to improve teaching-learning process. In: Information and Communication Technology for Intelligent Systems: Proceedings of ICTIS 2018 (eds. S. Satapathy, A. Joshi), vol. 2, Heidelberg, Dordrecht, London, New York: Springer, pp. 259-266. DOI: 10.1007/978-981-13-1747-7_25
3. Chen J., Wang R., Fang B., Zuo C. (2024) Fine-grained aspect-based opinion mining on online course reviews for feedback analysis. Interactive Learning Environments, 32(8), 4380-4395. DOI: 10.1080/10494820.2023.2198576
4. Dehbozorgi N., Mohandoss D.P. (2021) Aspect-based emotion analysis on speech for predicting performance in collaborative learning. Paper presented at the IEEE Frontiers in Education Conference (FIE) 13-16 October 2021, Lincoln, NE, USA. DOI: 10.1109/FIE49875.2021.9637330
5. Gallardo K., Butt S., Ceballos H. (2023) Improvement of Teaching Competencies Training in Higher Education Faculty Based on Student Evaluations of Teaching and AI Systems. In: Proceedings of the International Conference in Information Technology and Education (ICITED) 2023 (eds. A. Mesquita, A. Abreu, J.V. Carvalho, C. Santana, C.H.P. de Mello), Heidelberg, Dordrecht, London, New York: Springer, pp. 555-563. DOI: 10.1007/978-981-99-5414-8_51
6. Hadi M.U., Al Tashi Q., Shah A., Qureshi R., Muneer A., Irfan M., Zafar A., Shaikh M.B., Akhtar N., Wu J., Mirjalili S., Shah M. (2024) Large language models: A comprehensive survey of its applications, challenges, limitations, and future prospects (TechRxiv preprint 682263). DOI: 10.36227/techrxiv.23589741.v8
7. Kenton J.D.M.-W.C., Toutanova L.K. (2019) Bert: Pre-training of deep bidirectional transformers for language understanding (ArXiv preprint 1810.04805). DOI: 10.48550/arXiv.1810.04805
8. Liu Y. (2019) Roberta: A robustly optimized bert pretraining approach (ArXiv preprint 1907.11692). DOI: 10.48550/arXiv.1907.11692
9. Marsh H.W., Roche L.A. (1997) Making students’ evaluations of teaching effectiveness effective: The critical issues of validity, bias, and utility. American Psychologist, 52(11), 1187-1197. DOI: 10.1037/0003-066X.52.11.1187 EDN: GMHBIZ
10. Mughal N., Mujtaba G., Kumar A., Daudpota S.M. (2024) Comparative Analysis of Deep Natural Networks and Large Language Models for Aspect-Based Sentiment Analysis. IEEE Access, 12, 60943-60959. DOI: 10.1109/ACCESS.2024.3386969 EDN: KASIBK
11. Nazir A., Rao Y., Wu L., Sun L. (2020) Issues and challenges of aspect-based sentiment analysis: A comprehensive survey. IEEE Transactions on Affective Computing, 13(2), 845-863. DOI: 10.1109/TAFFC.2020.2970399
12. Nowell C., Gale L.R., Handley B. (2010) Assessing faculty performance using student evaluations of teaching in an uncontrolled setting. Assessment & Evaluation in Higher Education, 35(4), 463-475. DOI: 10.1080/02602930902862875
13. Qiao K., Li G., Zeng X., Li W. (2023) Utilizing Large Language Models for the Generation of Aspect-Based Sentiment Analysis Datasets. Paper presented at the 2023 4th International Conference on Big Data, Artificial Intelligence and Internet of Things Engineering (ICBAIE), 25-27 August 2023, Hangzhou, China. DOI: 10.1109/ICBAIE59714.2023.10281255
14. Shaikh S., Daudpota S.M., Yayilgan S.Y., Sindhu S. (2023) Exploring the potential of large-language models (LLMs) for student feedback sentiment analysis. Paper presented at the 2023 International Conference on Frontiers of Information Technology (FIT), 11-12 December 2023, Islamabad, Pakistan. DOI: 10.1109/FIT60620.2023.00047
15. Zhang W., Deng Y., Liu B., Pan S., Bing L. (2024) Sentiment Analysis in the Era of Large Language Models: A Reality Check (ArXiv preprint 2305.15005). DOI: 10.48550/arXiv.2305.15005
16. Zhong Q., Ding L., Liu J., Du B., Tao D. (2023) Can ChatGPT Understand Too? A Comparative Study on ChatGPT and Fine-tuned BERT (ArXiv preprint 2302.10198). DOI: 10.48550/arXiv.2302.10198
17. Zhou J., Ye J. (2023) Sentiment analysis in education research: A review of journal publications. Interactive Learning Environments, 31(3), 1252-1264. DOI: 10.1080/10494820.2020.1826985 EDN: IXDGKG
Выпуск
Другие статьи выпуска
В статье анализируются национальные стратегии цифровой трансформации высшего образования на материалах Индии, Китая и ЮАР. Сравнительный анализ политических документов 2013– 2024 гг. показывает, как цифровизация меняет свое содержание, операционную логику и автономию университетов. Под цифровой трансформацией понимается не техническая модернизация, а социально-политический проект, включающий (кодирующий) институциональные концепции и нормативную базу. Выявлены три доминирующие модели: китайская — технократическая централизованная стратегия с алгоритмическим мониторингом и приоритетом STEM-дисциплин; индийская — открытые цифровые архитектуры, сохраняющие институциональную индивидуальность в рамках федеративной структуры; южноафриканская — гибкая децентрализация с акцентом на справедливости и эпистемической деколонизации. Описанные модели позволяют увидеть противоречия между стратегической координацией и автономией, справедливостью и эффективностью, инфраструктурным контролем и педагогической рефлексивностью. Показано, что цифровые инфраструктуры определяют не только доступ к образованию, но и академическую темпоральность, характер деятельности и познавательную роль вузов. Предложенное понимание цифровой трансформации как инфраструктурной концепции вносит вклад в критические дебаты о реформе высшей школы и глобальном управлении в условиях системной неопределенности
Глобальные программы развития, ориентированные на работу с большими вызовами и достижение устойчивости, выявили системный разрыв между производством академических знаний и реальной общественной трансформацией. Доминирующая модель высшего образования, основанная на дисциплинарной изоляции, объективности и линейной передаче знаний, не способна готовить субъектов с наборами компетенций, которые бы позволили адекватно реагировать на сложные, взаимозависимые кризисы. Возникает закономерный вопрос: как сегодня образовательные системы ведущих стран накапливают трансформирующий потенциал для обретения реальной способности вносить вклад во всеобщее процветание? В попытке ответить на него в статье рассматриваются образовательные парадигмы Китая, Японии и Южной Кореи, предлагающие альтернативные онтологические и педагогические основы для глубоких преобразований в новом контексте. В мировоззренческих конструктах рассматриваемых культур выделяются три ключевых аспекта — новый тип педагогических отношений, этическое самосовершенствование и самообновление как способы трансформационного взаимодействия. Интегрируя эти концепции с практическими подходами многоуровневого причинно-следственного анализа, в работе оценивается глубина проникновения текущих восточноазиатских реформ в структурные, мировоззренческие и мифологические устои. Высказано предположение, что для успешной образовательной трансформации одних только политических преобразований недостаточно. Требуется парадигматический сдвиг от механистического познания к метаморфическому обучению, которое способствует развитию целостного восприятия реальности, системной осознанности и эмпатической проницательности в качестве основы устойчивого будущего человечества
Национальные цифровые платформы выступают эффективным инструментом оптимизации управления в сфере госуслуг. Хотя цифровые инфраструктуры играют ключевую роль в госзакупках и планировании инвестиций, их роль в обеспечении совместного создания стоимости и координации политических решений остается недостаточно изученной. Опираясь на концепции Public Service Logic, управления цепочками поставок государственных услуг и «Закупки 4.0», в статье проанализированы пять итальянских платформ (ANAC, OpenCUP, MePA, Italia Domani и ReGiS) на базе модели из восьми индикаторов. Анализ документов и моделирование зрелости позволили установить различный уровень совместимости, прослеживаемости и потенциала стратегической координации платформ. ReGiS демонстрирует высокий технический уровень, но недостаточную прозрачность; Italia Domani позволяет учитывать политические цели, но слабо интегрирована операционно. Рассмотренные платформы в целом характеризуются процедурным фокусом и ограниченной системной координацией. Результаты показывают, что цифровизация по-прежнему ориентирована преимущественно на комплаенс, тогда как целесообразно развивать модульное управление, удобные пользовательские интерфейсы и экосистемы предиктивных данных. Исследование углубляет понимание того, как цифровые инфраструктуры способствуют созданию общественной стоимости путем реформирования цепочек поставок
Трансформационный переход к Индустрии 4.0 представляет задачу повышенной сложности для компаний всех размеров, особенно если их уровень цифровой зрелости невысок. Прежде всего это касается малого и среднего бизнеса, сталкивающегося с ресурсными ограничениями. Даже при доступности передовых технологий, таких как Интернет вещей, искусственный интеллект и аналитика больших данных, цифровые преобразования могут не состояться, если модели управления, стратегия и культура предприятия не адаптированы к усложняющемуся контексту. В статье представлен уникальный и редкий трек трансформации в крайне неблагоприятных для этого процесса условиях. Кейс компании Tecnomulipast (Италия) меняет устоявшиеся представления о способах устранения структурных ограничений, демонстрирует возможность слома прежней парадигмы, выхода из «зависимости от пути», раскрывает новую природу потенциала для устойчивого развития. Статья восполняет управленческие, технологические и контекстуальные пробелы в исследованиях цифровизации малого и среднего бизнеса и предлагает выводы, представляющие практическую пользу при формировании региональной инновационной политики
Необходимость соответствовать новым экономическим моделям (Индустрии 4.0 и 5.0) стимулирует страны, организации и сектора к технологической трансформации. Реализация таких масштабных проектов требует определенного уровня зрелости и особой ресурсной базы для преодоления разного рода препятствий. В статье анализируются ключевые составляющие специфического потенциала для подобных инициатив с опорой на опыт преобразований городской среды, который может служить образцом для других социально-экономических систем. На эмпирических материалах японских и европейских городов раскрываются ключевые закономерности, влияющие на результаты перехода. Подчеркнута роль нарративных инструментов в формировании консенсуса между всеми участниками, без которого трансформационные инициативы рискуют пополнить доминирующую статистику провалов. Представленный в статье анализ факторов обогащает представления о специфике транзитивных процессов не столько с точки зрения технологических возможностей, сколько с позиций контекстуально-культурных различий и определенной степени зрелости городских управленческих команд и населения. Его результаты могут быть полезны лидерам, инициирующим долгосрочные радикальные преобразования в разных секторах для перехода к устойчивости и новому качеству развития
Внедрение искусственного интеллекта (ИИ) трансформирует корпоративные стратегии и повышает операционную эффективность бизнеса. Исследование посвящено анализу относительной результативности сегмента генеративного ИИ через сопоставление объемов продаж чипов, серверов и инфраструктуры центров обработки данных (аппаратного обеспечения, харда) с размерами сектора ИИ-решений (программного обеспечения, софта). Выдвигается гипотеза о догоняющем характере развития последнего: несмотря на активный рост, паритет между продажами комплектующих и выручкой от ИИ-продуктов пока не достигнут. Капитальные затраты технологических гигантов на создание инфраструктуры значительно возросли, из-за чего достижение баланса может потребовать десятилетий. Для оценки применяется метод оболочечного анализа (Data Envelopment Analysis, DEA), рассматривающий продажи харда как «входы» и выручку от софта как «выходы». DEA-анализ динамики генеративного ИИ в 2016–2024 гг. показывает ее нелинейный характер. Начиная с 2021 г. наблюдается перелом тенденции и снижение показателей эффективности, что подтверждает гипотезу о догоняющей модели развития программных решений. Колебания начинаются спустя три года после развертывания первых крупных языковых моделей, демонстрируя недостаточную отдачу в виде сопоставимого роста софтверного сектора. Оригинальность работы состоит в применении DEAанализа для комплексной сравнительной оценки рассматриваемых сегментов, что позволяет выявить дисбаланс между ними и определить потенциал для более эффективного освоения генеративных моделей
Издательство
- Издательство
- ВШЭ
- Регион
- Россия, Москва
- Почтовый адрес
- 101000, г. Москва, ул. Мясницкая, д. 20
- Юр. адрес
- 101000, г. Москва, ул. Мясницкая, д. 20
- ФИО
- Анисимов Никита Юрьевич (Ректор)
- E-mail адрес
- hse@hse.ru
- Контактный телефон
- +7 (___) _______
- Сайт
- https://www.hse.ru/