Статья: "ПЕРВЫЙ БЛИН КОМОМ": ОГРАНИЧЕНИЯ И ПОТЕНЦИАЛ LLM В РАСПОЗНАВАНИИ РЕФЕРЕНЦИИ УСТОЙЧИВЫХ ФРАЗ (2025)

1. Апресян Ю.Д. Типы информации для поверхностно-семантического компонента модели смысл ↔ текст. Wien: Institut für Slawistik der Universität Wien, 1980. 126 с. ▼ Контекст
2. Баранов А.Н., Добровольский Д.О. Основы фразеологии (краткий курс): учеб. пособие. М.: ФЛИНТА: Наука, 2024. 312 с.
3. Громенко Е., Калачева Д., Клокова К., Кронгауз М., Мороз О., Шульгинов В., Юдина Т. Культурные замеры больших языковых моделей на русском языке: речевые клише и культурные типы // Компьютерная лингвистика и интеллектуальные технологии: по материалам ежегод. междунар. конф. “Диалог”. Вып. 23. С. 117-128. 10.28995/2075-7182-2025-23-117-128. (На англ. яз.). DOI: 10.28995/2075-7182-2025-23-117-128.(
4. Назаров Н.В. Синтагматика пословично-поговорочных выражений: дис. … канд. филол. наук. Тула, 2005. 174 с. EDN: NNKBUR
5. Шульгинов В., Шимшек Х.Б., Кудряшов С., Рандовцова Р., Шевела С. Оценка прагматической компетенции больших языковых моделей в выявлении смягченных и несмягченных типов несогласия // Компьютерная лингвистика и интеллектуальные технологии: по материалам ежегод. междунар. конф. “Диалог”. Вып. 23. С. 345-360. 10.28995/2075-7182-2025-23-10.28995/2075-7182-2025-23-345-360. (На англ. яз.). DOI: 10.28995/2075-7182-2025-23-10.28995/2075-7182-2025-23-345-360.(
6. Brown M.A., Atreja S., Hemphill L., Wu P.Y. Evaluating how LLM annotations represent diverse views on contentious topics // arXiv. Art. 2503.23243. Submitted on 29 Mar 2025. DOI: 10.48550/arXiv.2503.23243
7. Fenogenova A., Chervyakov A., Martynov N., Kozlova A., Tikhonova M., Akhmetgareeva A., Emelyanov A., Shevelev D., Lebedev P., Sinev L., Isaeva U., Kolomeytseva K., Moskovskiy D., Goncharova E., Savushkin N., Mikhailova P., Minaeva A., Dimitrov D., Panchenko A., Markov S. MERA: A Comprehensive LLM Evaluation in Russian // Proceedings of the 62nd Annual Meeting of the Association for Computational Linguistics. Association for Computational Linguistics, 2024. Vol. 1: Long Papers. P. 9920-9948. DOI: 10.18653/v1/2024.acl-long.534
8. Ghaboura S., More K., Alghallabi W., Thawakar O., Laaksonen J., Cholakkal H., Khan S., Anwer R.M. ARB: A Comprehensive Arabic Multimodal Reasoning Benchmark // arXiv. Art. 2505.17021. Submitted on 22 May 2025. DOI: 10.48550/arXiv.2505.17021
9. Karinshak E., Hu A., Kong K., Rao V., Wang J., Wang J., Zeng Y. LLM-GLOBE: A Benchmark Evaluating the Cultural Values Embedded in LLM Output // arXiv. Art. 2411.06032. Submitted on 9 Nov 2024. DOI: 10.48550/arXiv.2411.06032
10. Koto F., Mahendra R., Aisyah N., Baldwin T. IndoCulture: Exploring Geographically Influenced Cultural Commonsense Reasoning Across Eleven Indonesian Provinces // Transactions of the Association for Computational Linguistics. 2024. Vol. 12. P. 1703-1719. DOI: 10.1162/tacl_a_00726 EDN: PXSPEY
11. Myung J., Lee N., Zhou Y., Jin J., Putri R.A., Antypas D., Borkakoty H., Kim E., Perez-Almendros C., Ali Ayele A., Gutiérrez-Basulto V., Ibáñez-García Y., Lee H., Muhammad S.H., Park K., Rzayev A.S., White N., Yimam S.M., Pilehvar M.T., Ousidhoum N., Camacho-Collados J., Oh A. BLEnD: A Benchmark for LLMs on Everyday Knowledge in Diverse Cultures and Languages // arXiv. Art. 2406.09948. Submitted on 14 Jun 2024. DOI: 10.48550/arXiv.2406.09948
12. Na H., Hua Y., Wang Z., Shen T., Yu B., Wang L., Wang W., Torous J., Chen L. A Survey of Large Language Models in Psychotherapy // arXiv. Art. 2502.11095. Submitted on 16 Feb 2025. DOI: 10.48550/arXiv.2502.11095
13. Rao A.S., Yerukola A., Shah V., Reinecke K., Sap M. NormAd: A Framework for Measuring the Cultural Adaptability of Large Language Models // Proceedings of the 2025 Conference of the Nations of the Americas Chapter of the Association for Computational Linguistics: Human Language Technologies. Association for Computational Linguistics, 2025. Vol. 1: Long Papers. P. 2373-2403. DOI: 10.18653/v1/2025.naacl-long.120
14. Shavrina T., Fenogenova A., Emelyanov A., Shevelev D., Artemova E., Malykh V., Mikhailov V., Tikhonova M., Chertok A., Evlampiev A. RussianSuperGLUE: A Russian Language Understanding Evaluation Benchmark // Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP). Association for Computational Linguistics, 2020. P. 4717-4726. DOI: 10.18653/v1/2020.emnlp-main.381 EDN: IPPSTJ
15. Son G., Lee H., Kim S., Kim H., Lee J., Yeom J.W., Jung J., Kim J.W., Kim S. HAE-RAE Bench: Evaluation of Korean Knowledge in Language Models // LREC-COLING 2024 - The 2024 Joint International Conference on Computational Linguistics, Language Resources and Evaluation. ELRA Language Resource Association, 2024. P. 7993-8007.
16. Sravanthi S.L., Doshi M., Kalyan T.P., Murthy R., Bhattacharyya P., Dabre R. PUB: A Pragmatics Understanding Benchmark for Assessing LLMs’ Pragmatics Capabilities // arXiv. Art. 2401.07078. Submitted on 13 Jan 2024. DOI: 10.48550/arXiv.2401.07078
17. Taktasheva E., Shavrina T., Fenogenova A., Shevelev D., Katricheva N., Tikhonova M., Akhmetgareeva A., Zinkevich O., Bashmakova A., Iordanskaia S., Spiridonova A., Kurenshchikova V., Artemova E., Mikhailov V. TAPE: Assessing Few-shot Russian Language Understanding // Findings of the Association for Computational Linguistics: EMNLP 2022. Association for Computational Linguistics, 2022. P. 2472-2497. DOI: 10.18653/v1/2022.findings-emnlp.183
18. Wang Y., Zhu Y., Kong C., Wei S., Yi X., Xie X., Sang J. CDEval: A Benchmark for Measuring the Cultural Dimensions of Large Language Models // Proceedings of the 2nd Workshop on Cross-Cultural Considerations in NLP. Association for Computational Linguistics, 2024. P. 1-16. DOI: 10.18653/v1/2024.c3nlp-1.1
19. Yao B., Jiang M., Bobinac T., Yang D., Hu J. Benchmarking Machine Translation with Cultural Awareness // Findings of the Association for Computational Linguistics: EMNLP 2024. Association for Computational Linguistics, 2024. P. 13078-13096. DOI: 10.18653/v1/2024.findings-emnlp.765
20. Ye J., Wang S., Zou D., Yan Y., Wang K., Zheng H.-T., Liu R., Xu Z., King I., Yu P.S., Wen Q. Position: LLMs Can be Good Tutors in Foreign Language Education // arXiv. Art. 2502.05467. Submitted on 8 Feb 2025. DOI: 10.48550/arXiv.2502.05467