В работе приведен краткий теоретический обзор существующих подходов к решению задачи классификации намерений пользователей на основе текстовых сообщений. Предложен классификатор на основе текстового трансформера. Рассмотрены процессы обучения и использования модели. В рамках эксперимента обучено несколько демонстрационных вариантов классификатора для корпоративной диалоговой системы. Приведены показатели качества моделей в виде совокупности значений основных метрик и визуализаций, применяемых при оценке классификаторов
Идентификаторы и классификаторы
не распознает текст
Список литературы
-
Ураев Д. А. Классификация и методы создания чат-бот приложений // International scientific review of the problems and prospects of modern science and education: collection of scientific articles LXIV International correspondence scientific and practical conference, November 20-21, 2019. Boston: Problems of science, 2019. P. 30-33. EDN: NPECYP
-
Акжолов Р. К., Верига А. В. Предобработка текста для решения задач NLP // Вестник науки. 2020. Т. 1, № 3. С. 66-68. EDN: KCGMUZ
-
Чудесный мир Word Embeddings: какие они бывают и зачем нужны. URL: https://habr.com/ru/company/ods/blog/329410 (дата обращения: 22.03.2022).
-
Михайлов Д. В., Козлов А. П., Емельянов Г. М. Выделение знаний и языковых форм их выражения на множестве тематических текстов: подход на основе меры TF-IDF // Компьютерная оптика. 2015. Т. 39, № 3. С. 429-438. EDN: UBOSPV
-
Word2Vec Explained. URL: https://towardsdatascience.com/word2vec-explained49c52b4ccb71 (дата обращения: 23.03.2022).
-
Mikolov T., Chen K., Corrado G. [et al.]. Efficient Estimation of Word Representations in Vector Space. URL: https://www.researchgate.net/publication/234131319_Efficient_Estimation_of_Word_Representations_in_Vector_Space (дата обращения: 24.03.2022).
-
Vaswani A., Shazeer N., Parmar N. [et al.]. Attention is all you need // NIPS’17: proceedings of the 31st International conference on Neural Information Processing Systems, December 4-9, 2017 / Long Beach California, USA. P. 6000-6010.
-
Transformer architecture: The positional encoding. URL: https://kazemnejad.com/blog/transformer_architecture_positional_encoding (дата обращения: 24.03.2022).
-
Transformers explained visually (Part 2): How it works, step-by-step. URL: https://towardsdatascience.com/transformers-explained-visually-part-2-how-it-works-step-by-stepb49fa4a64f34 (дата обращения: 24.03.2022).
-
Bunk T., Varshneya D., Vlasov V. [et al.]. DIET: Lightweight language understanding for dialogue systems. URL: https://arxiv.org/pdf/2004.09936.pdf (дата обращения: 25.03.2022).
-
Natural language processing: count vectorization with scikit-learn. URL: https://towardsdatascience.com/natural-language-processing-count-vectorization-with-scikit-learn-e7804269bb5e (дата обращения: 25.03.2022).
-
Devlin J., Ming-Wei C., Kenton L. [et al.]. BERT: Pre-training of deep bidirectional transformers for language understanding // Proceedings of the 2019 conference of the North American Chapter of the Association for Computational Linguistics: Human language technologies. Vol. 1 (Long and Short Papers), June 2-7, 2019. Minnesota, USA. P. 4171-4186.
-
A gentle introduction to k-fold Cross-Validation. URL: https://machinelearningmastery.com/kfold-cross-validation/ (дата обращения: 25.03.2022).
-
Hossin M., Sulaiman M. N. A review on evaluation metrics for data classification evaluations // International Journal of Data Mining & Knowledge Management Process (IJDKP). 2015. Vol. 5, no. 2. P. 1-11.
Выпуск
Другие статьи выпуска
В работе проведен сравнительный анализ различных подходов к решению задачи идентификации текстиля, по фотоизображению материала, с помощью методов машинного обучения, Рассмотрена математическая модель, лежащая в основе программной реализации. Модель протестирована на дополнительном наборе данных с применением методов объяснимости работы нейронных сетей.
Актуальность работы обусловлена широким применением методов решения задачи коммивояжера в различных прикладных областях. В статье рассматриваются вопросы, связанные с необходимостью оптимального перестроения составленных маршрутов при добавлением новых пунктов назначения. Рассматривается модифицированный генетический алгоритм решения задачи коммивояжера и проводится анализ эффективности применения данного алгоритма, при построение оптимальных маршрутов.
В работе приведен краткий теоретический обзор существующих методов решения задач классификации. Проведен анализ данных методов и выбран метод для решения конкретной задачи по подбору тарифа проживания на базе отдыха. Выполнена программная реализация оригинального алгоритма на основе метода k-NN. Добавлены коэффициенты значимости признаков
Для прогнозирования выхода светлых фракций установкой ЭЛОУ-АВТ-6 проведен сравнительный анализ модели рекуррентной нейронной сети и модели авторегрессии ARIMA. Приведено математическое описание этих моделей. Приведена реализация моделей с использованием библиотек Keras и Pmdarima на языке Python. Проведена серия экспериментов, в качестве данных использовались значения температуры куба колонны К-2, расход сырой нефти и расход фракции бензина. Сделан вывод, о превосходстве качества прогноза нейронных сетей над ARIMA
Исследуются характеристики ветроэлектростанций как источников возобновляемой энергии. Рассмотрены основные типы ветроэлектростанций, отличающиеся конструктивными параметрами и режимами работы. Рассмотрено возникновение критических режимов на ветроэлектростанциях. Рассмотрены конструктивные особенности ветроэлектростанций. Выявлены недостатки ветроэнергетики. На основе данных о ветроэнергетике исследована проблема изменчивости выработки энергии ветра. Получены графики данных о выработке электроэнергии и метеорологических условий, а также выявлена взаимосвязь между ними.
Исследуется подбор параметров для решения непрерывных оптимизационных задач методом внутренних штрафных функций с использованием программного приложения. Были рассмотрены методы внутренних штрафных функций и методы безусловной оптимизации, рассмотрены алгоритмы реализации методов, реализован пользовательский интерфейс программного приложения, предоставляющий возможность вводить целевую функцию, ограничения, начальные параметры и показывающий результаты в виде графиков, точки минимума, затраченного времени, количества итераций. Проведено исследование по выбору начальных параметров для рассмотренных методов.
Издательство
- Издательство
- ОмГТУ
- Регион
- Россия, Омск
- Почтовый адрес
- 644050, Российская Федерация, г. Омск, пр-т Мира, д. 11
- Юр. адрес
- 644050, Российская Федерация, г. Омск, пр-т Мира, д. 11
- ФИО
- Корчагин Павел Александрович (Ректор )
- E-mail адрес
- info@omgtu.ru
- Контактный телефон
- +7 (381) 2653407
- Сайт
- https://omgtu.ru/