Рассматривается задача формирования интегрального показателя для оценки эффективности алгоритмов рекомендательных систем, который был создан путем объединения отдельных метрик с использованием энтропийного метода. Работа основывается на исследовании в качестве базы для тестирования набора из 12 алгоритмов, с одной стороны, и трех наборов данных, с другой, для каждой комбинации которых были рассчитаны отдельные критерии, используемые в практике оценки рекомендательных систем. Результаты исследования свидетельствуют о том, что полученный интегральный показатель является эффективным инструментом оценки работы алгоритмов рекомендательных систем. Показано, что качество работы алгоритмов различается в зависимости от размера и иных базовых характеристик набора данных. Обобщенная мера может быть использована для разработки более эффективных алгоритмов, их ансамблей, оптимизации гиперпараметров и улучшения качества рекомендаций.
Идентификаторы и классификаторы
В рамках гибридного мира, когда реальные общественные отношения тесным образом переплетаются с цифровыми практиками коммуникаций и экономических активностей, рекомендательные системы становятся востребованными сервисами среди различных бизнес-акторов, как предлагающих на рынке различные виды продукции, так и потребляющих их. Так, в условиях постоянного роста объемов данных получатели различных благ сталкиваются с необходимостью эффективного поиска и фильтрации информации [1], а их продуценты ищут способы повышения эффективности маркетинговой деятельности, направленной на стимулирование потребления производимых товаров и услуг. В обозначенном контексте рекомендательные системы используются для предоставления персонализированных рекомендаций в различных бизнес-сегментах: от онлайн-покупок до потокового воспроизведения музыки и фильмов.
Список литературы
1. Fayyaz, Z., Ebrahimian, M., Nawara, D., et al. Recommendation Systems: Algorithms, Challenges, Metrics, and Business Opportunities // Appl. Sci. - 2020. - Vol. 10, no. 21. - Art. no. 7748. -. DOI: 10.3390/app10217748 EDN: KOXNPI
2. Amatriain, X., Basilico, J. Recommender Systems in Industry: A Netflix Case Study. Recommender Systems Handbook / Ed. by F. Ricci, L. Rokach, B. Shapira. - Boston, MA: Springer, 2015. - P. 385-419. -. DOI: 10.1007/978-1-4899-7637-6_11
3. Wibisono, C., Purwanti, E., Effendy, F. A Systematic Literature Review of Movie Recommender Systems for Movie Streaming Service // AIP Conf. Proc. - 2023. - Vol. 2554, no. 1. - Art. no. 040005. -. DOI: 10.1063/0104316
4. Kulshin, R., Sidorov, A., Senchenko, P. Using Neural Networks with Reinforcement in the Tasks of Forming User Recommendations // Journal of Physics: Conference Series. - 2022. - Vol. 2291, no. 1. - Art. no. 012005. -. DOI: 10.1088/1742-6596/2291/1/012005
5. Sipser, M. Introduction to the Theory of Computation. Course Technology. - Boston, MA: PWS Publishing Co., 2006. - 227 p.
6. Aixin, S. On Challenges of Evaluating Recommender Systems in an Offline Setting // Proceedings of the 17th ACM Conference on Recommender Systems. - Singapore, 2023. - P. 1284-1285.
7. Jimenez-Fernandez, E., Ruiz-Martos, M. Review of some statistical methods for constructing composite indicators // Studies of Applied Economics. - 2020. - Vol. 38, no. 1. - p. 1-15. -. DOI: 10.25115/eea.v38i1.3002 EDN: RNGJZX
8. Nardo, M., Saisana, M., Saltelli, A., Tarantola, S. Tools for Composite Indicators Building. Report no. JRC31473. - Rome, Italy: European Commission, ISPRA, 2005.
9. Becker, W., Saisana, M., Paruolo, P., Vandecasteele, I. Weights and Importance in Composite Indicators: Closing the Gap. Ecological Indicators. - 2017. - Vol. 80. - P. 12-22. -. DOI: 10.1016/j.ecolind.2017.03.056
10. Сидоров А.А. Методологический подход к интегральной оценке состояния и динамики многомерных объектов социально-экономической природы // Проблемы управления. - 2016. - № 3. - C. 32-40. EDN: VZYWNJ
11. Abberger, K., Graff, M., Müller, O., Sturm, J. Composite Global Indicators from Survey Data: The Global Economic Barometers // Rev. World Econ. - 2022. - Vol. 158. - P. 917-945. -. DOI: 10.1007/s10290-021-00449-8 EDN: YNRHOC
12. Endrodi-Kovacs, V., Tankovsky, O. A Composite Indicator for Economic Integration Maturity: The Case of Western Balkan Countries // Eastern Journal of European Studies. - 2022. - Vol. 13, no 1. - P. 148-166. -. DOI: 10.47743/ejes-2022-0107 EDN: GSQUTG
13. Khadzhynova, O., Simanaviciene, Z., Mints, O., et al. Assessment of the EU Countries’ Economic Security Based on the Composite Indicators // WSEAS Transactions on Business and Economics. - 2022. - Vol. 19. - P. 690-700. -. DOI: 10.37394/23207.2022.19.61 EDN: HDBOVR
14. McDonnell, T., Cosgrove, G., Hogan, E., et al. Methods to Derive Composite Indicators Used for Quality and Safety Measurement and Monitoring in Healthcare: A Scoping Review Protocol // BMJ Open. - 2023. - Vol. 13, no. 7. -. DOI: 10.1136/bmjopen-2022-071382 EDN: TPVBXJ
15. Kara, P., Valentin, J., Mainz, J., Johnsen, S. Composite Measures of Quality of Health Care: Evidence Mapping of Methodology and Reporting // PLoS One. - 2022. - Vol. 17, no. 5. -. DOI: 10.1371/journal.pone.0268320 EDN: VLVXLC
16. Asadi-Lari, M., Majdzadeh, R., Mansournia, M.A, et al. Construction and Validation of CAPSES Scale as a Composite Indicator of SES for Health Research: An Application to Modeling Social Determinants of Cardiovascular Diseases // BMC Public Health. - 2023. - Vol. 23. - Art. no. 293. -. DOI: 10.1186/s12889-023-15206-9
17. Abenayake, C., Mikami, Y., Matsuda, Y., Jayasinghe, A. Ecosystem Services-Based Composite Indicator for Assessing Community Resilience to Floods // Environmental Development. - 2018. - Vol. 27. - P. 34-46. -. DOI: 10.1016/j.envdev.2018.08.002
18. Gómez-Limón, J., Arriaza, M., Guerrero-Baena, M. Building a Composite Indicator to Measure Environmental Sustainability Using Alternative Weighting Methods // Sustainability. - 2020. - Vol. 12, no. 11. - Art. no. 4398. -. DOI: 10.3390/su12114398 EDN: AWWBYE
19. Alam, M., Dupras, J., Messier, C. A Framework towards a Composite Indicator for Urban Ecosystem Services // Ecological Indicators. - 2016. - Vol. 60. - P. 38-44. -. DOI: 10.1016/j.ecolind.2015.05.035 EDN: XPPMLX
20. Melo-Aguilar, C., Agulles, M., Jordà, G. Introducing Uncertainties in Composite Indicators. The Case of the Impact Chain Risk Assessment Framework // Front. Clim. - 2022. - Vol. 4. -. DOI: 10.3389/fclim.2022.1019888 EDN: KJDBKQ
21. Dolge, K., Blumberga, D. Composite Risk Index for Designing Smart Climate and Energy Policies. Environmental and Sustainability Indicators. - 2021. - Vol. 12. - Art. no. 100159. -. DOI: 10.1016/j.indic.2021.100159 EDN: SWMXKU
22. Do, H., Ly, T., Do, T. Combining Semi-quantitative Risk Assessment, Composite Indicator and Fuzzy Logic for Evaluation of Hazardous Chemical Accidents // Sci. Rep. - 2020. - Vol. 10. - Art. no. 18544. -. DOI: 10.1038/s41598-020-75583-8
23. Avanesian, G., Mizunoya, S., Delamonica, E. UNICEF Remote Learning Readiness Index: A Composite Indicator to Assess Resilience of Education Sector against Crises and Emergencies // Statistical Journal of the IAOS. - 2022. - Vol. 38. - P. 1-14. -. DOI: 10.3233/SJI-220051 EDN: ABJWYU
24. Segovia-Gonzalez, M., Contreras, I. A Composite Indicator to Compare the Performance of Male and Female Students in Educational Systems // Soc. Indic. Res. - 2023. - Vol. 165. - P. 181-212. -. DOI: 10.1007/s11205-022-03009-1 EDN: SRFPRL
25. Hubelova, D., Odvarkova, V., Chalupa, P. Selected Factors of Education Level in East African Countries: Comparative Method Using Composite Indicator // Geographical Journal. - 2016. - Vol. 68. - P. 55-72.
26. Silveira, T., Zhang, M., Lin, X., et al. How Good Your Recommender System Is? A Survey on Evaluations in Recommendation. Journal of Machine Learning and Cybernetics. - 2016. - Vol. 10. - P. 813-831. -. DOI: 10.1007/s13042-017-0762-9
27. Hongzhi, Y., Cui, B., Li, J., et al. Challenging the Long Tail Recommendation // Proceedings of the VLDB Endowment. - 2012. - Vol. 5. - P. 896-907. -. DOI: 10.14778/2311906.2311916
28. Hanczar, B., Hua, J., Sima, C., et al. Small-Sample Precision of ROC-Related Estimates // Bioinformatics. - 2010. - Vol. 26. - P. 822-830. -. DOI: 10.1093/bioinformatics/btq037 EDN: NZTSEP
29. Calders, T., Jaroszewicz, S. Efficient AUC Optimization for Classification. Lecture Notes in Computer Science. - 2007. - Vol. 4702. - P. 42-53. -. DOI: 10.1007/978-3-540-74976-9_8
30. Wenlong, S., Khenissi, S., Nasraoui, O., Shafto, P. Debiasing the Human-Recommender System Feedback Loop in Collaborative Filtering // Proceedings of the 2019 World Wide Web Conference. - San Francisco, 2019. - P. 645-651. -. DOI: 10.1145/3308560.3317303
31. Zhang, Q., Cao, L., Zhu, C., et al. CoupledCF: Learning Explicit and Implicit User-item Couplings in Recommendation for Deep Collaborative Filtering // Proceedings of the Twenty-Seventh International Joint Conference on Artificial Intelligence. - Stockholm, 2018. - P. 3662-3668. -. DOI: 10.24963/ijcai.2018/509
32. Bellogin, A., Castells, P., Cantador, I. Precision-Oriented Evaluation of Recommender Systems: An Algorithmic Comparison // Proceedings of the Fifth ACM Conference on Recommender Systems. - Chicago, 2011. - P. 333-336. -. DOI: 10.1145/2043932.2043996
33. Wang, Y. Application of Recall Methods in Recommendation Systems // Proceedings of the 3rd International Conference on Signal Processing and Machine Learning. - Oxford, 2023. - Vol. 4. - P. 44-51. DOI: 10.54254/2755-2721/4/20230344
34. Zriaa, R., Sadiki, H., Ertel, M., et al. Qualitative Recommender System Using Entropy-Weighted Pedagogical Criteria for Effective Training in E-learning Platforms // Journal of Theoretical and Applied Information Technology. - 2023. - Vol. 101, no. 9. - P. 3517-3529.
35. Kumar, C., Kumar, M. User Session Interaction-Based Recommendation System Using Various Machine Learning Techniques // Multimed. Tools Appl. - 2023. - Vol. 82. - P. 21 279-21 309.
36. Wang, Y., Wang, L, Li, Y., et al. A Theoretical Analysis of NDCG Ranking Measures // Proceedings of the 26th Annual Conference on Learning Theory. - Princeton, 2013. - Vol. 30. - P. 25-54.
37. Steffen, R., Freudenthaler, C., Gantner, Z., Schmidt, L. BPR: Bayesian Personalized Ranking from Implicit Feedback // Proceedings of the Twenty-Fifth Conference on Uncertainty in Artificial Intelligence. - Montreal, 2009. - P. 452-461.
38. Jian, T., Qu, M., Wang, M., et al. LINE: Large-Scale Information Network Embedding // Proceedings of the 24th International Conference on World Wide Web. - Florence, 2015. - P. 1067-1077. -. DOI: 10.1145/2736277.2741093
39. He, X., Liao, L., Zhang, H., et al. Neural Collaborative Filtering // Proceedings of the 26th International Conference on World Wide Web. - Perth, 2017. - P. 173-182. -. DOI: 10.1145/3038912.3052569
40. Xue, J, Dai, X., Zhang, J., et al. Deep Matrix Factorization Models for Recommender Systems // Proceedings of the Twenty-Sixth International Joint Conference on Artificial Intelligence. - Toronto, 2017. - P. 3203-3209. -. DOI: 10.24963/ijcai.2017/447
41. Lei, Z., Lu, C., Jiang, F., et al. Spectral Collaborative Filtering // Proceedings of the 12th ACM Conference on Recommender Systems. - Vancouver, 2018. - P. 311-319. -. DOI: 10.1145/3240323.3240343
42. He, X., Deng, K., Wang, X., et al. LightGCN: Simplifying and Powering Graph Convolution Network for Recommendation // Proceedings of the 43rd International ACM SIGIR Conference on Research and Development in Information Retrieval. - Xian, 2020. - P. 639-648. - DOI: https://doi.org/1145/3397271.3401063.
43. Dawen, L., Krishnan, R., Hoffman, M., Jebara, T. Variational Autoencoders for Collaborative Filtering // Proceedings of the 2018 World Wide Web Conference. - Lyon, 2018. - P. 689-698. -. DOI: 10.1145/3178876.3186150
44. Yao, W., DuBois, C., Zheng, A., Ester, M. Collaborative Denoising Auto-Encoders for Top-N Recommender Systems // Proceedings of the Ninth ACM International Conference on Web Search and Data Mining. - San Francisco, 2016. - P. 153-162. -. DOI: 10.1145/2835776.2835837
45. Lobel, S., Li, C., Gao, J., Carin, L. RaCT: Toward Amortized Ranking-Critical Training for Collaborative Filtering // Proceedings of the Eighth International Conference on Learning Representations (ICLR). - Addis Ababa, 2020.
46. Ning, X., Karypis, G. SLIM: Sparse Linear Methods for Top-N Recommender Systems // Proceedings of the IEEE 11th International Conference on Data Mining. - Vancouver, 2011. - P. 497-506. -. DOI: 10.1109/ICDM.2011.134
47. Mukund, D., Karypis, G. Item-Based Top-N Recommendation Algorithms // ACM Transactions on Information Systems. - 2004. - Vol. 22. - P. 143-177. -. DOI: 10.1145/963770.963776
48. Wang, W., Xu, Y., Feng, F., et al. Diffusion Recommender Model // Proceedings of the 46th International ACM SIGIR Conference on Research and Development in Information Retrieval. - Taipei, 2023. - P. 832-841. - DOI: https://doi.org/1145/3539618.3591663.
49. Zhao, W., Mu, S., Hou, Y., et al. RecBole: Towards a Unified, Comprehensive and Efficient Framework for Recommendation Algorithms // Proceedings of the 30th ACM International Conference on Information & Knowledge Management. - Queensland, 2021. - P. 4653-4664. -. DOI: 10.1145/3459637.3482016
50. Раев А.Г. Об одном способе определения весовых коэффициентов частных критериев при построении аддитивного интегрального критерия // Автоматика и телемеханика. - 1984. - Вып. 5. - С. 162-165.
Выпуск
Другие статьи выпуска
Рассмотрен способ автоматизации управления мостовым краном при текущей неопределенности его параметров, параметров переносимого груза и внешних возмущений. Целью управления является перемещение груза в горизонтальной плоскости в точку, обеспечивающую итоговую доставку груза в назначенное место с одновременным парированием угловых колебаний подвеса и обеспечением заданных динамических характеристик. Для этого применен подход, основанный на схеме управления с алгоритмом текущей параметрической идентификации, неявной эталонной модели и «упрощенных» условиях адаптируемости с нацеленностью на непосредственное отслеживание перемещения груза. Закон управления формирует заданную скорость тележки, отрабатываемую сервоприводом. При выборе параметров закона управления используются паспортные данные крановой установки. В отличие от ранее опубликованных работ по этой тематике предлагается решение, которое является более простым, надежным в эксплуатационном плане и менее дорогостоящим. Это достигается расположением совмещенного датчика, включающего акселерометр и датчик угловой скорости, на тросе подвеса около тележки крана, использованием алгоритмического решения, не требующего предварительного вычисления дрейфа датчика угловой скорости, и более эффективной процедуры текущей параметрической идентификации. Приведены результаты компьютерного моделирования, подтверждающие указанное. Аналогичный пример был реализован и на экспериментальной установке.
Предложен метод синтеза самопроверяемых цифровых устройств, основанный на использовании логической коррекции сигналов и взвешенных кодов Боуза - Лина. В отличие от предыдущих исследований, разработанный метод подразумевает логическую коррекцию сигналов в схеме встроенного контроля для тех функций, описывающих выходы исходных устройств, которые участвуют в формировании информационных символов взвешенных кодов Боуза - Лина. Так как одному и тому же контрольному вектору у таких кодов, как и у абсолютного большинства равномерных разделимых кодов, соответствует большое количество информационных векторов, это дает возможность выбора способа доопределения функций логической коррекции сигналов. Описан один из алгоритмов, позволяющий доопределить значения этих функций на каждом входном наборе с учетом обеспечения полной проверки тестера и элементов преобразования в схеме встроенного контроля. Предложенный метод основан на использовании так называемой «базовой» структуры для контроля многовыходных устройств по группам выходов. Он позволяет проектировщику самопроверяемого устройства иметь большую вариативность в выборе способа его построения, а значит, и влиять на такие важные показатели, как cтруктурная избыточность, контролепригодность, энергопотребление и др. Эксперимент с тестовыми комбинационными схемами из набора MCNC Benchmarks показал высокую эффективность метода по показателям структурной избыточности в сравнении с широко применяемым на практике методом дублирования. Предложенный метод синтеза самопроверяемых устройств может оказаться эффективным при решении задач синтеза реальных устройств с обнаружением неисправностей, используемых во всех областях техники, в том числе в системах критического применения в промышленности и на транспорте.
Рассматривается многофазная система массового обслуживания с входящим коррелированным МАР-потоком, РН-распределением времени обслуживания и ограниченным размером буфера на фазах системы. Приведен краткий исторический обзор по анализу моделей таких систем и методов их исследования. На основании проведенного обзора обоснована новизна постановки задачи, рассматриваемой в статье, методов ее решения и результатов. Дано описание алгоритма точного расчета характеристик производительности многофазных систем малой размерности и оценки сложности этого алгоритма. Для исследования многофазных систем большой размерности предложен подход, основанный на комбинации методов имитационного моделирования и машинного обучения. Приведены результаты численного анализа, подтвердившие эффективность применения методов машинного обучения для оценки характеристик производительности тандемных систем, адекватно описывающих функционирование широкополосных беспроводных сетей.
Рассматривается характеристический полином системы, в коэффициенты которого линейно входят интервальные параметры объекта управления, образующие параметрический многогранник. Проводится параметрический синтез линейного робастного регулятора, располагающего доминирующий вещественный полюс системы в заданном отрезке отрицательной вещественной полуоси и обеспечивающего в системе апериодический переходный процесс. Процедура синтеза предусматривает использование регулятора пониженного порядка, параметры которого разделяются на зависимые и свободные. Первые гарантируют желаемое положение отрезка доминирующего полюса, а вторые смещают области локализации остальных полюсов за заданную границу. Для определения значений зависимых параметров регулятора на основании сформулированного утверждения у параметрического многогранника объекта определяются прообразы границ отрезка доминирующего полюса. Для выбора свободных параметров регулятора применяется робастное вершинное или реберное D-разбиение в зависимости от вида граничных реберных ветвей областей локализации свободных полюсов системы. Приводится числовой пример параметрического синтеза ПИД-регулятора для обеспечения допустимого времени апериодического переходного процесса грузоподъемной системы при интервальных значениях длины троса и массы груза.
Издательство
- Издательство
- ИПУ РАН
- Регион
- Россия, Москва
- Почтовый адрес
- 117997, ГСП-7, г. Москва, Профсоюзная, 65
- Юр. адрес
- 117997, г. Москва, Профсоюзная, 65
- ФИО
- Новиков Дмитрий Александрович (дирек)
- E-mail адрес
- dan@ipu.ru
- Контактный телефон
- +7 (495) 3348910
- Сайт
- https://www.ipu.ru/