МЕТОДЫ БИНАРИЗАЦИИ АЛГОРИТМА СТАИ ЛАСТОЧЕК ДЛЯ РЕШЕНИЯ ЗАДАЧИ ОТБОРА ПРИЗНАКОВ (2021)
Предложены шесть методов бинаризации алгоритма стаи ласточек для решения задачи отбора признаков по методу обертки. Эффективность выбранных подмножеств признаков оценивается двумя классификаторами: нечетким классификатором и классификатором на основе k-ближайших соседей. При поиске оптимального подмножества признаков учитывались количество признаков и точность классификации. Разработанные алгоритмы протестированы на наборах данных из репозитория KEEL. Для статистической оценки методов бинаризации использовался двухфакторный дисперсионный анализ Фридмана для связных выборок. Лучшие способности к отбору признаков показал гибридный метод, основанный на методе модифицированных алгебраических операций и введенной нами операции MERGE. Лучшая точность классификации получена с использованием метода V-образной функции трансформации.
Идентификаторы и классификаторы
- eLIBRARY ID
- 46385986
Отбор признаков – одна из важнейших тем исследований в области интеллектуального анализа данных и машинного обучения. Удаление нерелевантных и избыточных признаков позволяет уменьшить размерность исходных данных, ускорить процесс обучения, упростить разрабатываемую модель, повысить ее эффективность и обобщающие возможности, уменьшить риск переобучения.
Основная цель отбора признаков – исключить из набора данных признаки, которые слабо или даже негативно влияют на определение метки класса классификатором. Избавление от таких признаков, позволит как снизить сложность получаемой модели, так и, возможно, повысить точность классификации. Таким образом, отбор признаков можно рассматривать как двухкритериальную задачу. Однако часто указанная двухкритериальная задача сводится к однокритериальной задаче введением единой целевой функции, в которой с помощью весовых коэффициентов учтены ошибка классификации и отобранное число признаков.
Список литературы
- Bolon-Canedo V., Sanchez-Marono N., Alonso-Betanzos A. Feature Selection for High-Dimensional Data. Heidelberg: Springer, 2015. 163 p.
- Qi Z., Wang H., He T., Li J., Gao H. FRIEND: Feature selection on inconsistent data // Neurocomputing. 2020. V. 391. P. 52-64.
- Sha Z.-C., Liu1 Z.-M., Ma C., Chen J. Feature selection for multi-label classification by maximizing full-dimensional conditional mutual information // Applied Intelligence. 2021. V. 51. P. 326-340. EDN: MOZODG
- Luke S. Essentials of Metaheuristics [Электронный ресурс]. Режим доступа: https://cs.gmu.edu/~sean/book/metaheuristics.
- Boussaid I., Lepagnot J., Siarry P. A Survey on Optimization Metaheuristics // Inf. Sci. 2013. V. 237. P. 82-117.
- Garcia J., Crawford B., Soto R., Astorga G. A clustering algorithm applied to the binarization of Swarm intelligence continuous metaheuristics // Swarm and Evolutionary Computation. 2019. V. 44. P. 646-664.
- Poli R., Kennedy J., Blackwell T. Particle swarm optimization // Swarm Intelligence. 2007. V. 1. P. 33-57.
- Neshat M., Sepidnam G., Sargolzaei M. Swallow swarm optimization algorithm: a new method to optimization // Neural Computing and Application. 2013. V. 23. P. 429-454.
- Bouzidi S., Riffi M.E., Bouzidi M., Moucouf M. The Discrete Swallow Swarm Optimization for Flow-Shop Scheduling Problem // Advances in Intelligent Systems and Computing. 2019. V. 915. P. 228-236. EDN: MWDJZI
-
Bouzidi S., Riffi M.E. Discrete Swallow Swarm Optimization algorithm for Travelling Salesman Problem // Proceedings of the 2017 International Conference on Smart Digital Environment. 2017. P. 80-84. -
Hodashinsky I., Sarin K., Shelupanov A., Slezkin A. Feature selection based on swallow swarm optimization for fuzzy classification // Symmetry. 2019. V. 11. № 11. P. 1423. EDN: NNFYRX -
Cover T., Hart P. Nearest neighbor pattern classification // IEEE Transactions on Information Theory. 1967. V. 13. P. 21-27. -
Roh S.-Be., Pedrycz W., Ahn T.-C. A design of granular fuzzy classifier // Expert Systems with Applications. 2014. V. 41. P. 6786-6795. -
Mekh M.A., Hodashinsky I.A. Comparative analysis of differential evolution methods to optimize parameters of fuzzy classifiers // Journal of Computer and Systems Sciences International. 2017. V. 56. P. 616-626. EDN: PSCAVN -
Evsukoff A.G., Galichet S., de Lima B.S.L.P., Ebecken N.F.F. Design of interpretable fuzzy rule-based classifiers using spectral analysis with structure and parameters optimization // Fuzzy Sets and Systems. 2009. V. 160. P. 857-881. -
Hodashinsky I.A., Gorbunov I.V. Algorithms of the tradeoff between accuracy and complexity in the design of fuzzy approximators // Optoelectronics, Instrumentation and Data Processing. 2013. V. 49. P. 569-577. EDN: SLJNUD -
Jiang D., Peng C., Fan Z., Chen Y. Modified binary differential evolution for solving wind farm layout optimization problems // Proceedings of the IEEE Symposium on Computational Intelligence for Engineering Solutions (CIES). 2013. P. 23-28. -
Costa M.F.P., Rocha A.M.A.C., Francisco R.B., Fernandes E.M.G.P. Heuristic-based firefly algorithm for bound constrained nonlinear binary optimization // Advances in Operations Research. 2014. Article ID 215182. -
Crawford B. et al. Putting continuous metaheuristics to work in binary search spaces // Complexity. 2017. Article ID 8404231. -
Wang L., Wang X., Zhen F.J., Zhen L. A novel probability binary particle swarm optimization algorithm and its application // Journal of Software. 2008. V. 3. № 9. P. 28-35. EDN: PHUSFT -
Kennedy J., Eberhart R. A discrete binary version of the particle swarm algorithm // Proceedings of the IEEE International Conference on Computational Cybernetics and Simulation. 1997. P. 4104-4108. -
Dahi Z.A.E.M., Mezioud C., Draa A. Binary Bat Algorithm: On the Efficiency of Mapping Functions When Handling Binary Problems Using Continuous-variable-based Metaheuristics // IFIP Advances in Information and Communication Technology. V. 456. Cham: Springer, 2015. P. 3-14. -
Rashedi E., Nezamabadi-pour H., Saryazdi S. BGSA: binary gravitational search algorithm // Natural Computing. 2009. V. 9. № 3. P. 727-745. -
Mirhosseini M., Nezamabadi-pour H. BICA: a binary imperialist competitive algorithm and its application in CBIR systems // International Journal of Machine Learning and Cybernetics. 2018. V. 9. P. 2043-2057. EDN: NMJZUK -
Emary E., Zawbaa H.M., Hassanien A.E. Binary grey wolf optimization approaches for feature selection // Neurocomputing. 2016. V. 172. P. 371-381. -
Qasim O.S., Algamal Z.Y. Feature selection using different transfer functions for binary bat algorithm // International Journal of Mathematical, Engineering and Management Sciences. 2020. V. 5. № 4. P. 697-706. -
Sayed G.I., Tharwat A., Hassanien A.E. Chaotic dragonfly algorithm: an improved metaheuristic algorithm for feature selection // Applied Intelligence. 2019. V. 49. P. 188-205. -
Too J., Mirjalili S. A Hyper Learning Binary Dragonfly Algorithm for Feature Selection: A COVID-19 Case Study // Knowledge-Based Systems. 2021. V. 212. 106553. EDN: VZWDUP -
Arora S., Anand P. Binary Butterfly Optimization Approaches for Feature Selection // Expert Systems with Application. 2019. V. 116. P. 147-160. -
Zhang X. et al. Gaussian mutational chaotic fruit fly-built optimization and feature selection // Expert Systems with Application. 2020. V. 141. P. 112976. -
Ji B. et al. Bio-inspired feature selection: An improved binary particle swarm optimization approach // IEEE Access. 2020. V. 8. P. 85989-86002. -
Mirjalili S., Lewis A. S-shaped versus V-shaped transfer functions for binary Particle Swarm Optimization // Swarm and Evolutionary Computation. 2013. V. 9. P. 1-14. -
Bardamova M., Konev A., Hodashinsky I., Shelupanov A. A fuzzy classifier with feature selection based on the gravitational search algorithm // Symmetry. 2018. V. 10. № 11. P. 609. EDN: SBHTCM -
Dahi Z.A.E.M., Mezioud C., Draa A. On the efficiency of the binary flower pollination algorithm: Application on the antenna positioning problem // Applied Soft Computing. 2016. V. 47. P. 395-414. -
Yavuz G., Aydin D. Angle Modulated Artificial Bee Colony Algorithms for Feature Selection // Applied Computational Intelligence and Soft Computing. 2016. Article ID 9569161. -
Pampara G., Franken N., Engelbrecht A. Combining particle swarm optimisation with angle modulation to solve binary problems // Proceedings of the IEEE Congress on Evolutionary Computation, vol. 1. IEEE Press, Piscataway, NJ, 2005, P. 89-96. -
Pampara G., Engelbrecht A.P., Franken N. Binary differential evolution // Proceedings of the IEEE Congress on Evolutionary Computation (CEC'06). IEEE, 2006. P. 1873-1879. -
Yuan X., Nie H., Su A., Wang L., Yuan Y. An Improved Binary Particle Swarm Optimization for Unit Commitment Problem // Expert Systems with Application. 2009. V. 36. P. 8049-8055. -
Siqueira H., Figueiredo E., Macedo M., Santana C.J., Bastos-868 Filho C.J., Gokhale A.A. Boolean binary cat swarm optimization algorithm // 2018 IEEE Latin American Conference on 870 Computational Intelligence (LA-CCI). IEEE, 2018. P. 1-6. -
Kiran M.S., Gunduz M. XOR-Based Artificial Bee Colony Algorithm for Binary Optimization // Turkish Journal of Electrical Engineering and Computer Sciences. 2013. V. 21. P. 2307-2328. -
Singh U., Salgotra R., Rattan M. A Novel Binary Spider Monkey Optimization Algorithm for Thinning of Concentric Circular Antenna Arrays // IETE Journal of Research. 2016. V. 62. P. 736-744. -
Hodashinsky I.A., Nemirovich-Danchenko M.M., Samsonov S.S. Feature selection for fuzzy classifier using the spider monkey algorithm // Business Informatics. 2019. V. 13. № 2. P. 29-42. EDN: ZYJLFR -
Srikanth K. et al. Meta-heuristic framework: Quantum inspired binary grey wolf optimizer for unit commitment problem // Computers and Electrical Engineering. 2018. V. 70. P. 243-260. -
Manju A., Nigam M.J. Applications of quantum inspired computational intelligence: a survey // Artificial Intelligence Review. 2014. V. 42. P. 79-156. EDN: SPCLSF -
Hamed H.N.A., Kasabov N.K., Shamsuddin S.M. Quantum inspired particle swarm optimization for feature selection and parameter optimization in evolving spiking neural networks for classification tasks // Evolutionary algorithms. IntechOpen, 2011. P. 133-148. -
Zouache D., Abdelaziz F.B. A cooperative swarm intelligence algorithm based on quantum-inspired and rough sets for feature selection // Computers and Industrial Engineering. 2018. V. 115. P. 26-36. -
Han K.-H., Kim J.-H. Quantum-Inspired Evolutionary Algorithms with a New Termination Criterion, He Gate, and Two-Phase Scheme // IEEE Transactions on Evolutionary Computation. 2004. V. 8. P. 164-171. -
Nezamabadi-pour H. A quantum-inspired gravitational search algorithm for binary encoded optimization problems // Engineering Applications of Artificial Intelligence. 2015. V. 40. P. 62-75. -
Ходашинский И.А., Мех М.А. Построение нечеткого классификатора на основе методов гармонического поиска // Программирование. 2017. № 1. С. 54-65. EDN: XYGUOR -
Программный код и инструкции [Электронный ресурс]. Режим доступа: https://gitlab.com/core_developers/fuzzy_core/-/tree/master/experiments/binarization_methods.
Выпуск
АНАЛИЗ И ТРАНСФОРМАЦИЯ ПРОГРАММ
КОМПЬЮТЕРНАЯ АЛГЕБРА
АНАЛИЗ ДАННЫХ
ТЕОРИЯ ПРОГРАММИРОВАНИЯ: ФОРМАЛЬНЫЕ МОДЕЛИ И СЕМАНТИКА
Другие статьи выпуска
Непрерывно-временные сети Петри (НВСП), где каждому переходу сети ставится в соответствие временной интервал его срабатывания, используются для моделирования сложных параллельных систем, критичных с точки зрения безопасности. В общем случае, пространство состояний НВСП бесконечно и несчетно и, следовательно, анализ их поведения довольно сложен. ‘Истинно параллельная’ семантика представляет поведение НВСП в виде набора действий, отношение причинной зависимости между которыми моделируется частичным порядком, а отношение параллелизма – отсутствием порядка. Такое представление является более приемлемым для изучения следующих свойств параллельных систем: отсутствие тупиков, ‘справедливость’ (fairness), максимальный параллелизм и т.д. В статье вводятся и исследуются семантики шага (множества параллельных действий) и частичного порядка (множества упорядоченных по причине и параллельных действий) в контексте НВСП, поведение которых определяется слабой временной стратегией (т.е. ход модельного времени не ограничен срабатыванием переходов сети) и устойчиво атомарной техникой сброса часов (т.е. при сбросе часов срабатывание переходов сети рассматривается как атомарное действие).
Здесь дается описание алгоритмов и программного обеспечения для двух новых методов решения полиномиальных уравнений, основанных на построении выпуклого многоугольника. Первый метод позволяет находить приближенные корни многочлена с помощью многоугольника Адамара. Второй метод позволяет находить ветви алгебраической кривой вблизи ее особой точки и вблизи бесконечности с помощью многоугольника Ньютона и строить эскизы вещественных алгебраических кривых на плоскости. Указаны соответствующие геометрии и алгоритмы компьютерной алгебры, которые позволяют анализировать любые сложные случаи.
За последние годы популярность языка Go значительно возросла. Вместе с тем в настоящее время для языка Go существуют только легковесные статические анализаторы. Мы восполнили этот пробел, адаптировав статический анализатор Svace для поиска ошибок в программах на языке Go. Нами был реализован межпроцедурный и межмодульный статический анализатор имеющий чувствительность к потоку и путям. Для оценки результатов использовалось 10 проектов с открытым исходным кодом. 16 оцениваемых детекторов выдали 6817 предупреждений с 76 срабатываний.
В работе строится вычислительно эффективная реализация алгоритма Брейди расчета быстрого преобразования Хафа (БПХ) на отечественном сопроцессоре СРСА, входящем в состав системы-на-кристалле 1890ВМ9Я “КОМДИВ128-М”. Показывается, что БПХ находит широкое применение в задачах анализа изображений, от зрительных систем беспилотного транспорта до вычислительной рентгеновской томографии. Приводится и анализируется с точки зрения низкоуровневой имплементации классическая рекурсивная реализация БПХ. Впервые рассматривается более эффективный нерекурсивный вариант алгоритма, для которого проводится анализ нагрузки на вычислители и память сопроцессора, а также экспериментальные замеры производительности. Показывается, что теоретически возможная производительность нерекурсивного алгоритма на СРСА составляет 800 Мопс, при этом максимально достижимая на практике производительность составила 470 Мопс, а максимальное полученное экспериментально значение оказалось 406 Мопс. При этом загрузка вычислителей сопроцессора достигла 18%. Таким образом, несмотря на относительно малое число арифметических операций в методе, использование сопроцессора оказывается целесообразным.
Издательство
- Издательство
- ИЗДАТЕЛЬСТВО НАУКА
- Регион
- Россия, Москва
- Почтовый адрес
- 121099 г. Москва, Шубинский пер., 6, стр. 1
- Юр. адрес
- 121099 г. Москва, Шубинский пер., 6, стр. 1
- ФИО
- Николай Николаевич Федосеенков (Директор)
- E-mail адрес
- info@naukapublishers.ru
- Контактный телефон
- +7 (495) 2767735