ОНТОЛОГИЧЕСКИЙ АНАЛИЗ ПРЕДМЕТНОЙ ОБЛАСТИ ЦИФРОВОЙ ПЛАТФОРМЫ ALGO500 (2023)
Проект создания цифровой платформы Algo500 направлен на решение задачи совместного анализа свойств алгоритмов и особенностей архитектур суперкомпьютеров. В статье на основе методологии онтологического анализа рассматриваются и предлагаются понятия, модели и метамодели данных, обосновываются подходы к описанию некоторых понятий из мира высокопроизводительных вычислений (HPC), устанавливаются новые требования к моделям данных, которые должны обеспечить выполнение задач, поставленных при создании платформы Algo500.
Идентификаторы и классификаторы
- eLIBRARY ID
- 50397349
Проект создания цифровой платформы Algo500 направлен на решение задачи совместного анализа свойств алгоритмов и особенностей архитектур суперкомпьютеров [1]. Инструменты цифровой платформы должны позволять комплексно исследовать качество цепочки “Задача–Метод–Алгоритм– Реализация–Суперкомпьютер” на уровне любого ее звена [2]. В рамках проекта Algo500 предлагается практический подход, ориентированный не на отдельные частные оценки эффективности, а позволяющий решить проблему в целом, изучая свойства реализации любого алгоритма на любом суперкомпьютере. Определение Algo500 как цифровой платформы подчеркивает масштабность и сложность задачи. Создаваемая платформа должна на основе единых подходов: 1) объединять данные о любых алгоритмах и архитектурах компьютеров; 2) позволять проводить анализ свойств любого алгоритма применительно к любой архитектуре суперкомпьютера на основании общего для всех алгоритмов подхода; 3) позволять Internet-сообществу коллективно дополнять и уточнять базу данных алгоритмов и их реализаций; 4) вносить динамические характеристики выполнения реализаций алгоритмов на различных вычислительных системах; 5) генерировать по запросу различные списки, ранжированные по параметрам, регистрируемым в платформе Algo500.
Список литературы
- A. S. Antonov, D. A. Nikitenko, and Vl. V. Voevodin, “Algo500 - A New Approach to the Joint Analysis of Algorithms and Computers”, Lobachevskii J. Math. 41 (8), 1435-1443 (2020). DOI: 10.1134/S1995080220080041 EDN: RUNCBV
- A. Antonov, A. Frolov, I. Konshin, and Vl. Voevodin, “Hierarchical Domain Representation in the AlgoWiki Encyclopedia: From Problems to Implementations”, in Communications in Computer and Information Science (Springer, Cham, 2018), Vol. 910, pp. 3-15. DOI: 10.1007/978-3-319-99673-8_1 EDN: YBNJXV
- Open Encyclopedia of Algorithmic Features. https://algowiki-project.org Cited February 15, 2023.
- Vl. V. Voevodin, “An Open AlgoWiki Encyclopedia of Algorithmic Features: From Mobile to Extreme Scale”, Numerical Methods and Programming (Vychislitel’nye Metody i Programmirovanie) 16 (1), 99-111 (2015). DOI: 10.26089/NumMet.v16r111 EDN: YTTXFZ
- Vl. V. Voevodin, A. S. Antonov, and J. Dongarra, “AlgoWiki: an Open Encyclopedia of Parallel Algorithmic Features”, Supercomput. Front. Innov. 2 (1), 4-18 (2015). DOI: 10.14529/jsfi150101 EDN: UCUUWZ
- A. Popov, D. Nikitenko, A. Antonov, and Vl. Voevodin, “Formal Model of Problems, Methods, Algorithms and Implementations in the Advancing AlgoWiki Open Encyclopedia”, CEUR Workshop Proc. 2281, 1-11 (2018). https://ceur-ws.org/Vol-2281/paper-01.pdf Cited February 15, 2023.
- A. S. Antonov and R. V. Maier, “A New Representation of Algorithmic Approaches in the AlgoWiki Encyclopedia”, Lobachevskii J. Math. 42 (7), 1483-1491 (2021). DOI: 10.1134/S1995080221070039 EDN: MPVLDL
- D. Nikitenko, A. Antonov, A. Zheltkov, and Vl. Voevodin, “Describing HPC System Architecture for Understanding Its Capabilities”, in Communications in Computer and Information Science (Springer, Cham, 2020), Vol. 1331, pp. 425-435. DOI: 10.1007/978-3-030-64616-5_37 EDN: NUIIJT
- A. A. Zheltkov, “Development of Methods for Constructing Ratings of Computing Systems Based on Implementations of Various Algorithms”, in Proc. Int. Conf. on Russian Supercomputing Days, Moscow, Russia, September 23-24, 2019 (MAKS Press, Moscow, 2019), pp. 192-199.
-
A. S. Antonov and R. V. Maier, "Development and Implementation of the Algo500 Scalable Digital Platform Architecture", Lobachevskii J. Math. 43 (4), 837-847 (2022). DOI: 10.1134/S1995080222070058 EDN: GHOXKR
-
Home | TOP500. https://www.top500.org Cited February 15, 2023.
-
Graph 500 | large-scale benchmarks. https://graph500.org Cited February 15, 2023.
-
HPCG - June 2022 | Top500. https://www.top500.org/lists/hpcg/2022/06/ Cited February 15, 2022.
-
Green500 - June 2022 | Top500. https://www.top500.org/lists/green500/2022/06/ Cited February 15, 2023.
-
A. S. Antonov, J. Dongarra, and Vl. Voevodin, "Algowiki Project as an Extension of the Top500 Methodology", Supercomput. Front. Innov. 5 (1), 4-10 (2018). DOI: 10.14529/jsfi180101 EDN: XNQPEL
-
A. Antonov, "Wiki Representation and Analysis of Knowledge About Algorithms", in Lecture Notes in Computer Science (Springer, Cham, 2022), Vol. 13708, pp. 604-616. DOI: 10.1007/978-3-031-22941-1_44
-
A. Antonov, Vad. Voevodin, Vl. Voevodin, and A. Teplov, "A Study of the Dynamic Characteristics of Software Implementation as an Essential Part for a Universal Description of Algorithm Properties", in Proc. 24th Euromicro Int. Conf. on Parallel, Distributed, and Network-Based Processing, Heraclion, Greece, February 17-19, 2016 (IEEE Press, New York, 2016), pp. 359-363. DOI: 10.1109/PDP.2016.24
-
N. M. Borgest, "Scientific Basis for the Ontology of Designing", Ontology of Designing, No. 1, 7-25 (2013). https://www.ontology-of-designing.ru/article/2013_1(7)/Ontology_of_Designing_1_2013.pdf Cited February 16, 2023. EDN: QARMUT
-
G. Guizzardi, Ontological Foundations for Structural Conceptual Models (University of Twente, Enschede, 2005). https://ris.utwente.nl/ws/portalfiles/portal/6042428/thesis_Guizzardi.pdf Cited February 16, 2023.
-
E. K. Voishvillo and M. G. Degtyarev, Logic (VLADOS-PRESS, Moscow, 2001) [in Russian].
-
A. M. Anisov, Modern Logic (Inst. of Philosophy, Moscow, 2002) [in Russian].
-
V. A. Bocharov and V. I. Markin, Fundamentals of Logic (INFRA-M, Moscow, 1998) [in Russian].
-
A. L. Subbotin, Classification (Inst. of Philosophy, Moscow, 2001) [in Russian].
-
GOST R ISO 22274-2016.Systems to manage terminology, knowledge and content. Concept-related aspects for developing and internationalizing classification systems. (Standartinform Publ., Moscow, 2017) [in Russian].
-
Top50 | Supercomputers. http://top50.supercomputers.ru/list Cited February 16, 2023.
-
F. I. Peregudov and F. P. Tarasenko, "Introduction to Systems Analysis", (Vysshaya Shkola, Moscow, 1989) [in Russian].
-
F. P. Tarasenko, "Applied Systems Analysis (The Science and Art of Problem Solving): Textbook", (Tomsk State University Press, Tomsk, 2004) [in Russian].
-
A. S. Antonov, I. V. Afanasyev, and Vl. V. Voevodin, "High-Performance Computing Platforms: Current Status and Development Trends", Numerical Methods and Programming (Vychislitel'nye Metody i Programmirovanie). 22 (2), 138-181 (2021). DOI: 10.26089/NumMet.v22r210 EDN: VFWDZY
-
Vl. V. Voevodin, A. S. Antonov, D. A. Nikitenko, et al., "Supercomputer Lomonosov-2: Large Scale, Deep Monitoring and Fine Analytics for the User Community", Supercomput. Front. Innov. 6 (2), 4-11 (2019). DOI: 10.14529/jsfi190201 EDN: SYPENS
-
PARALLEL.RU. Superkomp'yuterny'j kompleks MGU.
-
About Fugaku | RIKEN Center for Computational Science RIKEN Website. https://www.r-ccs.riken.jp/en/fugaku/about/ Cited February 16, 2023.
-
Frontier User Guide - OLCF User Documentation. https://docs.olcf.ornl.gov/systems/frontier_user_guide.html#system-overview Cited February 16, 2023.
-
System Architecture - TACC Frontera User Guide. https://frontera-portal.tacc.utexas.edu/user-guide/system/ Cited February 16, 2023.
-
Russian Federation. The Federal Law of the Russian Federation N 162-FZ of July 29, 2015:, "About Standardization in the Russian Federation''(Collection of Legislation of the Russian Federation, 2015, No. 27, Article 3953) [in Russian].
-
GOST 80000-13-2016. State system for ensuring the uniformity of measurements. Quantities and units. Part 13. Information science and technology. (Standartinform, Moscow, 2017) [in Russian].
-
GOST 8.417-2002. State system for ensuring the uniformity of measurements. Units of quantities. (Standartinform, Moscow, 2019) [in Russian].
-
International vocabulary of metrology: basic and general concepts and associated terms (VIM). Joint Committee for Guides in Metrology (JCGM/WG 2). (NPO Professional, St. Petersburg, 2010) [in Russian].
-
RMG 29-2013. State system for ensuring the uniformity of measurements. Metrology. Basic terms and definitions. (Standartinform, Moscow, 2014) [in Russian].
-
V. V. Voevodin and Vl. V. Voevodin, Parallel Computing (BHV-Petersburg, St. Petersburg, 2002) [in Russian].
-
RMG 83-2007. State system for ensuring the uniformity of measurements. Scales of measurements. Terms and definitions. (Standartinform, Moscow, 2008) [in Russian].
-
A. G. Podvesovskii, D. A. Korostelyov, E. A. Lupachev, and N. V. Belyakov, "Building a Repository of Generalized Computational Experiments Based on the Ontological Approach", Ontology of Designing 12 (1), 41-56 (2022). DOI: 10.18287/2223-9537-2022-12-1-41-56 EDN: LERJGF
-
HDF5 File Format Specification Version 2.0. http://davis.lbl.gov/Manuals/HDF5-1.8.7/H5.format.html.
-
V. V. Nalimov and N. A. Chernova, Statistical Methods for Planning Extreme Experiments (Nauka, Moscow, 1965) [in Russian].
-
V. V. Nalimov, Theory of Experiment (Nauka, Moscow, 1971) [in Russian].
Выпуск
Методы и алгоритмы вычислительной математики и их приложения.
Параллельные программные средства и технологии.
Другие статьи выпуска
В статье рассматривается задача планирования работ на многоядерном процессоре с учетом их замедления при совместном выполнении. Предложена постановка задачи и модель частично целочисленного линейного программирования, доказана NP-трудность задачи при числе ядер, ограниченном константой. Результаты планировщика Intel TBB и жадного алгоритма сравниваются с результатами, полученными в соответствии с предложенной моделью с помощью пакета CPLEX. Проведенный эксперимент показал преимущества предложенного подхода по времени завершения всех работ.
Представлен алгоритм численного моделирования квазистатической нагрузки пористого флюидонасыщенного образца для решения задачи апскейлинга трещиновато-пористой флюидонасыщенной среды. В результате апскейлинга восстанавливается анизотропная однородная вязкоупругая эквивалентная среда, определяемая комплекснозначным частотно-зависимым тензором жесткости. Компоненты восстановленного тензора жесткости эквивалентной среды используются для оценки частотно-зависимого сейсмического затухания и фазовой скорости сейсмических волн. Численный апскейлинг включает в себя численное решение краевой задачи для системы уравнений Био анизотропной пороупругой флюидонасыщенной среды в частотной области для набора частот и различных граничных условий. Численное решение системы уравнений Био основано на конечно-разностной аппроксимации уравнений в квазистатической постановке и проводится с использованием прямого решателя результирующей СЛАУ. Используемый прямой решатель позволяет эффективно решать СЛАУ для набора правых частей, что необходимо при численном апскейлинге. Представленная реализация алгоритма позволяет численно решать двумерную задачу апскейлинга на расчетной сетке с размерами до 2000 × 2000 узлов на персональном компьютере, что обеспечивает возможность восстанавливать эквивалентную вязкоупругую модель для детализированных репрезентативных образцов трещиновато-пористой среды. Для демонстрации применимости алгоритма выполнено несколько наборов численных экспериментов, направленных на выявление влияния связности трещин и микромасштабной анизотропии пороупругого материала внутри трещин на затухание, вызванное индуцированными волной потоками флюидов, и дисперсию сейсмической волны в сложной трещиновато-пористой флюидонасыщенной среде.
Рассматривается задача параллельной реализации алгоритма определения сейсмического источника внутри случайно-неоднородной среды. Алгоритм определения исходной позиции источника использует данные записанных сейсмограмм на свободной поверхности и информацию о статистических свойствах случайной среды. Предложенный подход требует решения большого количества задач динамической теории упругости для различных статистически эквивалентных скоростных моделей, идентифицированных по статистическим параметрам исходной среды. Это наиболее трудоемкая часть алгоритма решения. Чтобы ускорить расчеты, используется двухуровневая стратегия распараллеливания с помощью создания групп, каждая из которых решает свою задачу динамической теории упругости с декомпозицией расчетной области внутри группы. Реализация программы выполнена с использованием Fortran Coarray. Также приводится сравнение используемых конструкций расширения Fortran Coarray с функциями MPI.
Рассмотрено моделирование гравитационной задачи N тел с использованием алгоритмов PM и P3M. Реализация алгоритмов для GPU осуществлена с применением вычислительных шейдеров. Предложенный подход использует CPU-код только для синхронизации и запуска шейдеров и не содержит вычислительных частей, реализуемых на CPU; в том числе полностью отсутствует копирование данных между CPU и GPU. Приводятся параллельный алгоритм размещения частиц по ячейкам сетки и параллельный алгоритм распределения масс по узлам сетки. Основой алгоритмов является параллельное построение списков, соответствующих ячейкам сетки. Алгоритмы полностью распараллелены и не содержат частей, исполняемых в один поток. Для расчета одновременно с визуализацией часть вычислений сделана в вершинном шейдере. Выполнить их позволило использование буферных объектов в вершинном шейдере и специально подготовленных данных вместо вершин в качестве входа. Приведены результаты численных расчетов на примере образования галактических скоплений в расширяющейся согласно модели Фридмана плоской вселенной. В качестве модели вселенной брался куб с периодическими краевыми условиями по всем осям. Максимальное число частиц, с которым проводились расчеты, - 108. Для моделирования использовались современный кроссплатформенный API Vulkan и язык GLSL. Результаты расчетов на процессорах Apple M1 и Ryzen 3700X сравниваются с результатами расчетов на обычных видеокартах Apple M1 и NVIDIA RTX 3060. Параллельный алгоритм для CPU реализован с помощью OpenMP. Проведено сравнение производительности алгоритма с результатами других авторов, причем делаются качественные сравнения самих результатов вычислений и сравнение времени работы алгоритмов. Также приведено сравнение времени работы программы для GPU и похожей программы для кластера из многих узлов.
Современные суперкомпьютеры востребованы в самых разных областях науки и техники. Однако их вычислительные ресурсы зачастую используются не в полной мере. Причина нередко кроется в низкой эффективности выполнения пользовательских приложений. Решить возникшую проблему весьма непросто, что связано как с чрезвычайной сложностью строения современных суперкомпьютеров, так и с недостатком теоретических знаний и практического опыта в создании высокоэффективных параллельных приложений у пользователей вычислительных систем. Более того, пользователи зачастую и не знают, что их приложения работают неэффективно. Поэтому важно, чтобы администраторы суперкомпьютеров могли постоянно контролировать и анализировать весь поток выполняющихся приложений. Для этих целей можно использовать различные существующие системы мониторинга и анализа производительности, однако подобные решения в большинстве своем либо не предоставляют достаточный функционал в части изучения производительности, либо не переносимы. В данной работе описывается прототип разрабатываемого программного комплекса, который предоставляет широкие возможности по сбору и автоматическому анализу данных о производительности приложений и при этом является переносимым.
Исследована проблема существования и единственности полилинейных продолжений некоторых дискретных функций. Доказано, что для любой булевой функции существует соответствующее полилинейное продолжение и оно единственно. Предложен алгоритм нахождения полилинейного продолжения булевой функции и доказана его корректность. На основе предложенного алгоритма найдены явные формы полилинейных продолжений сначала для булевой функции, а затем для произвольной функции, определенной на множестве вершин n-мерного единичного куба, произвольного куба и параллелепипеда, и в каждом конкретном случае доказана единственность соответствующего полилинейного продолжения.
Effective output from data centers are determined by many complementary factors. Often, attention is paid to only a few, at first glance, the most significant of them. For example, this is the efficiency of the scheduler, the efficiency of resource utilization by user tasks. At the same time, a more general view of the problem is often missed: the level at which the interconnection of work processes in the HPC center is determined, the organization of effective work as a whole. missions at this stage can negate any subtle optimizations at a low level. This paper provides a scheme for describing workflows in the supercomputer center and analyzes the experience of large HPC facilities in identifying the bottlenecks in this chain. A software implementation option that gives the possibility of optimizing the organization of work at all stages is also proposed in the form of a support system for the functioning of the HPC site.
Издательство
- Издательство
- МГУ
- Регион
- Россия, Москва
- Почтовый адрес
- оссийская Федерация, 119991, Москва, Ленинские горы, д. 1
- Юр. адрес
- оссийская Федерация, 119991, Москва, Ленинские горы, д. 1
- ФИО
- Садовничий Виктор Антонович (РЕКТОР)
- E-mail адрес
- info@rector.msu.ru
- Контактный телефон
- +7 (495) 9391000
- Сайт
- https://msu.ru/