BOTTLENECKS IN ORGANIZING THE WORKFLOWS OF LARGE HPC CENTERS (2023)
Effective output from data centers are determined by many complementary factors. Often, attention is paid to only a few, at first glance, the most significant of them. For example, this is the efficiency of the scheduler, the efficiency of resource utilization by user tasks. At the same time, a more general view of the problem is often missed: the level at which the interconnection of work processes in the HPC center is determined, the organization of effective work as a whole. missions at this stage can negate any subtle optimizations at a low level. This paper provides a scheme for describing workflows in the supercomputer center and analyzes the experience of large HPC facilities in identifying the bottlenecks in this chain. A software implementation option that gives the possibility of optimizing the organization of work at all stages is also proposed in the form of a support system for the functioning of the HPC site.
Идентификаторы и классификаторы
- eLIBRARY ID
- 50397343
The questions of increasing the efficiency of supercomputer computing systems have always been acute due to the high cost and scarcity of this type of resources. The choice of target software and hardware architectures, based on the planned type of tasks to be solved, fine-tuning of the environment, optimizing the applications themselves — there are a lot of scientific and practical events and articles are devoted to all this.
Various approaches to assessing the quality of compute services are discussed in [1]. Meanwhile, a higher level is much less affected — the level of organization of the entire chain of work processes from the very idea of using supercomputer resources to obtaining the required result. Even in the State rubricator of scientific and technical information classification there was a special block dedicated to this direction. At the moment, this kind of work receives somewhat less publicity, but not because it is not relevant, rather since its target audience is significantly narrower and consists mainly of holders and administrators of computer systems, moreover, on a fairly large scale.
Most of the related contemporary works discuss the questions of managing and maintenance of the specified computing facilities [2] or [3, 4], giving some best practices, but with almost no suggestions, how to solve the discussed problems in general.
Список литературы
- Vad. V. Voevodin, D. I. Shaikhislamov, and D. A. Nikitenko, “How to Assess the Quality of Supercomputer Resource Usage”, Supercomput. Front. Innov. 9 (3), 4-18 (2022). DOI: 10.14529/jsfi220301 EDN: VKETHG
- R. McLay, K. W. Schulz, W. L. Barth, and T. Minyard, “Best Practices for the Deployment and Management of Production HPC Clusters”, in Proc. Int. Conf. for High Performance Computing, Networking, Storage and Analysis, Seattle, USA, November 12-18, 2011 (ACM Press, New York, 2011),. DOI: 10.1145/2063348.2063360
- S. Varrette, P. Bouvry, H. Cartiaux, and F. Georgatos, “Management of an Academic HPC Cluster: The UL Experience”, in Proc. Int. Conf. on High Performance Computing Simulation, Bologna, Italy, July 21-25, 2014 (IEEE Press, New York, 2014), pp. 959-967. DOI: 10.1109/HPCSim.2014.6903792
- S. Varrette, E. Kieffer, and F. Pinel, “Optimizing the Resource and Job Management System of an Academic HPC Research Computing Facility”, in Proc. 21st Int. Symposium on Parallel and Distributed Computing, Basel, Switzerland, July 11-13, 2022 (IEEE Press, New York, 2022), pp. 129-137. DOI: 10.1109/ISPDC55340.2022.00027
- Vad. V. Voevodin, R. A. Chulkevich, P. S. Kostenetskiy, et al., “Administration, Monitoring and Analysis of Supercomputers in Russia: a Survey of 10 HPC Centers”, Supercomput. Front. Innov. 8 (3), 82-103 (2021). DOI: 10.14529/jsfi210305 EDN: LYRVXM
- A. V. Paokin and D. A. Nikitenko, “Unified Approach for Provision of Supercomputer Center Resources”, Vestn. Yuzhn. Ural. Gos. Univ. Ser. Vychisl. Mat. Inf. 11 (1), 5-14 (2022). DOI: 10.14529/cmse220101 EDN: EPCMLX
- V. Voevodin, A. Antonov, D. Nikitenko, et al., “Lomonosov-2: Petascale Supercomputing at Lomonosov Moscow State University”, in Contemporary High Performance Computing (CRC Press, Boca Raton, 2019), Vol. 3, pp. 305-330. DOI: 10.1201/9781351036863-12
- Vl. V. Voevodin, A. S. Antonov, D. A. Nikitenko, et al., “Supercomputer Lomonosov-2: Large Scale, Deep Monitoring and Fine Analytics for the User Community”, Supercomput. Front. Innov. 6 (2), 4-11 (2019). DOI: 10.14529/jsfi190201 EDN: SYPENS
- G. I. Savin, B. M. Shabanov, P. N. Telegin, and A. V. Baranov, “Joint Supercomputer Center of the Russian Academy of Sciences: Present and Future”, Lobachevskii J. Math. 40 (11), 1853-1862 (2019). DOI: 10.1134/S1995080219110271 EDN: SYCOZE
-
P. S. Kostenetskiy, R. A. Chulkevich, and V. I. Kozyrev, "HPC Resources of the Higher School of Economics", J. Phys.: Conf. Ser. 1740 (1), Article 012050 (2021). DOI: 10.1088/1742-6596/1740/1/012050
-
D. A. Nikitenko, Vad. V. Voevodin, and S. A. Zhumatiy, "Driving a Petascale HPC Center with Octoshell Management System", Lobachevskii J. Math. 40 (11), 1817-1830 (2019). DOI: 10.1134/S1995080219110192 EDN: YCYKNI
-
P. Shvets, Vad. Voevodin, and D. Nikitenko, "Approach to Workload Analysis of Large HPC Centers", in Communications in Computer and Information Science (Springer, Cham, 2020), Vol. 1263, pp. 16-30. DOI: 10.1007/978-3-030-55326-5_2 EDN: RCYBRR
-
D. A. Nikitenko, P. A. Shvets, and V. V. Voevodin, "Why do Users Need to Take Care of Their HPC Applications Efficiency?", Lobachevskii J. Math. 41 (8), 1521-1532 (2020). DOI: 10.1134/s1995080220080132 EDN: ZJQJEI
Выпуск
Методы и алгоритмы вычислительной математики и их приложения.
Параллельные программные средства и технологии.
Другие статьи выпуска
В статье рассматривается задача планирования работ на многоядерном процессоре с учетом их замедления при совместном выполнении. Предложена постановка задачи и модель частично целочисленного линейного программирования, доказана NP-трудность задачи при числе ядер, ограниченном константой. Результаты планировщика Intel TBB и жадного алгоритма сравниваются с результатами, полученными в соответствии с предложенной моделью с помощью пакета CPLEX. Проведенный эксперимент показал преимущества предложенного подхода по времени завершения всех работ.
Проект создания цифровой платформы Algo500 направлен на решение задачи совместного анализа свойств алгоритмов и особенностей архитектур суперкомпьютеров. В статье на основе методологии онтологического анализа рассматриваются и предлагаются понятия, модели и метамодели данных, обосновываются подходы к описанию некоторых понятий из мира высокопроизводительных вычислений (HPC), устанавливаются новые требования к моделям данных, которые должны обеспечить выполнение задач, поставленных при создании платформы Algo500.
Представлен алгоритм численного моделирования квазистатической нагрузки пористого флюидонасыщенного образца для решения задачи апскейлинга трещиновато-пористой флюидонасыщенной среды. В результате апскейлинга восстанавливается анизотропная однородная вязкоупругая эквивалентная среда, определяемая комплекснозначным частотно-зависимым тензором жесткости. Компоненты восстановленного тензора жесткости эквивалентной среды используются для оценки частотно-зависимого сейсмического затухания и фазовой скорости сейсмических волн. Численный апскейлинг включает в себя численное решение краевой задачи для системы уравнений Био анизотропной пороупругой флюидонасыщенной среды в частотной области для набора частот и различных граничных условий. Численное решение системы уравнений Био основано на конечно-разностной аппроксимации уравнений в квазистатической постановке и проводится с использованием прямого решателя результирующей СЛАУ. Используемый прямой решатель позволяет эффективно решать СЛАУ для набора правых частей, что необходимо при численном апскейлинге. Представленная реализация алгоритма позволяет численно решать двумерную задачу апскейлинга на расчетной сетке с размерами до 2000 × 2000 узлов на персональном компьютере, что обеспечивает возможность восстанавливать эквивалентную вязкоупругую модель для детализированных репрезентативных образцов трещиновато-пористой среды. Для демонстрации применимости алгоритма выполнено несколько наборов численных экспериментов, направленных на выявление влияния связности трещин и микромасштабной анизотропии пороупругого материала внутри трещин на затухание, вызванное индуцированными волной потоками флюидов, и дисперсию сейсмической волны в сложной трещиновато-пористой флюидонасыщенной среде.
Рассматривается задача параллельной реализации алгоритма определения сейсмического источника внутри случайно-неоднородной среды. Алгоритм определения исходной позиции источника использует данные записанных сейсмограмм на свободной поверхности и информацию о статистических свойствах случайной среды. Предложенный подход требует решения большого количества задач динамической теории упругости для различных статистически эквивалентных скоростных моделей, идентифицированных по статистическим параметрам исходной среды. Это наиболее трудоемкая часть алгоритма решения. Чтобы ускорить расчеты, используется двухуровневая стратегия распараллеливания с помощью создания групп, каждая из которых решает свою задачу динамической теории упругости с декомпозицией расчетной области внутри группы. Реализация программы выполнена с использованием Fortran Coarray. Также приводится сравнение используемых конструкций расширения Fortran Coarray с функциями MPI.
Рассмотрено моделирование гравитационной задачи N тел с использованием алгоритмов PM и P3M. Реализация алгоритмов для GPU осуществлена с применением вычислительных шейдеров. Предложенный подход использует CPU-код только для синхронизации и запуска шейдеров и не содержит вычислительных частей, реализуемых на CPU; в том числе полностью отсутствует копирование данных между CPU и GPU. Приводятся параллельный алгоритм размещения частиц по ячейкам сетки и параллельный алгоритм распределения масс по узлам сетки. Основой алгоритмов является параллельное построение списков, соответствующих ячейкам сетки. Алгоритмы полностью распараллелены и не содержат частей, исполняемых в один поток. Для расчета одновременно с визуализацией часть вычислений сделана в вершинном шейдере. Выполнить их позволило использование буферных объектов в вершинном шейдере и специально подготовленных данных вместо вершин в качестве входа. Приведены результаты численных расчетов на примере образования галактических скоплений в расширяющейся согласно модели Фридмана плоской вселенной. В качестве модели вселенной брался куб с периодическими краевыми условиями по всем осям. Максимальное число частиц, с которым проводились расчеты, - 108. Для моделирования использовались современный кроссплатформенный API Vulkan и язык GLSL. Результаты расчетов на процессорах Apple M1 и Ryzen 3700X сравниваются с результатами расчетов на обычных видеокартах Apple M1 и NVIDIA RTX 3060. Параллельный алгоритм для CPU реализован с помощью OpenMP. Проведено сравнение производительности алгоритма с результатами других авторов, причем делаются качественные сравнения самих результатов вычислений и сравнение времени работы алгоритмов. Также приведено сравнение времени работы программы для GPU и похожей программы для кластера из многих узлов.
Современные суперкомпьютеры востребованы в самых разных областях науки и техники. Однако их вычислительные ресурсы зачастую используются не в полной мере. Причина нередко кроется в низкой эффективности выполнения пользовательских приложений. Решить возникшую проблему весьма непросто, что связано как с чрезвычайной сложностью строения современных суперкомпьютеров, так и с недостатком теоретических знаний и практического опыта в создании высокоэффективных параллельных приложений у пользователей вычислительных систем. Более того, пользователи зачастую и не знают, что их приложения работают неэффективно. Поэтому важно, чтобы администраторы суперкомпьютеров могли постоянно контролировать и анализировать весь поток выполняющихся приложений. Для этих целей можно использовать различные существующие системы мониторинга и анализа производительности, однако подобные решения в большинстве своем либо не предоставляют достаточный функционал в части изучения производительности, либо не переносимы. В данной работе описывается прототип разрабатываемого программного комплекса, который предоставляет широкие возможности по сбору и автоматическому анализу данных о производительности приложений и при этом является переносимым.
Исследована проблема существования и единственности полилинейных продолжений некоторых дискретных функций. Доказано, что для любой булевой функции существует соответствующее полилинейное продолжение и оно единственно. Предложен алгоритм нахождения полилинейного продолжения булевой функции и доказана его корректность. На основе предложенного алгоритма найдены явные формы полилинейных продолжений сначала для булевой функции, а затем для произвольной функции, определенной на множестве вершин n-мерного единичного куба, произвольного куба и параллелепипеда, и в каждом конкретном случае доказана единственность соответствующего полилинейного продолжения.
Издательство
- Издательство
- МГУ
- Регион
- Россия, Москва
- Почтовый адрес
- оссийская Федерация, 119991, Москва, Ленинские горы, д. 1
- Юр. адрес
- оссийская Федерация, 119991, Москва, Ленинские горы, д. 1
- ФИО
- Садовничий Виктор Антонович (РЕКТОР)
- E-mail адрес
- info@rector.msu.ru
- Контактный телефон
- +7 (495) 9391000
- Сайт
- https://msu.ru/