EISSN 1726-3522
Язык: ru

PREPROCESSING OF SYSTEM MONITORING DATA FOR WORKLOAD ANALYSIS OF HPC SYSTEMS (2021)

HPC systems are complex in architecture and contain millions of components. To ensure reliable operation and efficient output, functioning of most subsystems should be supervised. This is done on the basis of collected data from various logging and monitoring systems. This means that different data sources are used, and accordingly, data analysis can face multiple issues processing this data. Some of the data subsets can be incorrect due to the malfunctioning of used sensors, monitoring system data aggregation errors, etc. This is why it is crucial to preprocess such monitoring data before analyzing it, taking into the consideration the analysis goals. The aim of this paper is, being based on the MSU HPC Center monitoring data, to propose an approach to data preprocessing of HPC monitoring systems, giving some real life examples of issues that may be faced, and recommendations for further analysis of similar datasets.

Тип: Статья
Автор (ы): Мартышов М. Н., Никитенко Дмитрий Александрович
Ключевые фразы: SUPERCOMPUTING, SUPERCOMPUTERS, SYSTEM MONITORING DATA ANALYSIS, SYSTEM MONITORING DATA CLEANING, SYSTEM MONITORING DATA REDUCTION, СУПЕРКОМПЬЮТЕР, СУПЕРКОМПЬЮТИНГ, АНАЛИЗ ДАННЫХ СИСТЕМНОГО МОНИТОРИНГА, СИСТЕМНЫЙ МОНИТОРИНГ, ОЧИСТКА ДАННЫХ СИСТЕМНОГО МОНИТОРИНГА, РЕДУКЦИЯ ДАННЫХ СИСТЕМНОГО МОНИТОРИНГА

Идентификаторы и классификаторы

УДК
004.021. Алгоритмы
004.451. Операционные системы
303.732. Системный уровень. Системный анализ
681.3.068. <Автоматизация программирования. Трансляторы (интерпретирующие программы. Перепрограммирование. Эмуляторы. Генераторы программ. Компиляторы. Автокоды. Ассемблеры. Библиотека стандартных программ).Исключено E&C 18 [1996]
eLIBRARY ID
46575190
Текстовый фрагмент статьи