Современные информационные технологии внесли изменения в способ сбора, хранения и обработки данных. В таких условиях традиционные подходы к обработке информации становятся малоэффективными. Для удобства работы с большими данными реализовано большое количество фреймворков и распределенных хранилищ данных. Одним из известных методов для поддержки выполнения крупномасштабных распределенных прикладных программ является MapReduce. В статье представлен обзор современных технологий, применяемых в области обработки больших данных, анализ рынка, а также сравнение современных аналитических систем управления базами данных.
Идентификаторы и классификаторы
Современные информационные технологии изменили способ сбора, хранения и обработки данных. Использование системного анализа может помочь оптимизировать процесс обработки информации и повысить качество статистических исследований. Нынешняя стадия развития технологий характеризуется ростом объема информации и сложности структуры баз данных в различных областях человеческой деятельности. Однако в данных условиях установленные подходы к обработке информации не дают ожидаемого результата. В конечном итоге возникает актуальная проблема разработки и применения новых многометодных подходов к анализу данных.
Список литературы
-
Smolan R., Erwitt J. The Human Face of Big Data. Against All Odds Productions, 2012. 223 р. ▼
-
Колмогорова С. С., Голубятникова Н. О. О применении регуляризации структуры больших данных для распределенной системы сбора и прогнозирования параметров объектов наблюдений // Вестник Воронежского государственного технического университета. 2022. Т. 18, 10.36622/VSTU.2022.18.5.012. № 5. С. 91-99. DOI. ▼
-
Columbus L. 10 Charts That Will Change Your Perspective Of Big Data’s Growth // Forbes. 2018. URL: https://www.forbes.com/sites/louiscolumbus/2018/05/23/10-charts-that-will-change-your-perspective-of-big-datas-growth/?sh=2260aa9a2926 (date accessed: 12.10.2023). ▼
-
Dresner H. Dresner Advisory Services Publishes 2018 Big Data Analytics Market Study // Dresner Advisory Services, LLC. 2018. URL: https://www.globenewswire.com/news-release/2018/12/20/1670374/0/en/Dresner-Advisory-Services-Publishes-2018-Big-Data-Analytics-Market-Study.html (date accessed: 12.10.2023). ▼
-
Колмогорова С. С., Колмогоров А. С., Баранов Д. С., Мокряк А. В. Платформа контроля электромагнитного поля для обеспечения безопасности труда и промышленных объектов // Безопасность труда в промышленности. 2022. № 2. С. 58-63. DOI: 10.24000/0409-2961-2022-2-58-63 EDN: WZTIWM ▼
-
Колмогорова С. С., Романов Н. О. Профилирование системы сбора и обработки данных окружающей среды // Приборы. 2023. № 4(274). С. 14-18. EDN: SYGNXH ▼
-
Dean J., Ghemawat S. MapReduce: Simplified Data Processing on Large Clusters // Operating System Design and Implementation (OSDI): proceedings of the Symposium. San Francisco, CA, USA. 2004. P. 137-150. ▼
-
Franciscus N., Milosevic Z., Stantic B. Influence of Parallelism Property of Streaming Engines on Their Performance // New Trends in Databases and Information Systems (ADBIS): proceedings of the Prague. Czech Republic: Springer, 2016. P. 104-111. ▼
-
“Яндекс” открывает исходный код аналитической СУБД ClickHouse // Открытые системы. СУБД. 2016. № 3. С. 3-7a. EDN: WMOBIH ▼
-
Nathan Martz, James Warren. Big Data: Principles and Best Practices of Scalable Realtime Data Systems. Simon and Schuster. 2017. 328 p.
-
Viktor Mayer-Schönberger, Kenneth Cukier. Big Data: A Revolution That Will Transform How We Live, Work, and Think. Bost: Houghton Mifflin Harcour, 2014. 242 p.
Выпуск
Другие статьи выпуска
В статье рассматривается оптимизация производственного процесса на основе имитационного моделирования в программном продукте Arena Rockwell. Разработана имитационная модель текущего процесса “AS-IS”. На основе параметров оптимизации - максимальная загрузка оборудования, минимальное количество единиц оборудования, разработана целевая модель процесса “ТО- ВЕ”. В результате имитационного моделирования при рассмотрении процессов были установлены параметры: коэффициент использования станков, средняя продолжительность пребывания деталей в производственном процессе, среднее число деталей в очереди, среднее время пребывания деталей в очереди, прибыль и убытки при реализации производственного процесса. Полученные результаты моделирования позволили рекомендовать поточную линию на основе группового технологического процесса обработки деталей. Это позволит повысить экономическую эффективность производственного процесса в 1.36 раза при сокращении количества используемого оборудования на 16 единиц по сравнению с индивидуальными (единичными) технологическими процессами обработки деталей.
При определении силы адгезии покрытий, нанесенных магнетронным методом, разработана математическая модель, позволяющая на основе расчета внутренних напряжений определить силу адгезии без эталонных образцов. Предложенная расчетная модель с применением принципа суперпозиции от нескольких точечных источников напряжений позволила объяснить характер отслаивания за счет возникновения растягивающих напряжений по глубине образца.
В целях улучшения качества дорожного покрытия, а также повышения качества логистики, ускорения грузоперевозок, повышения уровня сохранности перевозимых грузов и уменьшения количества дорожно-транспортных происшествий, автором было проведено исследование доступных средств для отслеживания неровностей дорог. Проведенный опрос среди автомобилистов показал, что пользователи автомобилей не имеют доступа к источникам о неровностях дорожного покрытия или не знают про доступные источники информации о качестве и особенностях дорожного покрытия, а также хотели бы иметь общедоступный источник такой информации. Наличие неровностей на дорожном покрытии, по которому проходит маршрут следования автомобиля или грузового транспорта, увеличивает время прохождения маршрута и риск повреждения грузов, перевозимых транспортом. Для уменьшения количества дорожно-транспортных происшествий и повреждений доставляемых грузов наземным транспортом было разработано приложение для Android-смартфона, позволяющее получить информацию о неровностях на дорогах посредством маркеров, установленных на карте, а также приложение позволяет пользователю отследить неровности для увеличения охвата отслеженных неровностей.
Численное решение систем линейных алгебраических уравнений (СЛАУ), особенно в случае нестационарных задач, занимает значительную долю машинного времени. Обычно для решения СЛАУ в пакетах прикладных программ используют или Чебышевский итерационный метод (волновые линейные задачи и др.), который требует задания оптимального параметра, или градиентные итерационные схемы, которые не требуют изначального знания оптимального итерационного параметра и самосопряженности матрицы системы. Для линейных систем уравнений Чебышевский метод является оптимальным по скорости сходимости (теоретически не улучшаемым) в случае, если матрица системы самосопряженная и положительно определенная. Единственным недостатком этого метода является необходимость знания границ спектра у решаемой матрицы уравнений. В настоящей работе происходит численная проверка устойчивости Чебышевского метода как в классическом варианте, так и в виде многошаговой схемы.
В статье рассматривается исследование режимов работы синхронного генератора с постоянными магнитами модульного типа (СГПМ) при различной скорости вращения индуктора. Разработана имитационная модель и лабораторный стенд для ее верификации. Также в статье рассматривается способ регулирования выходного напряжения за счет переключения модулей электромагнитов синхронного генератора при различной скорости вращения индуктора и коэффициента загрузки.
В статье проведено исследование разработанного макетного образца синхронного генератора с постоянными магнитами (СГПМ) на основе имитационного моделирования и экспериментальных испытаний. Для проведения экспериментальных исследований разработан испытательный стенд с возможностью регулирования скорости вращения ротора СГПМ до 500 об/мин. Макетный образец представляет собой трехфазную синхронную машину, магнитная система статора выполнена на основе магнитной системы статора асинхронной электрической машины.
Организация потребления тепловой энергии в жилых зданиях довольно затратна, поэтому тема рационального использования тепловой энергии и энергосбережения не теряет актуальности для всех регионов страны. На примере изучения динамики теплопотребления в энергоэффективных многоэтажных домах городов Томска и Будённовска показана необходимость скорейшего внедрения энергосберегающих мероприятий. В связи с возрастанием потребностей и ураганным ростом цен на тепловую энергию в сфере жилищно-коммунального хозяйства требуется усиление активной деятельности в области автоматического регулирования теплоснабжения, поскольку оно даёт наибольшую экономию энергии по сравнению с теплозащитой.
Любое предприятие связи является потребителем с толчковым характером нагрузки. Для сглаживания профиля мощности в такую электротехническую систему может быть добавлена электростанция на основе возобновляемого источника энергии. В исследовании выполнен расчет параметров генерирующего оборудования электростанции, описаны его конструктивные особенности и приведен алгоритм управления.
В работе рассматриваются вопросы электропотребления домохозяйств в зависимости от технических (состав бытовых электроприемников, время года) и социально-экономических (тип и структура домохозяйства, состав семьи, возраст, социальное положение) факторов. На основе анализа построенных в различное время года графиков нагрузки можно строить модели прогноза электропотребления домохозяйств различного типа.
В настоящей работе проводится численное моделирование динамики пористых заряженных микрочастиц, локализованных в поверхностной радиочастотной ловушке при атмосферных условиях и учете лазерного воздействия. Показана возможность перехода динамической системы от бистабильности к состояниям, характеризующимся как одной, так и тремя точками устойчивого равновесия. При этом количество точек устойчивого равновесия и их пространственное положение зависят от величин сил тяжести и оптического давления, действующих на локализованную частицу. Рассчитаны фазовые портреты движения частицы для каждого из рассмотренных случаев. Проводится обобщение полученных результатов и обсуждение их практического применения.
В целях определения способа оптимизации земляных работ при вскрытии участков трубопровода для проведения ремонтных работ, направленных на сокращение объемов ручного труда и сокращение времени выполнения работ, автором рассмотрена перспективная конструкция оборудования одноковшового экскаватора для осуществления местного подкопа трубопровода, который производится после отрытия боковых траншей, и рассмотрена методика выполнения работ с применением одноковшового экскаватора, оснащенного модернизированным ковшом. Выполнен расчет эффективности и экономической целесообразности применения предложенного технического решения с проведением расчета себестоимости выполнения работ по вскрытию участка протяженностью 10 м трубопровода, выполнено сравнение полученной себестоимости с себестоимостью выполнения работ по вскрытию и подкопу участка классическими методами.
В настоящей работе рассмотрены особенности локализации одиночных ионов Ca+ в линейной квадрупольной ловушке Пауля с круглыми запирающими электродами. Продемонстрирована возможность реализации квазипериодических и хаотических режимов динамики в консервативном случае, определены условия возникновения хаотического режима. В работе приведена численная симуляция динамики и показано расщепление области локализации в зависимости от соотношения компонент напряжений на силовых и запирающих электродах.
В статье рассматриваются теоретические основы теории энергоэффективного генерирования высоконаправленных механических колебаний, основанной на преобразовании силы инерции. Проведен кинематический и динамический анализ сформулированного в работе основного принципа генерирования периодической силы, сосредоточенной преимущественно в одном направлении. В качестве примера приложения предложенного принципа в работе приведена конструкция устройства, порождающего высоконаправленную силу инерции. Проведен подробный статический и динамический анализ устройства и предложены перспективы его практического приложения.
Для исследования процесса сушки зерна пшеницы в условиях комбинированного акустико-вакуумного воздействия разработана математическая модель рассматриваемого процесса на основе дифференциальных уравнений. Проведены предварительные численные эксперименты с использованием разработанной математической модели. Получены результаты математического моделирования в виде зависимостей изменения массы, температуры и влажности зерна пшеницы как при отдельном акустическом и вакуумном воздействиях, так и при комбинированном акустико-вакуумном воздействии. Определена скорость сушки зерна пшеницы, которая составляет при акустическом воздействии 0.01 г/мин, вакуумном воздействии 0.19 г/мин и акустико-вакуумном воздействии 0.28 г/мин
Одна из важных задач неразрушающего контроля роторных механизмов - определение степени расцентровки валов. В настоящее время расцентровку обнаруживают, основываясь на анализе амплитудного спектра вибрации. Из экспериментальных данных видно, что амплитуды составляющих вибрации зависят от смещения валов по закону, близкому к линейному, но с разными коэффициентами пропорциональности. Коэффициенты зависят от конструкции муфты, и, как правило, неизвестны. В известных работах вибрация расцентрованных валов моделируется, как правило, введением в систему сил на разных частотах равной амплитуды. Это не согласуется с наблюдательными данными, в частности с различной зависимостью амплитуд составляющих от величины расцентровки. К тому же, в системе обычно присутствует несколько источников сил. В частности, параллельная и угловая расцентровки могут быть выражены одновременно и создавать колебания на трёх гармониках частоты вращения ротора. Дисбаланс ротора приводит к появлению колебаний на частоте его вращения. Суммировать колебания можно только векторно, т.е. с учётом фазы.
Издательство
- Издательство
- ОмГТУ
- Регион
- Россия, Омск
- Почтовый адрес
- 644050, Российская Федерация, г. Омск, пр-т Мира, д. 11
- Юр. адрес
- 644050, Российская Федерация, г. Омск, пр-т Мира, д. 11
- ФИО
- Корчагин Павел Александрович (Ректор )
- E-mail адрес
- info@omgtu.ru
- Контактный телефон
- +7 (381) 2653407
- Сайт
- https://omgtu.ru/