Оценка кардинальности (числа записей) играет ключевую роль в создании эффективных планов выполнения запросов в СУБД. В предыдущих работах был разработан выборочный метод EVACAR, который имеет преимущества по сравнению с существующими методами оценки кардинальности планов запросов. В статье приведены результаты дальнейшего усовершенствования метода EVACAR за счет автоматической оптимизации размеров блоков записей в выборке. Приведены результаты экспериментов, подтверждающие эффективность разработанного метода оптимизации. Выполнен анализ точности и скорости оценки кардинальности методом EVACAR после его усовершенствования.
Идентификаторы и классификаторы
Оценка кардинальности (CardEst) соединения таблиц играет важную роль в оптимизации запросов. CardEst – это предварительное вычисление числа записей для всех подпланов каждого запроса. Оценка кардинальности позволяет оптимизатору выбрать оптимальные операции соединения таблиц. Точность и скорость CardEst оказывают существенное влияние на качество сгенерированных планов запросов. Из-за своей важной роли в СУБД задача CardEst широко изучалась и изучается как академическими, так и промышленными кругами.
Список литературы
1. Han Y. et al. Cardinality Estimation in DBMS: A Comprehensive Benchmark Evaluation // Proceedings of the VLDB Endowment. - 2021. - Vol. 15, No. 4. - P. 752-765. EDN: TUHLSF
2. Григорьев Ю.А. Оценка кардинальности запросов на основе выборки из полного внешнего соединения таблиц // Информационные технологии. - 2023. - Т. 29, № 12. - С. 650-663. EDN: QOYHFR
3. Wu Z. et al. Bayescard: Revitilizing bayesian frameworks for cardinality estimation // arXiv preprint arXiv. - 2012. - No. 2020. - 14743.
4. Hilprecht B. et al. DeepDB: Learn from Data, not from Queries! // Proceedings of the VLDB Endowment. - 2020. - Vol. 13, No. 7. - P. 992-1005. EDN: PDIMHS
5. Zhu R. et al. FLAT: fast, lightweight and accurate method for cardinality estimation // Proceedings of the VLDB Endowment. - 2021. - Vol. 14, No. 9. - P. 1489-1502. EDN: JMTTRW
6. Григорьев Ю.А. Оценка кардинальности планов запросов в оптимизаторе реляционной СУБД // Информатика и системы управления. - 2024. - № 2(80). - С. 3-16. EDN: QNALXX
7. Gunopulos D. et al. Selectivity estimators for multidimensional range queries over real attributes // The VLDB Journal. - 2005. - Vol. 14. - P. 137-154. EDN: PFREDL
8. Khachatryan A. et al. Improving accuracy and robustness of self-tuning histograms by subspace clustering // IEEE Transactions on Knowledge and Data Engineering. - 2015. - Vol. 27, No. 9. - P. 2377 - 2389. EDN: XLFCZN
9. Stillger M. et al. LEO-DB2’s learning optimizer // VLDB. - 2001. - Vol. 1. - P. 19-28.
10. Wu C. et al. Towards a learning optimizer for shared clouds // Proceedings of the VLDB Endowment. - 2018. - Vol. 12, No. 3. - P. 210-222.
11. Heimel M., Kiefer M., Markl V. Self-tuning, GPU-accelerated kernel density models for multidimensional selectivity estimation // Proceedings of the 2015 ACM SIGMOD International Conference on Management of Data. - 2015. - P. 1477-1492.
12. Kiefer M. et al. Estimating join selectivities using bandwidth-optimized kernel density models // Proceedings of the VLDB Endowment. - 2017. - Vol. 10, No. 13. - P. 2085-2096.
13. Leis V. et al. Cardinality Estimation Done Right: Index-Based Join Sampling // CIDR 2017 - 8th Biennial Conference on Innovative Data Systems Research. - 2017. - P. 1-8.
14. Li F. et al. Wander join: Online aggregation via random walks // Proceedings of the 2016 International Conference on Management of Data. - 2016. - P. 615-629.
15. Zhao Z. et al. Random sampling over joins revisited // Proceedings of the 2018 International Conference on Management of Data. - 2018. - P. 1525-1539.
16. Cai W., Balazinska M., Suciu D. Pessimistic cardinality estimation: Tighter upper bounds for intermediate join cardinalities // Proceedings of the 2019 International Conference on Management of Data. - 2019. - P. 18-35.
17. Kipf A. et al. Learned cardinalities: Estimating correlated joins with deep learning // CIDR 19 - 9th Biennial Conference on Innovative Data Systems Research. - 2019. - P. 1-8.
18. Dutt A. et al. Selectivity estimation for range predicates using lightweight models // Proceedings of the VLDB Endowment. - 2019. - Vol. 12, No. 9. - P. 1044-1057.
19. Yang Z. et al. NeuroCard: one cardinality estimator for all tables // Proceedings of the VLDB Endowment. - 2020. - Vol. 14, No. 1. - P. 61-73. EDN: EJTBDZ
20. Wu Z. et al. A unified transferable model for ml-enhanced dbms // arXiv preprint arXiv:2105.02418. 2021.
21. Wu Z. et al. FactorJoin: a new cardinality estimation framework for join queries // Proceedings of the ACM on Management of Data. - 2023. - Vol. 1, No. 1. - P. 1-27.
22. Haas P.J. et al. Selectivity and cost estimation for joins based on random sampling // Journal of Computer and System Sciences. - 1996. - Vol. 52, No. 3. - P. 550-569.
23. Wu W., Naughton J.F., Singh H. Sampling-based query re-optimization // Proceedings of the 2016 International Conference on Management of Data. - 2016. - P. 172 -1736.
Выпуск
Другие статьи выпуска
Настоящая работа предлагает концепцию интеллектуального анализа динамических данных в приложении к исследованию сердечных ритмов по диагностике электрокардиограммы: нормальный ритм, предсердная и желудочковая экстрасистолии, блокада левой и правой ножки пучка Гиса. В основе методологии лежит гибридизация подходов: численная оценка мультифрактальных и спектральных характеристик, а также использование машинного обучения для классификации сигналов. Исходные данные представлены сложными нестационарными временными рядами, прошедшими детектирование QRS-комплекса методом Пана-Томпкинса, вейвлет-фильтрацию и нормализацию. Целевые методы мультифрактального флуктуационного анализа, Фурье- и вейвлет-преобразования реализованы в виде программных модулей в ППП Matlab. Показана чувствительность методов к выявлению скрытых свойств сигналов ЭКГ и диагностическая способность к выявлению типа ритма. Установлены спектральные и мультифрактальные характеристики сердечных ритмов и аритмий. Модели машинного обучения SVM и KNN обучены и применены с использованием средств языка программирования Python, с вычисленной точностью 95.9% и 97.7%.
Предложена методика декомпозиции области значений двухмерных спектральных признаков данных дистанционного зондирования пожара лесной территории по значениям составляющих их коэффициентов корреляции. Основу методики составляет анализ произведения нормированных значений спектральных признаков и его непараметрической оценки плотности вероятности. Особенность используемого показателя и вводимые пользователем пороги на его значения позволяют осуществить декомпозицию исходных статистических данных и картирование получаемых результатов. В отличие от методов автоматической классификации предлагаемый подход обладает более высокой вычислительной эффективностью, что необходимо при обработке больших объемов статистических данных. Рассматриваются результаты применения методики при обработке данных дистанционного зондирования на территорию лесного пожара.
Рассмотрены некоторые подходы к решению проблемы оптимального планирования эксплуатации технических устройств и систем, базирующиеся на идеях функционально-параметрического направления теории надежности и теории принятия решений в условиях неопределенности. Предложены формальные постановки некоторых модификаций задачи управления эксплуатацией и исследован один из возможных методов решения задачи снижения рисков возникновения чрезвычайных (аварийных) ситуаций.
В работе исследовано важное свойство метода наименьших модулей (англ. least absolute deviation, LAD) при разработке линейной регрессионной зависимости, в соответствии с которым число нулевых ошибок аппроксимации равно числу оцениваемых параметров модели. Предложен алгоритмический способ наделения этим свойством других методов оценивания параметров путем ввода в рассмотрение булевых переменных и формирования некоторых ограничений на ошибки при оптимизации соответствующих функций потерь. Реализация разработанной вычислительной схемы продемонстрирована на формировании задачи линейно-булева программирования для метода антиробастного оценивания параметров. Рассмотрен численный пример, связанный с построением модели добычи газа на опытно-промышленной установке УПГ-102 Ковыктинского газоконденсатного месторождения . В качестве независимых переменных при этом задействованы: приход водометанольного раствора, рабочее давление сепараторов С101 и С102б.
Рассмотрена наиболее эффективная линейная динамическая модель процессов упругой электронной поляризации конденсированных материалов. Представлены результаты компьютерного моделирования оптических спектров некоторых кристаллических оксидов, а так же образцов высокотемпературных стекол, выплавляемых на их основе.
Проведено исследование временного ряда заболеваемости болезнями органов пищеварения в Приморском крае по данным Росстата. С помощью метода Хольта-Винтерса построен краткосрочный прогноз, показывающий рост заболеваемости в крае болезнями органов пищеварения.
В статье рассматривается обзор существующих типов цифровых изображений с целью выявления наиболее подходящего формата для конфиденциальной передачи данных с помощью средств стеганографии. Численным моделированием с помощью алгоритмов стегоанализа показаны преимущества отдельных форматов. Даны рекомендации по выбору формата изображения для эффективной передачи информации в зависимости от поставленной цели.
Статья описывает создание анимационного ролика об осаде Албазинского острога. В процессе работы проведена детальная реконструкция ландшафта и острога, а также созданы модели казаков и китайцев. Архивные документы, археологические раскопки и топографические планы помогли точно воссоздать внешний облик и атмосферу событий. Трехмерное моделирование обеспечивают реализм и историческую достоверность ролика.
Цель исследования - диагностика наличия агрессивности и экстремистской направленности личности у индивида, реализованная с помощью двух авторских методик («Нонкоммуникативность» и «Комплекс воина»), разработанных сотрудниками Омского государственного технического университета. Тематика статьи актуальна, так как создание различных инструментов изучения общественных отношений и их моделирование востребованы и способствуют пониманию усилий власти, направленных на стабилизацию социальной системы в целом. Анализ данных показал прирост в 2023 г. значений показателей, характеризующих наличие у испытуемых агрессивности и экстремистской направленности личности, провоцирующих риск экстремистских проявлений в жизни индивида. Результаты исследования являются основой для составления программ профилактики угрозы экстремизма, которая провоцируется обострением социальной напряженности в нашем обществе и в мире.
В работе рассматривается технология компьютерной реконструкции и анимации внешнего облика дючерской девушки XVII века. В первой части исследования представлены результаты компьютерной реконструкции внешнего облика девушки по черепу, полученные в ходе антропологического исследования краниологическим методом М.М. Герасимова Вторая часть описывает методику реконструкции одежды того времени с помощью современных технологий.
Проведено моделирование схода снежных лавин методом динамики частиц. Метод позволяет регулировать массу сходящего снега, угол наклона и длину горного склона и, соответственно, определять расстояния выбега лавины, расстояния смещения зданий при ударе лавины. Моделирование осуществляли на языке программирования Java Script в среде Visual Studio Code. Получена временная зависимость динамики энергии и давления снежной массы на строение.
Издательство
- Издательство
- ТОГУ
- Регион
- Россия, Хабаровск
- Почтовый адрес
- 680035, Россия, г. Хабаровск, ул. Тихоокеанская, 136
- Юр. адрес
- 680035, Россия, г. Хабаровск, ул. Тихоокеанская, 136
- ФИО
- Марфин Юрий Сергеевич (Ректор)
- E-mail адрес
- mail@togudv.ru
- Контактный телефон
- +7 (421) 2979700
- Сайт
- https://togudv.ru