Представлены результаты комплексного анализа методов квантования, направленных на оптимизацию моделей машинного обучения для развертывания в условиях ограниченных ресурсов TinyML. Рассмотрены различные схемы квантования, включая равномерное, логарифмическое и обученное квантование и оценено их влияние на производительность разных нейросетевых архитектур, таких как MobileNetV1/V2, ResNet-50, ShuffleNetV2 и Mamba. Результаты экспериментов показывают, что переход от 32-битных чисел с плавающей запятой к 8-битным целочисленным представлениям позволяет уменьшить размер моделей в 4 раза, при этом потеря точности составляет менее 2 %. Гибридные схемы смешанной точности демонстрируют оптимальный баланс между степенью сжатия и сохранением точности. Измерения, проведенные на платформе STM32U5, подтверждают значительное снижение энергопотребления (в 4,3 раза) при использовании 8-битного квантования. Предложены практические рекомендации по выбору оптимальных схем квантования в зависимости от аппаратных ограничений и специфики решаемой задачи. Обозначены перспективные направления дальнейших исследований, в частности, интеграция алгоритмов обучения с подкреплением для динамического выбора битности и разработка методов аппаратно-программной ко-оптимизации для отечественных микроконтроллеров (К1879ВГ1Т)
Идентификаторы и классификаторы
- SCI
- Физика
- УДК
- 004.85. Обучение
Равномерное квантование остается базовым подходом ввиду простоты реализации, но демонстрирует ограниченную эффективность для heavy-tailed-распределений, характерных для активаций глубоких сетей [14]. Логарифмическое квантование решает проблему heavy-tailed-распределений через адаптивное масштабирование, однако требует аппаратной поддержки операций сдвига [15]. В этом подходе шаг квантования увеличивается экспоненциально с ростом абсолютного значения, что позволяет более точно представлять малые значения, пренебрегая точностью для больших значений.
Если у вас возникли вопросы или появились предложения по содержанию статьи, пожалуйста, направляйте их в рамках данной темы.
Список литературы
1. Howard A.G., Zhu M., Chen B., et al. MobileNets: efficient convolutional neural networks for mobile vision applications. arXiv:1704.04861. DOI: 10.48550/arXiv.1704.04861
2. Alajlan N.N., Ibrahim D.M. TinyML: enabling of inference deep learning models on ultra-low-power IoT edge devices for AI applications. Micromachines, 2022, vol. 13, no. 6, art. 851. DOI: 10.3390/mi13060851 EDN: URGOPL
3. Suwannaphong T., Jovan F., Craddock I., et al. Optimising TinyML with quantization and distillation of transformer and mamba models for indoor localisation on edge devices. Sci. Rep., 2025, vol. 15, art. 10081. DOI: 10.1038/s41598-025-94205-9
4. Liberis E., Dudziak L., Lane N.D. constrained neural architecture search for microcontrollers. Proc. 1st Workshop on Machine Learning and Systems, 2020, pp. 70-79. DOI: 10.1145/3437984.3458836
5. Finkelstein A., Fuchs E., Tal I., et al. QFT: Post-training quantization via fast joint finetuning of all degrees of freedom. In: Computer Vision - ECCV 2022 Workshops. Springer, 2023, pp. 115-129. DOI: 10.1007/978-3-031-25082-8_8
6. Partha Pratim Ray. A review on TinyML: state-of-the-art and prospects. J. King Saud Univ. - Comput. Inf. Sci., 2022, vol. 34, no. 4, pp. 1595-1623. DOI: 10.1016/j.jksuci.2021.11.019 EDN: ISZGCE
7. Flores T.K., Medeiros M., Silva M., et al. Enhanced vector quantization for embedded machine learning: a post-training approach with incremental clustering. IEEE Access, 2025, vol. 13, pp. 17440-17456. DOI: 10.1109/ACCESS.2025.3532849 EDN: JWLZFW
8. Xiang D., Liu T. Monolayer transistors at wafer scales. Nature Electronics, 2021, vol. 4, no. 12, pp. 914-923. DOI: 10.1038/s41928-021-00694-7 EDN: XQUNFG
9. Banbury C., Reddi V.J., Torelli P., et al. MLPerf tiny benchmark. arXiv:2106.07597. DOI: 10.48550/arXiv.2106.07597
10. Колесников М.И., Харченко М.Э., Дорохов В.А. и др. Применение изделий полупроводниковой электроники в экстремальных условиях. Моделирование систем и процессов, 2023, т. 16, № 1, c. 46-56. DOI: 10.12737/2219-0767-2023-16-1-46-56 EDN: NWXGTC
11. Sakthi M., Yadla N., Pawate R. Deep learning model compression using network sensitivity and gradients. arXiv:2210.05111. DOI: 10.48550/arXiv.2210.05111
12. Chen S., Wang W., Pan S.J. Deep neural network quantization via layer-wise optimization using limited training data. Proc. AAAI Conf. on Artificial Intelligence, 2019, vol. 33, no. 1, pp. 3329-3336. DOI: 10.1609/aaai.v33i01.33013329
13. Wei L., Ma Z., Yang C., et al. Advances in the neural network quantization: a comprehensive review. Appl. Sci., 2024, vol. 14, no. 17, art. 7445. DOI: 10.3390/app14177445 EDN: XYQCDH
14. Banner R., Nahshan Y., Soudry D. Post training 4-bit quantization of convolutional networks for rapid-deployment. NeurIPS, 2019.
15. Kallimani R., Pai K., Raghuwanshi P., et al. TinyML: tools, applications, challenges, and future research directions. Multimed. Tools Appl., 2024, vol. 83, no. 10, pp. 29015-29045. DOI: 10.1007/s11042-023-16740-9 EDN: YILJVA
16. Ray P.P. A review on TinyML: state-of-the-art and prospects. J. King Saud Univ. - Comput. Inf. Sci., 2022, 2022, vol. 34, no. 4, pp. 1595-1623. DOI: 10.1016/j.jksuci.2021.11.019
17. Elhanashi A., Dini P., Saponara S., et al. Advancements in TinyML: applications, limitations, and impact on IoT devices. Electronics, 2024, vol. 13, no. 17, art. 3562. DOI: 10.3390/electronics13173562 EDN: IUGOFA
18. Alajlan N.N., Ibrahim D.M. TinyML: enabling of inference deep learning models on ultra-low-power IoT Edge Devices for AI applications. Micromachines, 2022, vol. 13, no. 6, art. 851. /. DOI: 10.3390/mi13060851 EDN: URGOPL
19. Lin J., Zhu L., Chen W., et al. Tiny machine learning: progress and futures [feature]. IEEE Circuits Syst. Mag., 2023, vol. 23, pp. 8-34. DOI: 10.1109/MCAS.2023.3302182 EDN: KNFBZU
20. Gu А., Dao T. Mamba: linear-time sequence modeling with selective state spaces. arXiv:2312.00752. DOI: 10.48550/arXiv.2312.00752
21. Capogrosso L., Cunico F., Cheng D.S., et al. A machine learning-oriented survey on tiny machine learning. IEEE Access, 2024, vol. 12, рp. 23406-23426. DOI: 10.1109/ACCESS.2024.3365349
22. Ren H., Anicic D., Runkler T.A. TinyOL: TinyML with online-learning on microcontrollers. IJCNN, 2021. DOI: 10.1109/IJCNN52387.2021.9533927
23. Ягодкин А.С., Зольников В.К., Скворцова Т.В. и др. Разработка алгоритмов и программ анализа электрических характеристик БИС. Моделирование систем и процессов, 2022, т. 15, № 3, c. 136-148. DOI: 10.12737/2219-0767-2022-15-4-136-148 EDN: CHNDMT
24. Колесников М.И., Харченко М.Э., Дорохов В.А. и др. Применение изделий полупроводниковой электроники в экстремальных условиях. Моделирование систем и процессов, 2023, т. 16, № 1, c. 46-56. DOI: 10.12737/2219-0767-2023-16-1-46-56 EDN: NWXGTC
25. Low S.M., Kumar A., Sanner S. (2022). Sample-efficient iterative lower bound optimization of deep reactive policies for planning in continuous MDPs. Proceedings of the AAAI Conference on Artificial Intelligence, 2022, vol. 36, no. 9, pp. 9840-9848. DOI: 10.1609/aaai.v36i9.21220 EDN: ORGFHI
26. Ачкасов А. Чиплеты и гетерогенная интеграция как базовый технологический стек, способный обеспечить суверенитет отечественной электроники в новом технологическом укладе. Электроника: наука, технология, бизнес, 2023, № 8, c. 114-123. DOI: 10.22184/1992-4178.2023.229.8.114.123 EDN: BHMHIR
Выпуск
Другие статьи выпуска
Рассмотрен метод повышения эффективности онтологического моделирования при разработке и изготовлении оптических микроэлектромеханических систем на основе разработки паттерна содержания онтологии. Паттерн позволяет наглядно представлять логические взаимосвязи между элементами, из которых состоит изделие, и их характеристиками; изделиями, которые можно изготовлять с использованием определенных процессов и материалов; процессами и материалами, необходимыми для изготовления нескольких изделий. Паттерн также дает возможность через систему запросов определять необходимый набор операций и материалов для получения конкретных изделий. На примере оптического переключателя показана процедура применения паттерна содержания начиная с конструктивно-технологического анализа изделия, включая описание конструктивных элементов изделия, их материалов и взаимосвязей с технологическими процессами. Сформированная онтология в редакторе Protege содержит информацию о 20 видах микросистем с выделением логических связей оптического переключателя микроэлектромеханических систем с индивидами основных классов паттерна. Предложенный метод повышает эффективность управления знаниями в цифровой среде и открывает перспективу для дальнейшего применения онтологического моделирования. Представленная модель предусматривает расширение ее структуры и увеличение степени детализации описания ее элементов
Способность больших языковых моделей справляться с интеллектуальными задачами является крайне важным навыком в различных средах, для которых требуется принимать решения на основе общедоступной информации. В обучении с подкреплением, особенно в мультиагентном, независимо от сложности среды, крайне важно на основе простых действий достигать значимых результатов, которые с точки зрения ретроспективы могли казаться невыполнимыми. Рассмотрена возможность использования большой языковой модели Mistral-7B Instruct-v0.3 для применения в задаче мультиагентного обучения с подкреплением. Разработан метод взаимодействия с Large Language Model (LLM) для использования рассуждения большой языковой модели для задачи планирования и распределения действий. Проведена оценка рефлексии большой языковой модели в результате действий, которые обозначены как необходимые для достижения поставленной в среде цели. Реализуемый трансфер знаний из LLM позволяет использовать успешные подходы для задач мультиагентного обучения с подкреплением в среде мира-сетки. Выполнено экспериментальное сравнение алгоритмов машинного обучения, которые могут эффективно взаимодействовать с предоставляемой им информацией, полученной в результате взаимодействия с большой языковой моделью. Предлагаемый метод позволяет встроить в обучение мультиагентной системы структуру рассуждения LLM
Использование методов глубокого обучения для обработки сигналов sEMG широко распространилось в последнее десятилетие, что дало многообещающие результаты, касающиеся повышения производительности в обоих направлениях: значений показателей оценки и скорости прохождения этапов обучения и тестирования. Одним из наиболее распространенных методов в этой области является RNN, поскольку их структура соответствует природе сигнала sEMG как сигнала временного ряда. В этой статье мы разработали две модели с использованием RNN; одна была однослойной, а другая - многослойной. Мы использовали исходные значения сигналов в качестве характеристик, а не извлекали какие-либо другие функции, такие как RMS, с целью снижения сложности обработки.
Рассмотрены вопросы эффективности применения фотокаталитических пленок диоксида титана в устройствах для очистки воды. Несмотря на множество работ, опубликованных по этой тематике, информация о влиянии фотокатализа на характеристики обеззараживаемой воды довольно противоречива и не систематизирована: связано это с большим числом параметров, по которым оценивается качество воды. К важнейшим из таких параметров можно отнести мутность и цветность. Для их определения оптическое пропускание является фундаментальным параметром. Методом импульсного реактивного магнетронного распыления сформирована фотокаталитическая пленка TiO2 на внешней поверхности кварцевой колбы, защищающей УФ-лампу устройства для очистки воды от механических повреждений. Предложенное решение позволяет избежать потерь УФ-излучения на преодоление слоя воды, что положительно сказывается на интенсивности фотокаталитической реакции. Апробирована экспериментальная установка, состоящая из проточного обеззараживателя, в котором осуществляется разложение органических загрязнителей, резервуара с очищаемой жидкостью и насоса. Эта установка позволяет провести оценку эффективности применения фотокаталитических элементов в устройствах для очистки воды. Экспериментально показано, что применение фотокаталитического элемента в проточном реакторе для очистки воды позволяет увеличить минимальное оптическое пропускание 0,005 % раствора метиленового синего в диапазоне длин волн 500…700 нм от 40…45 % при разложении УФ-обеззараживателем без фотокаталитического элемента до 58…65 % при использовании фотокаталитического элемента
Предложена методика обработки данных, полученных с применением дифференциально-сканирующей калориметрии при экспериментальных исследованиях кинетики процессов с высоким тепловыделением в условиях термогравиметрического анализа. Ввиду нелинейной зависимости скорости химической реакции от температуры регулирование условий теплообмена требует специальных условий проведения измерений, в том числе предполагающих изменение температурной программы во время протекания исследуемого процесса. Более простой подход заключается в оценке разности температуры реагирующего образца и газовой среды. Существенный недостаток этого подхода — отсутствие прямой зависимости интенсивности тепловыделения от температуры образца. В связи с этим обработка измерений должна включать в себя большее число свободных параметров, в том числе коэффициенты теплообмена. Вместо этого предложено решение обратной задачи для оценки неизвестных параметров, включая отклонение температуры образца от температуры печи. Основное допущение — выбор упрощенной одностадийной схемы химического превращения, которая позволяет сократить число независимых коэффициентов кинетической модели. Для схемы проведен перебор вариантов на сетке параметров с отбором по статистическим критериям. Полученные значения параметров позволяют оценить температуру горения образца. Результаты расчетов показывают, что температура углеродных образцов при окислении смесями воздуха с аргоном может существенно превышать температуру печи для малых навесок, поэтому кинетический анализ полученных кривых без учета перегрева может приводить к погрешностям определения параметров реакционной способности. Предложен выбор дополнительных ограничений, позволяющих получить однозначное решение
Приведены результаты измерения спектров отражения незагрязненных и загрязненных нефтепродуктами водных объектов на земной поверхности в ближнем ИК-диапазоне. В качестве загрязнителей использованы различные типы нефтепродуктов (товарная нефть Московского и Рязанского НПЗ, керосин, дизельное топливо, газовый конденсат, различные марки бензина, моторных масел). Исследуемые образцы — лабораторные модели водных объектов (болота, лужи на земной поверхности). Полученные результаты показывают, что для обнаружения загрязнений нефтью и нефтепродуктами водных объектов на земной поверхности в ближнем ИК-диапазоне перспективно использовать спектры отражения в диапазоне значений 1,6…1,8 мкм. Применение аппаратуры с тремя широкими спектральными каналами шириной 50 нм и центральными длинами волн 1696, 1734 и 1775 нм позволяет с высокой надежностью обнаруживать загрязнения нефтью и моторными маслами водных объектов при низкой вероятности неправильного обнаружения загрязнений. Обнаружение загрязнений водных объектов более легкими нефтепродуктами (бензины, керосины, дизельное топливо) возможно, однако вероятность обнаружения загрязнений существенно ниже
Издательство
- Издательство
- МГТУ им. Н.Э. Баумана
- Регион
- Россия, Москва
- Почтовый адрес
- 105005, г. Москва, вн. тер. г. муниципальный округ Басманный, ул. 2-я Бауманская, д. 5, с. 1
- Юр. адрес
- 105005, г. Москва, вн. тер. г. муниципальный округ Басманный, ул. 2-я Бауманская, д. 5, с. 1
- ФИО
- Гордин Михаил Валерьевич (Ректор)
- E-mail адрес
- bauman@bmstu.ru
- Контактный телефон
- +7 (499) 2636377
- Сайт
- https://bmstu.ru/