Представлены результаты исследования, направленного на разработку интеллектуальной автономной навигационной системы для складской и офисной логистики с использованием глубоких нейронных сетей. Проанализированы современные и наиболее универсальные средства для получения карт глубин и семантической сегментации данных на изображениях в различных средах. Проведен сравнительный анализ карт глубин, формируемых RGB-D-камерой, а также с помощью нейросетевых алгоритмов и модифицированного алгоритма Хиршмюллера. Результаты тестирования, проведенного на специально подготовленном наборе данных, снятых в офисном пространстве, демонстрируют, что предложенное решение превосходит альтернативные по точности и позволяет сократить затраты вычислительных ресурсов
Идентификаторы и классификаторы
- SCI
- Нанотехнология
Совершенствование методов одновременной локализации и картирования имеет важное значение для функционирования мобильных роботов, способных автономно перемещаться в помещениях различного назначения. Многие известные методы разработаны применительно к условиям конкретного пространства, однако все чаще возникает потребность в универсальных подходах. Это связано с появлением новых сценариев для мобильных роботов, например в сфере логистики: роботу-курьеру необходимо забрать посылку со склада, преодолеть определенное расстояние во внешнем пространстве, а затем снова заехать в помещение для доставки адресату. Поэтому настоящая работа сосредоточена на выявлении универсальных и эффективных методов метрико-семантической одновременной локализации и картирования (Simultaneous Localization and Mapping — SLAM) на основе глубоких нейронных сетей (DNN). Для создания максимально эффективной метрико-семантической SLAM-системы были протестированы различные методы генерации облаков точек. Одним из наиболее частых решений является использование специальных датчиков с активным зрением, таких как лидар, или датчиков со структурированным светом, таких как RGB-D-камеры.
Если у вас возникли вопросы или появились предложения по содержанию статьи, пожалуйста, направляйте их в рамках данной темы.
Список литературы
1. Zhao C., Sun Q., Zhang C., Tang Y., Qian F. Monocular depth estimation based on deep learning: An overview // Science China Technological Sciences. 2020. Vol. 63, N 9. P. 1612-1627. DOI: 10.1007/s11431-020-1582-8 EDN: KBAREI
2. Yin W., Liu Y., Shen C. Virtual Normal: Enforcing Geometric Constraints for Accurate and Robust Depth Prediction // IEEE Trans. on Pattern Analysis and Machine Intelligence. 2021. DOI: 10.1109/TPAMI.2021.3097396 EDN: TXGTHL
3. Ranftl R., Lasinger K., Hafner D., Schindler K., Koltun V. Towards Robust Monocular Depth Estimation: Mixing Datasets for Zero-Shot Cross-Dataset Transfer // IEEE Trans. on Pattern Analysis and Machine Intelligence. 2022. Vol. 44, N 03. P. 1623-1637.
4. Sinha A., Murez Z., Bartolozzi J., Badrinarayanan V., Rabinovich A. DELTAS: Depth Estimation by Learning Triangulation and Densification of Sparse Points // Computer Vision - ECCV. 2020. Vol. 12366. P. 104-121. DOI: 10.1007/978-3-030-58589-1_7 EDN: NLDOWV
5. Duzceker A., Galliani S., Vogel C., Speciale P., Dusmanu M., Pollefeys M. DeepVideoMVS: Multi-View Stereo on Video with Recurrent Spatio-Temporal Fusion // Proc. of the IEEE/CVF Conf. on Computer Vision and Pattern Recognition (CVPR), Nashville, TN, USA. 2021. June. P. 15324-15333. DOI: 10.1109/CVPR46437.2021.01507
6. Wofk D., Ma F., Yang T.-J., Karaman S., Sze V. FastDepth: Fast monocular depth estimation on embedded systems // Proc. IEEE Intern. Conf. on Robotics and Automation. 2019. Vol. 2019, May. P. 6101-6108. DOI: 10.1109/ICRA.2019.8794182
7. Poggi M., Aleotti F., Tosi F., Mattoccia S. Towards Real-Time Unsupervised Monocular Depth Estimation on CPU // IEEE Intern. Conf. on Intelligent Robots and Systems. 2018. P. 5848-5854. DOI: 10.1109/IROS.2018.8593814
8. Bokovoy A., Muravyev K., Yakovlev K. Real-time Vision-based Depth Reconstruction with NVidia Jetson // European Conf. on Mobile Robots (ECMR). 2019. P. 1-6. DOI: 10.1109/ECMR.2019.8870936 EDN: JMPOLW
9. Smolyanskiy N., Kamenev A., Birchfield S. On the importance of stereo for accurate depth estimation: An efficient semi-supervised deep neural network approach // IEEE Computer Society Conf. on Computer Vision and Pattern Recognition Workshops. 2018. Vol. 2018, June. P. 1120-1128. DOI: 10.1109/CVPRW.2018.00147
10. Tonioni A., Tosi F., Poggi M., Mattoccia S., L. Stefano D. Real-time self-adaptive deep stereo // Proc. of the IEEE Computer Society Conf. on Computer Vision and Pattern Recognition. 2019. Vol. 2019. June. P. 195-204. DOI: 10.1109/CVPR.2019.00028
11. Xu H., Zhang J. AANET: Adaptive aggregation network for efficient stereo matching // Proc. of the IEEE Computer Society Conf. on Computer Vision and Pattern Recognition. 2020. P. 1956-1965. DOI: 10.1109/CVPR42600.2020.00203
12. Xia L., Cui J., Shen R., Xu X., Gao Y., Li X. A survey of image semantics-based visual simultaneous localization and mapping: Application-oriented solutions to autonomous navigation of mobile robots // Intern. Journal of Advanced Robotic Systems. 2020. Vol. 17. P. 1-17. DOI: 10.1177/1729881420919185 EDN: YLXPBY
13. Chen L.-C., Zhu Y., Papandreou G., Schroff F., Adam H. Encoder-Decoder with Atrous Separable Convolution for Semantic Image Segmentation // Computer Vision - ECCV. 2018. Vol. 11211. P. 833-851. DOI: 10.1007/978-3-030-01234-2_49
14. Ronneberger O., Fischer P., Brox T. U-Net: Convolutional Networks for Biomedical Image Segmentation // Medical Image Computing and Computer-Assisted Intervention - MICCAI. 2015. Vol. 9351. P. 234-241. DOI: 10.1007/978-3-319-24574-4_28
15. Wang J., Sun K., Cheng T., Jiang B., Deng C., Zhao Y., Liu D., Mu Y., Tan M., Wang X., Liu W., Xiao B. Deep High-Resolution Representation Learning for Visual Recognition // IEEE Trans. on Pattern Analysis and Machine Intelligence. 2021. Vol. 43, N 10. P. 3349-3364. DOI: 10.1109/TPAMI.2020.2983686 EDN: LXIPJR
16. Badrinarayanan V., Kendall A., Cipolla R. SegNet: A Deep Convolutional Encoder-Decoder Architecture for Image Segmentation // IEEE Trans. on Pattern Analysis and Machine Intelligence. 2017. Vol. 39, N 12. P. 2481-2495. DOI: 10.1109/TPAMI.2016.2644615
17. Seichter D., Köhler M., Lewandowski B., Wengefeld T., Gross H. -M. Efficient RGB-D Semantic Segmentation for Indoor Scene Analysis // IEEE Intern. Conf. on Robotics and Automation (ICRA). 2021. P. 13525-13531. DOI: 10.1109/ICRA48506.2021.9561675
18. He K., Zhang X., Ren S., Sun J. Deep Residual Learning for Image Recognition // IEEE Conf. on Computer Vision and Pattern Recognition (CVPR). 2016. P. 770-778. DOI: 10.1109/CVPR.2016.90
19. Oleynikova H., Taylor Z., Fehr M., Siegwart R., Nieto J. Voxblox: Incremental 3D Euclidean Signed Distance Fields for on-board MAV planning // IEEE/RSJ Intern. Conf. on Intelligent Robots and Systems (IROS). 2017. P. 1366-1373. DOI: 10.1109/IROS.2017.8202315
20. Rosinol A., Abate M., Chang Y., Carlone L. Kimera: an Open-Source Library for Real-Time Metric-Semantic Localization and Mapping // IEEE Intern. Conf. on Robotics and Automation (ICRA). 2020. P. 1689-1696. DOI: 10.1109/ICRA40945.2020.9196885
21. Xiang Y., Fox D. DA-RNN: Semantic Mapping with Data Associated Recurrent Neural Networks // Robotics: Science and Systems. 2017. Vol. 13. DOI: 10.15607/RSS.2017.XIII.013
22. Grinvald M. et al. Volumetric Instance-Aware Semantic Mapping and 3D Object Discovery // IEEE Robotics and Automation Letters. 2019. Vol. 4, N 3. P. 3037-3044. DOI: 10.1109/LRA.2019.2923960
23. Reijgwart V., Millane A., Oleynikova H., Siegwart R., Cadena C., Nieto J. Voxgraph: Globally Consistent, Volumetric Mapping Using Signed Distance Function Submaps // IEEE Robotics and Automation Letters. 2020. Vol. 5, N 1. P. 227-234. DOI: 10.1109/LRA.2019.2953859 EDN: RHHZZG
24. Zendel O., Honauer K., Murschitz M., Steininger D., Dominguez G. F. WildDash - Creating Hazard-Aware Benchmarks // Proc. of the European Conf. on Computer Vision (ECCV). 2018. Sept. P. 402-416.
25. Lambert J., Liu Z., Sener O., Hays J., Koltun V. MSeg: A Composite Dataset for Multi-Domain Semantic Segmentation // IEEE/CVF Conf. on Computer Vision and Pattern Recognition (CVPR). 2020. P. 2876-2885. DOI: 10.1109/CVPR42600.2020.00295
26. Kirillov A., Wu Y., He K., Girshick R. PointRend: Image Segmentation As Rendering // IEEE/CVF Conf. on Computer Vision and Pattern Recognition (CVPR). 2020. P. 9796-9805. DOI: 10.1109/CVPR42600.2020.00982
Выпуск
Другие статьи выпуска
Рассматривается задача повышения точности и робастности методов одновременной локализации и картирования с использованием численной оптимизации с ограничениями. В основе предлагаемого решения лежит модификация алгоритма ORB-SLAM3, учитывающая особенности кинематики наземных роботов и использующая комплексирование данных визуальной и колесной одометрии, блочное уравнивание (bundle adjustment) для настройки параметров, комплексно характеризующих состояние визуального сенсора, а также алгоритм замыкания петли для корректировки карты. Результаты апробации на наборе данных OpenLoris показывают, что для ряда сценариев предлагаемое решение существенно превосходит по точности и робастности известный алгоритм ORB-SLAM3
Рассматриваются способы расширения набора распознаваемых классов объектов для задачи их сегментирования, где необходимо построить маску объекта, а также узнать его класс. Для первой задачи использованы методы, не зависящие от классов предметов и являющиеся наиболее устойчивыми к изменениям формы; для второй задачи проанализированы методы, основанные на итеративном обучении (iterative learning), и методы метрического обучения (metric learning). Второй подход выбран в качестве основного, и для него протестированы различные архитектуры нейронных сетей. Проведена классификация объектов с использованием алгоритма k ближайших соседей. В качестве набора данных для обучения нейронной сети использован набор COIL- 100, а после обученная модель протестирована на собственном наборе данных. Проведенные эксперименты показывают, что используемый метод позволяет обрабатывать 7-8 изображений в секунду на видеокарте GTX 1050 ti с 4 Гбайт видеопамяти с точностью классификации в 99 %
Рассматривается алгоритм планирования движения многозвенной робототехнической системы в пространстве с препятствиями. Основные требования, предъявляемые к данной задаче, — высокое быстродействие и эффективное использование памяти в процессе работы. Представлен алгоритм планирования пути на основе метода двунаправленного быстроисследующего случайного дерева с использованием подхода, исключающего добавление новых вершин к дереву, если по их расположению в пространстве можно однозначно определить нецелесообразность их использования для построения пути. Эта модификация позволяет ускорить планирование движения и уменьшить объем памяти, необходимой для хранения данных об анализе пространства
Представлены результаты исследования по проектированию и изготовлению прототипа энергоэффективного прыгающего робота с гибкими сочленениями с использованием принципов морфологического расчета. Гибкие элементы позволяют роботам адаптивно подстраиваться к окружающей среде при контактном взаимодействии, перенаправляя энергию взаимодействия с пластической деформации твердых тел в упругую деформацию эластичных тел, что способствует рекуперации энергии в системе. В отличие от традиционных низших и высших кинематических пар, гибкие сочленения обеспечивают перемещения звеньев только в ограниченном диапазоне в пределах зоны упругой деформации. Решена задача проектирования эластичных полимерных перекрестных сочленений на примере плоского механизма ноги неполноприводного прыгающего робота замкнутой кинематики, приводимого в движение от единственного серводвигателя с присоединенными последовательно эластичными элементами. При синтезе такого робота необходимо оптимизировать не только кинематические параметры рычажного механизма, но и топологию и эластостатические параметры самих эластичных сочленений
Представлены результаты разработки и реализации программно-аппаратной архитектуры системы управления для адаптивной антропоморфной роботизированной кисти. Рассматривается возможность интеграции разработанного захватного устройства в контур управления робота iCub с сохранением функциональных возможностей и гибкости реализации алгоритмов управления. Это достигается посредством прототипирования системы управления как самостоятельного модуля, подключаемого к роботу iCub через сетевой интерфейс Ethernet. Обмен данными между захватным устройством и роботом iCub имеет высокую стабильность и производительность с частотой управления 2 кГц при задержке не более 310 мкс и джиттере ниже 50 мкс. Тестирование программно-аппаратной архитектуры системы управления продемонстрировало высокую точность управления положением (±1) и тактильным усилием (±0,15 Н) проксимальных фаланг пальцев
Представлены результаты структурно-параметрического синтеза плоских неполноприводных механизмов со звеньями переменной длины. Синтез основан на принципе морфологического расчета, согласно которому желаемые свойства робота „программируются“ на уровне механической конструкции, а активное управление используется лишь для мягкой корректировки движений, обусловленных естественным поведением системы. Разработанный алгоритм был апробирован при создании адаптивной компактной кисти для антропоморфного робота iCub, способной выполнять все фундаментальные захваты и обладающей при сопоставимых габаритах более высокой грузоподъемностью по сравнению с оригинальным аналогом на тросовой тяге. Приведен пример синтеза механизма указательного пальца и представлены результаты тестирования опытного образца устройства. Разработанный прототип обладает 14 степенями свободы, но при этом управляется с помощью четырех двигателей. Минимизация количества приводов позволила упростить систему управления, уменьшить количество требуемых сенсоров и массогабаритные параметры и снизить затраты на комплектующие
Издательство
- Издательство
- МИНОБРНАУКИ РОССИИ
- Регион
- Россия, Москва
- Почтовый адрес
- Тверская ул., д.11, г. Москва, ГСП- 3, 125993
- Юр. адрес
- 125009, г Москва, Тверской р-н, ул Тверская, д 11 стр 1, кв 4
- ФИО
- Фальков Валерий Николаевич (МИНИСТР)
- E-mail адрес
- info@minobrnauki.gov.ru
- Контактный телефон
- +7 (495) 5471316