gyroscopyГироскопия и навигацияGiroskopiya i Navigatsiya0869-70352075-0927AO «Концерн «ЦНИИ «Электроприбор»10.17285/0869-7035.0038gyroscopy-218Research ArticleСтатьиАлгоритм автономной коррекции навигационной системы беспилотного летательного аппарата на основе распознавания дорожной и речной сетиUAV Navigation System Autonomous Correction Algorithm Based on Road and River Network RecognitionТанченкоА. П.TanchenkoA. P.

Танченко Александр Петрович. Кандидат физико-математических наук, ведущий инженер-программист

ФедулинА. М.FedulinA. M.

Федулин Андрей Михайлович. Директор центра разработки

БикмаевР. Р.BikmaevR. R.

Бикмаев Рамиль Равильевич. Начальник отдела специального программного обеспечения Управления навигационно-геодезических систем

СадековР. Н.SadekovR. N.

Садеков Ринат Наилевич. Доктор технических наук, начальник научно-исследовательского отдела, Военный инновационный технополис «ЭРА» (Анапа); профессор, доцент, НИТУ «МИСиС» (Москва).

АО «КТ Беспилотные системы» (С.-Петербург).РоссияKT Unmanned Systems, St. Petersburg, RussiaRussian FederationАО «КТ Беспилотные системы» (С.-Петербург).РоссияKT Unmanned SystemsRussian FederationМОУ «Институт инженерной физики» (Серпухов, Московская обл.).РоссияInstitute of Engineering Physics, Serpukhov, RussiaRussian FederationВоенный инновационный технополис «ЭРА» (Анапа); НИТУ «МИСиС» (Москва).РоссияERA Military Innovation Technopolis, Anapa, Russia; National Institute of Science and Technology MISiS, Moscow, RussiaRussian Federation2020111120252833242Copyright © Танченко А.П., Федулин А.М., Бикмаев Р.Р., Садеков Р.Н., 20252025Танченко А.П., Федулин А.М., Бикмаев Р.Р., Садеков Р.Н.Tanchenko A.P., Fedulin A.M., Bikmaev R.R., Sadekov R.N.Данная работа распространяется под лицензией Creative Commons Attribution 4.0.This work is licensed under a Creative Commons Attribution 4.0 License.https://www.gyroscopy.ru/jour/article/view/218

Рассматривается оригинальный алгоритм автономной коррекции навигационной системы БПЛА, основанный на сопоставлении изображений местности, снятых с борта системой технического зрения и представляемых векторной топографической картой. Сопоставление осуществляется путем вычисления гомографии изображений системы технического зрения, сегментированных с применением сверточной нейронной сети, и векторной карты. Приводятся результаты математического и летного экспериментов, подтверждающие эффективность использования предложенного алгоритма для навигационных приложений.

The paper considers an original autonomous correction algorithm for UAV navigation system based on comparison between terrain images obtained by onboard machine vision system and vector topographic map images. Comparison is performed by calculating the homography of vision system images segmented using the convolutional neural network and the vector map images. The presented results of mathematical and flight experiments confirm the algorithm effectiveness for navigation applications.

Беспилотный летательный аппараткоррекция по карте местностинейронная сетьсегментация изображениясопоставление векторной и растровой картысистема технического зрения.Unmanned aerial vehicleground map correctionneural networkimage segmentationvector and raster map comparisonmachine vision systemReferencesШмидт Дж.Т. Эксплуатация навигационных систем на основе GPS в сложных условиях окружающей среды // Гироскопия и навигация. 2019. Т. 27. № 1 (104). С. 3–21. DOI: 10.17285/08697035.2019.27.1.003-021.Шмидт Дж.Т. Эксплуатация навигационных систем на основе GPS в сложных условиях окружающей среды // Гироскопия и навигация. 2019. Т. 27. № 1 (104). С. 3–21. DOI: 10.17285/08697035.2019.27.1.003-021.Емельянцев Г.И., Степанов А.П., Блажнов Б.А. О решении навигационной задачи для летательных аппаратов с использованием инерциального модуля на микромеханических датчиках и наземных радиоориентиров // Гироскопия и навигация. 2017. Т. 25. № 1 (96). С. 3–17. DOI: 10.17285/0869-7035.2017.25.1.003-017.Емельянцев Г.И., Степанов А.П., Блажнов Б.А. О решении навигационной задачи для летательных аппаратов с использованием инерциального модуля на микромеханических датчиках и наземных радиоориентиров // Гироскопия и навигация. 2017. Т. 25. № 1 (96). С. 3–17. DOI: 10.17285/0869-7035.2017.25.1.003-017.Chigin, G.P., Use of a field of linear reference points in problems of extremal navigation, Journal of computer and systems sciences international, 1998, vol. 37, no. 2, pp. 318–328.Chigin, G.P., Use of a field of linear reference points in problems of extremal navigation, Journal of computer and systems sciences international, 1998, vol. 37, no. 2, pp. 318–328.Джанджгава Г.И., Августов Л.И. Навигация по геополям. М.: Научтехлитиздат, 2018. 296 с.Джанджгава Г.И., Августов Л.И. Навигация по геополям. М.: Научтехлитиздат, 2018. 296 с.Пешехонов В.Г., Степанов О.А. и др. Современные методы и средства измерения параметров гравитационного поля земли / Под общей ред. В.Г. Пешехонова; науч. редактор О.А. Степанов. СПб., 2017.Пешехонов В.Г., Степанов О.А. и др. Современные методы и средства измерения параметров гравитационного поля земли / Под общей ред. В.Г. Пешехонова; науч. редактор О.А. Степанов. СПб., 2017.Доер К., Шольц Г., Троммер Г.Ф. SLAM-алгоритм на основе лазерных измерений при использовании микролетательных аппаратов в помещении // Гироскопия и навигация. 2017. Т. 25. № 1 (96). С. 18–32. DOI: 10.17285/0869-7035.2017.25.1.018-032.Доер К., Шольц Г., Троммер Г.Ф. SLAM-алгоритм на основе лазерных измерений при использовании микролетательных аппаратов в помещении // Гироскопия и навигация. 2017. Т. 25. № 1 (96). С. 18–32. DOI: 10.17285/0869-7035.2017.25.1.018-032.Conte, G. and Doherty, P., Vision-based unmanned aerial vehicle navigation using geo-referenced information, EURASIP Journal on Advances in Signal Processing, 2009:10, 2009.Conte, G. and Doherty, P., Vision-based unmanned aerial vehicle navigation using geo-referenced information, EURASIP Journal on Advances in Signal Processing, 2009:10, 2009.Yol, A., Delabarre, B., Dame, A., Dartois, J.-E., and Marchand, E., Vision-based absolute localization for unmanned aerial vehicles, Intelligent Robots and Systems (IROS 2014), 2014 IEEE/RSJ International Conference on, 2014, pp. 3429–3434.Yol, A., Delabarre, B., Dame, A., Dartois, J.-E., and Marchand, E., Vision-based absolute localization for unmanned aerial vehicles, Intelligent Robots and Systems (IROS 2014), 2014 IEEE/RSJ International Conference on, 2014, pp. 3429–3434.Fan, B., Du, Y., Zhu, L., and Tang, Y., The registration of UAV down-looking aerial images to satellite images with image entropy and edges, Intelligent Robotics and Applications, 2010, pp. 609–617.Fan, B., Du, Y., Zhu, L., and Tang, Y., The registration of UAV down-looking aerial images to satellite images with image entropy and edges, Intelligent Robotics and Applications, 2010, pp. 609–617.Sim, D.-G., Park, R.-H., Kim, R.-C., Lee, S.U., and Kim, I.-C., Integrated position estimation using aerial image sequences, IEEE transactions on pattern analysis and machine intelligence, 2002, 24(1):1–18.Sim, D.-G., Park, R.-H., Kim, R.-C., Lee, S.U., and Kim, I.-C., Integrated position estimation using aerial image sequences, IEEE transactions on pattern analysis and machine intelligence, 2002, 24(1):1–18.Majdik, A.L., Verda, D., Albers-Schoenberg, Y., and Scaramuzza, D., Air-ground matching: Appearance-based GPS-denied urban localization of micro aerial vehicles, Journal of Field Robotics, 2015, 32(7):1015–1039.Majdik, A.L., Verda, D., Albers-Schoenberg, Y., and Scaramuzza, D., Air-ground matching: Appearance-based GPS-denied urban localization of micro aerial vehicles, Journal of Field Robotics, 2015, 32(7):1015–1039.Majdik, A.L., Albers-Schoenberg, Y., and Scaramuzza, D., MAV urban localization from google street view data. In Intelligent Robots and Systems (IROS), 2013 IEEE/RSJ International Conference on, 2013, pp. 3979–3986.Majdik, A.L., Albers-Schoenberg, Y., and Scaramuzza, D., MAV urban localization from google street view data. In Intelligent Robots and Systems (IROS), 2013 IEEE/RSJ International Conference on, 2013, pp. 3979–3986.Ghouaiel, N. and Lefevre, S., Coupling ground-level panoramas and aerial imagery for change detection, Geo-spatial Information Science, 2016, 19(3):222–232.Ghouaiel, N. and Lefevre, S., Coupling ground-level panoramas and aerial imagery for change detection, Geo-spatial Information Science, 2016, 19(3):222–232.Viswanathan, A., Pires, B.R., and Huber, D., Vision based robot localization by ground to satellite matching in gps-denied situations. In Intelligent Robots and Systems (IROS 2014), 2014 IEEE/RSJ International Conference on, 2014, pp. 192–198.Viswanathan, A., Pires, B.R., and Huber, D., Vision based robot localization by ground to satellite matching in gps-denied situations. In Intelligent Robots and Systems (IROS 2014), 2014 IEEE/RSJ International Conference on, 2014, pp. 192–198.Workman, S., Souvenir, R., and Jacobs, N., Wide-area image geolocalization with aerial reference imagery, Proceedings of the IEEE International Conference on Computer Vision, 2015, pp. 3961–3969.Workman, S., Souvenir, R., and Jacobs, N., Wide-area image geolocalization with aerial reference imagery, Proceedings of the IEEE International Conference on Computer Vision, 2015, pp. 3961–3969.Zhai, M., Bessinger, Z., Workman, S., and Jacobs, N., Predicting ground-level scene layout from aerial imagery, 2016, arXiv preprint arXiv:1612.02709.Zhai, M., Bessinger, Z., Workman, S., and Jacobs, N., Predicting ground-level scene layout from aerial imagery, 2016, arXiv preprint arXiv:1612.02709.Lefevre, S., Tuia, D., Wegner, J.D., Produit, T., and Nassar, A.S., Toward seamless multiview scene analysis from satellite to street level, Proceedings of the IEEE, 2017.Lefevre, S., Tuia, D., Wegner, J.D., Produit, T., and Nassar, A.S., Toward seamless multiview scene analysis from satellite to street level, Proceedings of the IEEE, 2017.Saurer, O., Baatz, G., Koser, K., Pollefeys, M. et al., Image based geo-localization in the alps, International Journal of Computer Vision, 2016, 116(3):213–225. 19. Tian, Y., Chen, C., and Shah, M., Cross-view image matching for geo-localization in urban environments, arXiv preprint arXiv:1703.07815, 2017.Saurer, O., Baatz, G., Koser, K., Pollefeys, M. et al., Image based geo-localization in the alps, International Journal of Computer Vision, 2016, 116(3):213–225. 19. Tian, Y., Chen, C., and Shah, M., Cross-view image matching for geo-localization in urban environments, arXiv preprint arXiv:1703.07815, 2017.Lowe, D.G., Distinctive image features from scale invariant keypoints, International journal of computer vision, 2004, 60(2): 91–110.Lowe, D.G., Distinctive image features from scale invariant keypoints, International journal of computer vision, 2004, 60(2): 91–110.Bay, H., Ess, A., Tuytelaars, T., and Van Gool, L., Speeded-up robust features (SURF), Computer vision and image under-standing, 2008, 110(3):346–359.Bay, H., Ess, A., Tuytelaars, T., and Van Gool, L., Speeded-up robust features (SURF), Computer vision and image under-standing, 2008, 110(3):346–359.Shukla, P., Goel, S., Singh, P., and Lohani, B., Automatic geolocation of targets tracked by aerial imaging platforms using satellite imagery, The International Archives of Photogrammetry, Remote Sensing and Spatial Information Sciences, 2014, 40(1):381.Shukla, P., Goel, S., Singh, P., and Lohani, B., Automatic geolocation of targets tracked by aerial imaging platforms using satellite imagery, The International Archives of Photogrammetry, Remote Sensing and Spatial Information Sciences, 2014, 40(1):381.Muller, M., Urban, S., and Jutzi, B., Squeezeposenet: Image based pose regression with small convolutional neural networks for real time UAS navigation, ISPRS Annals of the Photogrammetry, Remote Sensing and Spatial Information Sciences, 2017, 4:49.Muller, M., Urban, S., and Jutzi, B., Squeezeposenet: Image based pose regression with small convolutional neural networks for real time UAS navigation, ISPRS Annals of the Photogrammetry, Remote Sensing and Spatial Information Sciences, 2017, 4:49.Buslaev, A., Seferbekov, S., Iglovikov, V., and Shvets, A., Fully Convolutional Network for Automatic Road Extraction from Satellite Imagery, IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops (CVPRW), 2018, pp. 207–210.Buslaev, A., Seferbekov, S., Iglovikov, V., and Shvets, A., Fully Convolutional Network for Automatic Road Extraction from Satellite Imagery, IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops (CVPRW), 2018, pp. 207–210.Ronneberger, O., Fischer, P., Brox, T., U-Net: Convolutional Networks for Biomedical Image Segmentation, MICCAI 2015. Lecture Notes in Computer Science, vol. 9351, Springer, Cham. 26. Ciresan, D.C., Gambardella, L.M., Giusti, A., Schmidhuber, J., Deep neural networks segment neuronal membranes in electron microscopy images, NIPS, 2012, pp. 2852–2860.Ronneberger, O., Fischer, P., Brox, T., U-Net: Convolutional Networks for Biomedical Image Segmentation, MICCAI 2015. Lecture Notes in Computer Science, vol. 9351, Springer, Cham. 26. Ciresan, D.C., Gambardella, L.M., Giusti, A., Schmidhuber, J., Deep neural networks segment neuronal membranes in electron microscopy images, NIPS, 2012, pp. 2852–2860.Lowe, D.G., Distinctive Image Features from Scale-Invariant Keypoints, International Journal of Computer Vision, 2004, vol. 60, issue 2, pp. 91–110. DOI:10.1023/B:VISI.0000029664.99615.94.Lowe, D.G., Distinctive Image Features from Scale-Invariant Keypoints, International Journal of Computer Vision, 2004, vol. 60, issue 2, pp. 91–110. DOI:10.1023/B:VISI.0000029664.99615.94.Fischler, M.A., and Bolles, R.C., Random Sample Consensus: A Paradigm for Model Fitting with Applications to Image Analysis and Automated Cartography, Comm. ACM, 1981, 24 (6): 381–395. DOI:10.1145/358669.358692.Fischler, M.A., and Bolles, R.C., Random Sample Consensus: A Paradigm for Model Fitting with Applications to Image Analysis and Automated Cartography, Comm. ACM, 1981, 24 (6): 381–395. DOI:10.1145/358669.358692.Data Grand Lyon. [Электронный ресурс]. URL: https://rdata-grandlyon.readthedocs.io/en/latest/ index.html (дата обращения: 01.01.2020). 30. Рекламный паспорт №14317ЭП на Комплекс воздушной разведки с беспилотными летательными аппаратами большой продолжительности полета «Орион-Э».Data Grand Lyon. [Электронный ресурс]. URL: https://rdata-grandlyon.readthedocs.io/en/latest/ index.html (дата обращения: 01.01.2020). 30. Рекламный паспорт №14317ЭП на Комплекс воздушной разведки с беспилотными летательными аппаратами большой продолжительности полета «Орион-Э».

The authors declare that there are no conflicts of interest present.