Алгоритмы навигации беспилотных летательных аппаратов с использованием систем технического зрения

В статье анализируются работы, посвященные навигации беспилотных летательных аппаратов (БПЛА) в условиях пропадания сигнала спутниковых навигационных систем с использованием систем технического зрения (камер оптического диапазона). Рассматриваемые алгоритмы основаны на сравнении изображений, сформированных БПЛА, с имеющимися геопривязанными изображениями местности, выступающими в качестве эталона. Изображения сопоставляются либо попиксельно, либо по ключевым точкам, либо с использованием нейронных сетей. Описываются этапы реализации алгоритмов, приводятся достигнутые с их помощью точности, а также используемые для апробации данные. В заключительной части статьи делаются выводы о возможностях и ограничениях рассматриваемых подходов.

1. Candiago, S., Remondino, F., De Giglio, M., Dubbini, M., and Gattelli, M., Evaluating Multispectral Images and Vegetation Indices for Precision Farming Applications from UAV Images, Remote Sensing, 2015, vol. 7, no. 4, pp. 4026–4047, doi: 10.3390/rs70404026.

2. Akhloufi, M.A., Castro, N.A., and Couturier, A., UAVs for wildland fires, Autonomous Systems: Sensors, Vehicles, Security, and the Internet of Everything, 2018, vol. 10643, doi: 10.1117/12.2304834.

3. Akhloufi, M.A., Castro, N.A., and Couturier, A., Unmanned aerial systems for wildland and forest fires: Sensing, perception, cooperation and assistance, Drones, 2021, vol. 5, no. 15, doi: 10.3390/drones5010015.

4. Мокрова М.И. Исследование влияния сложных условий пожарной обстановки на качество наблюдения и безопасность полёта БЛА // Известия ЮФУ. Технические науки. 2021. DOI: 10.18522/2311-3103-2021-1-112-124.

5. Jordan, S., Moore, J., Hovet, S., Box, J., Perry, J., Kirsche, K., Lewis, D., and Tse, Z.T.H., Stateof-the-art technologies for UAV inspections, IET Radar, Sonar & Navigation, 2017, vol. 12, no. 2, pp. 151–164, doi:10.1049/iet-rsn.2017.0251.

6. Scherer, J., Yahyanejad, S., Hayat, S., Yanmaz, E., Andre, T., Khan, A., Vukadinovic, V., Bettstetter, C., Hellwagner, H., and Rinner, B., An Autonomous Multi-UAV System for Search and Rescue, Proceedings of the First Workshop on Micro Aerial Vehicle Networks, Systems, and Applications for Civilian Use, DroNet ’15, ACM, New York, USA, 2015, pp. 33–38, doi: 10.1145/2750675.2750683.

7. Mittal, M., Mohan, R., Burgard, W., and Valada, A., Vision-Based Autonomous UAV Navigation and Landing for Urban Search and Rescue, Proceedings of the International Symposium on Robotics Research (ISRR), 2019, doi: 10.48550/arXiv.1906.01304.

8. Зоев И.В., Марков Н.Г., Рыжова С.Е. Интеллектуальная система компьютерного зрения беспилотных летательных аппаратов для мониторинга технологических объектов предприятий нефтегазовой отрасли // Известия Томского политехнического университета. Инжиниринг георесурсов. 2019. Т. 330. № 11. С. 34–49.

9. De Melo, C.F.E., Dapper e Silva, T., Boeira, F., Stocchero, J.M., Vinel, A., Asplund, M., and De Freitas, E.P., UAVouch: A Secure Identity and Location Validation Scheme for UAV-Networks, IEEE Access, 2021, vol. 9, pp. 82930–82946.

10. Mantelli, M., Pittol, D., Neuland, R., Ribacki, A., Maffei, R., Jorge, V., Prestes, E., and Kolberg, M., A novel measurement model based on abBRIEF for global localization of a UAV over satellite images, Robotics and Autonomous Systems, 2019, vol. 112, pp. 304–319, doi: 10.1016/j.robot.2018.12.006.

11. Пазычев Д.Б. Мкртчян В.И. Адаптивный субоптимальный фильтр Калмана в задаче выставки БИНС // Известия Тульского государственного университета. Технические науки 2018. № 5. С. 60–73.

12. Conte, G. and Doherty, P., An integrated UAV navigation system based on aerial image matching, Aerospace Conference, 2008, pp. 1–10.

13. Viswanathan, A., Pires, B.R., and Huber, D., Vision-based robot localization across seasons and in remote locations, International Conference on Robotics and Automation, 2016, pp. 4815–4821.

14. Шмидт Дж.Т. Эксплуатация навигационных систем на основе GPS в сложных условиях окружающей среды // Гироскопия и навигация. 2019. Том 27. № 1 (104). С. 3–21.

15. Пешехонов В.Г. Высокоточная навигация без использования информации глобальных навигационных спутниковых систем // Гироскопия и навигация. 2022. Том 30. № 1 (116). С. 3–11.

16. Sabatini, R., Moore, T., Hill, C., and Ramasamy, S., Avionics-based GNSS integrity augmentation performance in a jamming environment, AIAC16: 16th Australian International Aerospace Congress, Engineers Australia, 2015, pp. 469–479.

17. Groves, P.D., Jiang, Z., Rudi, M., and Strode, P., A portfolio approach to NLOS and multipath mitigation in dense urban areas, Proceedings of the 26th International Technical Meeting of The Satellite Division of the Institute of Navigation, The Institute of Navigation, 2013.

18. Жук Р.С., Залесский Б.А., Троцкий Ф.С. Визуальная навигация автономно летящего БПЛА с целью его возвращения в точку старта // Информатика. 2020. Т. 17. № 2. С. 17–24. DOI: 10.37661/1816-0301-2020-17-2-17-24.

19. Yuncheng, L., Zhucun, X., Gui-Song, X., and Liangpei, Z., A survey on vision-based UAV navigation, Geo-spatial Information Science, 21:1, 2018, pp. 21–32, doi: 10.1080/10095020.2017.1420509.

20. Визильтер Ю.В., Желтов С.Ю. Использование глубоких нейронных сетей для анализа данных, управления и оптимизации в перспективных авиационных приложениях // XII мультиконференция по проблемам управления (МКПУ-2019). 2019. T. 4. С. 17–20.

21. Белоглазов И.Н., Тарасенко В.П. Корреляционно-экстремальные системы. Москва: Сов. радио, 1974. 392 с.

22. Белоглазов И.Н., Джанджгава Г.И. Основы навигации по геофизическим полям. М.: Наука, гл. ред. физ.-мат. лит., 1985. 328 с.

23. Степанов О.А., Торопов А.Б. Методы нелинейной фильтрации в задаче навигации по геофизическим полям. Часть 2. Современные тенденции развития // Гироскопия и навигация. 2015. № 4 (91). С. 147–159.

24. Беркович С.Б., Котов Н.И., Лычагов А.В. Система технического зрения как источник дополнительной информации в задаче автомобильной навигации // Гироскопия и навигация. 2017. Т. 25. № 1 (96). С. 49–63.

25. Шолохов А.В., Беркович С.Б. Формирование траектории корреляционно-экстремальной навигационной системы по критерию минимума погрешностей координат // XXV юбилейная Санкт-Петербургская международная конференция по интегрированным навигационным системам. 2018. С. 175–177.

26. Степанов О.А., Носов А.С. Алгоритм коррекции навигационной системы по данным карты и измерителя, не требующий предварительного оценивания значений поля вдоль пройденной траектории // Гироскопия и навигация. 2020. Т. 28. № 2 (109). С. 70–90.

27. Козубовский С.Ф. Корреляционные экстремальные системы. Справочник. Киев: Наукова думка, 1973. 224 c.

28. Степанов О.А. Методы оценки потенциальной точности в корреляционно-экстремальных навигационных системах. Аналитический обзор. СПб.: ЦНИИ «Электроприбор», 1993. 85 с.

29. Poddar, Sh., Kottath, R., Karar, V., Evolution of Visual Odometry Techniques, 2018. URL: https:// arxiv.org/ftp/arxiv/papers/1804/1804.11142.pdf.

30. Cadena, C., Carlone, L., Carrillo, H., Latif, Y., Scaramuzza, D., Neira, J., Reid, I.D., Leonard, J.J., Simultaneous Localization and Mapping: Present, Future, and the Robust-Perception Age, IEEE Transactions on Robotics (cond. Accepted), 2016.

31. Ronneberger, O., Fischer, P., and Brox, T., U-Net: Convolutional Networks for Biomedical Image Segmentation, 2015, arXiv: 1505.04597.

32. Lowe, D.G., Distinctive image features from scale-invariant keypoints, International Journal of Computer Vision, 2004, vol. 60, no. 2, pp. 91–110.

33. Isola, P., Zhu, J.-Y., Zhou, T., and Efros, A.A., Image-To-Image translation with conditional adversarial networks, Proceedings of the IEEE conference on computer vision and pattern recognition, 2017, pp. 1125–1134, doi: 10.1109/CVPR.2017.632.

34. Mirza, M. and Osindero, S., Conditional Generative Adversarial Nets, 2014, arXiv:1411.1784 [cs, stat].

35. Schleiss, M., Translating aerial images into street-map representations for visual self-localization of UAVs, ISPRS-International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences, 2019, vol. 42, pp. 575–580, DOI: 10.5194/isprs-archives-XLII-2-W13-575-2019.

36. Silva Filho, P., Shiguemori, E.H., Saotome, O., UAV visual autolocalizaton based on automatic landmark recognition, International Conference on Unmanned Aerial Vehicles in Geomatics, 2017, pp. 89– 94. doi:10.5194/isprs-annals-IV-2-W3-89-2017.

37. Alcantarilla, P.F., Nuevo, J., Bartoli, A., Fast explicit diffusion for accelerated features in nonlinear scale spaces, British Machine Vision Conference (BMVC), 2013, doi: 10.5244/C.27.13.

38. Ding, L., Zhou, J., Meng, L., Long, Z., A Practical Cross-View Image Matching Method between UAV and Satellite for UAV-Based Geo-Localization, Remote Sensing, 2021, vol. 13, no. 47, doi:10.3390/rs13010047.

39. Zheng, Z., Wei, Y., Yang, Y., University-1652: A Multi-View Multi-Source Benchmark for DroneBased Geo-Localization, Proceedings of the 28th ACM International Conference on Multimedia, Seattle, WA, USA, October 2020, pp. 1395–1403.

40. Uchida, Yusuke, Local Feature Detectors, Descriptors, and Image Representations: A Survey, 2016, ArXiv abs/1607.08368.

41. Goforth, H. and Lucey, S., GPS-Denied UAV Localization using Pre-existing Satellite Imagery, International Conference on Robotics and Automation (ICRA), Montreal, QC, Canada, 2019, pp. 2974–2980, doi: 10.1109/ICRA.2019.8793558.

42. Simonyan, K. and Zisserman, A., Very deep convolutional networks for large-scale image recognition, Conference ICLR, 2015, arXiv:1409.1556 [cs]. 43. Fischler, M.A. and Bolles, R.C., Random sample consensus: a paradigm for model fitting with applications to image analysis and automated cartography, Communications of the ACM, 1981, vol. 24, no. 6, pp. 381–395, doi: 10.1145/358669.358692.

43. Rublee, E., Rabaud, V., Konolige, K., and Bradski, G., ORB: An efficient alternative to SIFT or SURF, International Conference on Computer Vision, 2011, pp. 2564–2571, doi: 10.1109/ICCV.2011.6126544.

44. Seema, B.S., Hemanth, K., and Naidu, V.P.S., Geo-Registration of Aerial Images using RANSAC Algorithm, NCTAESD-2014, Vemana Institute of Technology, Bangalore, 2014, pp. 1–5.

45. Saranya, K.C., Naidu, V.P.S., Singhal, V., and Tanuja, B.M., Application of vision-based techniques for UAV position estimation, International Conference on Research Advances in Integrated Navigation Systems (RAINS), 2016, pp. 1–5, doi: 10.1109/RAINS.2016.7764392.

46. Wang, X., Kealy, A., Li, W., Jelfs, B., Gilliam, C., May, S.L., and Moran, B., Toward Autonomous UAV Localization via Aerial Image Registration, Electronics, 2021, vol. 10, no. 4, doi: 10.3390/electronics10040435.

47. Bay, H., Tuytelaars, T., and Van Gool, L., SURF: Speeded Up Robust Features, A. Leonardis, H. Bischof, A. Pinz (Eds.), Computer Vision ECCV 2006, Lecture Notes in Computer Science, Springer Berlin Heidelberg, 2006, pp. 404–417, doi: 10.1007/11744023_32.

48. Степанов Д.Н. Применение вейвлетов габора в задаче навигации БПЛА с использованием видеокамеры // Фундаментальные исследования. 2015. №12 (часть 1). С. 85–91.

49. Степанов Д.Н. Методы и алгоритмы определения положения и ориентации беспилотного летательного аппарата с применением бортовых видеокамер // Программные продукты и системы. 2014. Т. 1. №1.

50. Nassar, A., Amer, K., El Hakim, R., and ElHelw, M., A deep CNN-based framework for enhanced aerial imagery registration with applications to UAV geolocalization, IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops, 2018, pp. 1513–1523, doi: 10.1109/CVPRW.2018.00201.

51. Calonder, M., Lepetit, V., Strecha, C., and Fua, P., BRIEF: Binary Robust Independent Elementary Features, K. Daniilidis, P. Maragos, N. Paragios (Eds.), Computer Vision ECCV 2010, Lecture Notes in Computer Science, Springer Berlin Heidelberg, 2010, pp. 778–792, doi: 10.1007/978-3-642-15561-1_56.

52. Masselli, A., Hanten, R., and Zell, A., Localization of Unmanned Aerial Vehicles Using Terrain Classification from Aerial Images, Intelligent Autonomous Systems, Advances in Intelligent Systems and Computing, Springer International Publishing, 2016, vol. 13, pp. 831–842, doi: 10.1007/978-3-319-08338-4_60.

53. Breiman, L.,Random Forests,Machine Learning, 2001, vol. 45, no. 1, pp. 5–32, doi: 10.1023/A:1010933404324.

54. Bianchi, M. and Barfoot, T.D., UAV Localization Using Autoencoded Satellite Images, IEEE Robotics and Automation Letters, 2021, vol. 6, no. 2, pp. 1761–1768.

55. Shan, M., Wang, F., Lin, F., Gao, Z., Tang, Y.Z., and Chen, B.M., Google map aided visual navigation for UAVs in GPS-denied environment, IEEE International Conference on Robotics and Biomimetics (ROBIO), 2015, pp. 114–119, doi: 10.1109/ROBIO.2015.7418753.

56. Dalal, N. and Triggs, B., Histograms of Oriented Gradients for Human Detection, IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR’05), San Diego, CA, USA, 2005, vol. 1, pp. 886–893, doi: 10.1109/CVPR.2005.177.

57. Horn, B.K.P. and Schunck, B.G., Determining optical flow, Artificial Intelligence, 1981, vol. 17, no. 1, pp. 185–203, doi: 10.1016/0004-3702(81)90024-2.

58. Mughal, M.H., Khokhar, M.J., and Shahzad, M., Assisting UAV Localization Via Deep Contextual Image Matching, IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 2021, vol. 14, pp. 2445–2457.

59. He, K., Zhang, X., Ren, S., and Sun, J., Deep Residual Learning for Image Recognition, 2015, arXiv:1512.03385v1 [cs.CV].

60. Rocco, I., Cimpoi, M., Arandjelovic, R., Torii, A., Pajdla, T., and Sivic, J., Neighbourhood Consensus Networks, 32nd Conference on Neural Information Processing Systems (NeurIPS 2018), Montréal, Canada, 2018.

61. Everingham, M., Gool, L.V., Williams, C.K.I., Winn, J., and Zisserman, A., The PASCAL Visual Object Classes (VOC) Challenge, International Journal of Computer Vision, 2010, vol. 88, pp. 303–338.

62. Taira, H., Okutomi, M., Sattler, T., Cimpoi, M., Pollefeys, M., Sivic, J., Pajdla, T., and Torii, A., InLoc: Indoor Visual Localization with Dense Matching and View Synthesis, 2018. arXiv:1803.10368 [cs].

63. Танченко А.П., Федулин А.М., Бикмаев Р.Р., Садеков Р.Н. Алгоритм автономной коррекции навигационной системы беспилотного летательного аппарата на основе распознавания дорожной и речной сети // Гироскопия и навигация. 2020. Т. 28. № 3(110). С. 3–13. DOI: 10.17285/0869-7035.0038.

64. Krizhevsky, A., Sutskever, I., and Hinton, G.E., Imagenet classification with deep convolutional neural networks, Communications of the ACM, 2017, vol. 60, no. 6, pp. 84–90, doi: 10.1145/3065386.

65. Russakovsky, O., Deng, J., Su, H., Krause, J., Satheesh, S., et al., ImageNet Large Scale Visual Recognition Challenge, International Journal of Computer Vision (IJCV), 2015, vol. 115, no. 3, pp. 211–252, doi: 10.1007/s11263-015-0816-y.

66. Harvey, W., Rainwater, C., and Cothren, J., Direct Aerial Visual Geolocalization Using Deep Neural Networks, Remote Sensing, 2021, vol. 13, doi: 10.3390/rs13194017.

67. Chollet, F., Xception: Deep Learning with Depthwise Separable Convolutions, 2017. arXiv:1610.02357 [cs].

68. Amer, K., Samy, M., El Hakim, R., Shaker, M., and El Helw, M., Convolutional Neural Network-Based Deep Urban Signatures with Application to Drone Localization, IEEE International Conference on Computer Vision Workshops (ICCVW), 2017, pp. 2138–2145, doi: 10.1109/ICCVW.2017.

69. Marcu, A., Costea, D., Slusanschi, E., and Leordeanu, M., A Multi-Stage Multi-Task Neural Network for Aerial Scene Interpretation and Geolocalization, 2018, arXiv:1804.01322 [cs].

70. Jadon, S., A survey of loss functions for semantic segmentation, IEEE International Conference on Computational Intelligence in Bioinformatics and Computational Biology, 2020, doi: 10.1109/CIBCB48159.2020.9277638.

71. Kendall, A., Grimes, M., and Cipolla, R., Posenet: A convolutional network for real-time 6-dof camera relocalization, Proceedings of the IEEE International Conference on Computer Vision, Santiago, Chile, 2015, pp. 2938–2946.

72. Szegedy, C., Liu, W., Jia, Y., Sermanet, P., Reed, S., Anguelov, D., Erhan, D., Vanhoucke, V., and Rabinovich, A., Going deeper with convolutions, Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, Boston, MA, USA, 2015, pp. 1–9.

73. Mueller, M.S. and Jutzi, B., UAS Navigation with SqueezePoseNet – Accuracy Boosting for Pose Regression by Data Augmentation, Drones, 2018, vol. 2, no. 7, doi: 10.3390/drones2010007.

74. Mueller, M.S., Urban, S., and Jutzi B., SqueezePoseNet: Image based Pose Regression with small Convolutional Neural Networks for Real Time UAS Navigation, ISPRS Ann. Photogramm. Remote Sens. Spat. Inf. Sci, 2017, vol. 4, pp. 49–57.

75. Iandola, F.N., Han, S., Moskewicz, M. W., Ashraf, K., Dally, W.J., and Keutzer, K., SqueezeNet: AlexNet-level accuracy with 50× fewer parameters and <0.5 mb model size, 2016, arXiv:1602.07360.

76. Maas, A.L., Hannun, A.Y., and Ng, A.Y., Rectifier nonlinearities improve neural network acoustic models, Proceedings of the International Conference on Machine Learning, Atlanta, GA, USA, 2013, vol. 30.