Algorithms of Runway Detection in Video Images in Neural Network Based UAV Landing
EDN: FNIYFC
Abstract
Algorithms for detecting the runway contours in video images based on YOLOv8 neural network (NN) are presented, differing by the types of problems it is trained to (detection, segmentation, pose estimation). The accuracy and speed of these algorithms run on NVIDIA Jetson NANO computer module are analyzed. Using the analysis results, the best detection algorithm is selected based on certain parameters (speed, accuracy, range). The results confirm that the algorithm can be applied in onboard software of unmanned aerial vehicles (UAV).
References
1. Mallick, S., Head Pose Estimation using OpenCV and Dlib. URL: https://learnopencv.com/head-poseestimation-using-opencv-and-dlib/ (дата обращения: 12.10.2023).
2. Али Б., Садеков Р.Н., Цодокова В.В. Алгоритмы навигации беспилотных летательных аппаратов с использованием систем технического зрения // Гироскопия и навигация. 2022. №4. С. 87–105.
3. Вовк В.И., Липин А.В., Сарайский Ю.Н. Зональная навигация: учеб. пособие. 2-е изд. СПб.: Центр автоматизированного обучения, 2004. 127 с.
4. Краснопевцев Б.В. Фотограмметрия. М.: УПП «Репрография» МИИГАиК, 2008. 160 с.
5. Jingnan, Shi, Perspective-n-Point: P3P. URL: https://jingnanshi.com/blog/pnp_minimal.html (дата обращения: 12.10.2023).
6. Бондарев В.Г., Лопаткин Д.В., Смирнов Д.А. Автоматическая посадка летательных аппаратов // Вестник ВГУ. 2018. №2. С. 44–51. Сер.: Системный анализ и информационные технологии.
7. Burns, W.R., A Vision-Based Algorithm for UAV State Estimation During Vehicle Recovery. Master thesis. University of Kansas, 2011.
8. Hiba, A., Gáti, A., Manecy, A., Optical Navigation Sensor for Runway Relative Positioning of Aircraft during Final Approach Sensors 2021, 21, 2203, https://doi.org/10.3390/s21062203.
9. Sumit, Singh, How Computer Vision Based ATTOL System Helps Air Crafts in Landing & Takeoff. URL: https://www.labellerr.com/blog/how-computer-vision-based-attol-system-helps-air-crafts-in-landing-takeoff/ (дата обращения: 22.05.2023).
10. Airbus concludes ATTOL with fully autonomous flight tests. URL: https://www.airbus.com/en/newsroom/press-releases/2020-06-airbus-concludes-attol-with-fully-autonomous-flight-tests (дата обращения: 22.05.2023).
11. Scherer, S., Mishra, C., Holzapfel, F., Extension of the capabilities of an automatic landing system with procedures motivated by visual-flight-rules. Proceedings of the 33rd Congress of the International Council of the Aeronautical Sciences (ICAS), Stockholm, Sweden, 4–9 September 2022.
12. Kugler, M. E., Mumm, N. C., Holzapfel, F., Schwithal, A., Angermann, M., Vision-Augmented Automatic Landing of a General Aviation Fly-by-Wire Demonstrator. AIAA Scitech 2019 Forum, American Institute of Aeronautics and Astronautics, 2019, doi:10.2514/6.2019-1641.
13. Хекер П., Бастманн У., Волков С. Ю., Ангерманн М., Декирт А. Позиционирование летательного аппарата по видеоданным для контроля интегрированной навигационной системы при заходе на посадку // Гироскопия и навигация. 2019. №4 (107). С. 29–51.
14. Herold, H., Air Law. CAE Oxford Aviation Academy (UK), 2014.
15. International Standards “Radio Navigation Aids” AN 10-1. ICAO. 2018.
16. Ultralytics YOLOv8. URL: https://docs.ultralytics.com/ru/models/yolov8/#key-features (дата обращения: 16.08.2024).
17. YOLOv8. URL: https://docs.ultralytics.com/ru/models/yolov8/ (дата обращения: 16.08.2024).
18. Douglas-Peucker. URL: https://psimpl.sourceforge.net/douglas-peucker.html (дата обращения: 10.09.2024).
19. Shi-Tomasi Corner Detector & Good Features to Track. URL: https://docs.opencv.org/4.x/d4/d8c/tutorial_py_shi_tomasi.html (дата обращения: 01.010.2024).
20. RidgeRun’s Birds Eye View project research. URL: https://developer.ridgerun.com/wiki/index.php/Birds_Eye_View/Introduction/Research (дата обращения: 01.010.2024).
21. Basic concepts of the homography explained with code. URL: https://docs.opencv.org/4.x/d9/dab/tutorial_homography.html (дата обращения: 01.010.2024).
22. Евклидова, L1 и Чебышева – 3 основные метрики, которые пригодятся в Data Science. URL: https://tproger.ru/translations/3-basic-distances-in-data-science (дата обращения: 01.10.2024).
23. Семенов С.С., Воронов Е.М., Полтавский А.В., Крянев А.В. Методы и модели принятия решений в задачах оценки качества и технического уровня сложных технических систем. 2-е изд. М.: Ленанд, 2019. 516 с.
24. Панченко Т.В. Генетические алгоритмы. Астрахань: ИД «Астраханский университет», 2007. 87 с.
25. Introduction to FlightGear. URL: https://www.flightgear.org/about/ (дата обращения: 01.10.2024).
26. Сборники аэронавигационной информации (полетные) // Центр Аэронавигационной Информации. URL: http://www.caiga.ru/sborniks/ (дата обращения: 06.02.2024).
27. Object Detection Datasets Overview. URL: https://docs.ultralytics.com/datasets/detect/ (дата обращения: 01.10.2024).
28. Welcome To Colab. URL: https://colab.research.google.com/ (дата обращения: 01.10.2024).
29. Ultralytics. URL: https://docs.ultralytics.com/ (дата обращения: 01.10.2024).
30. Everingham, M., Van Gool, L., Williams, C. K. I., Winn, J., Zisserman, A., The PASCAL Visual Object Classes (VOC) Challenge. International Journal of Computer Vision, 2010, №2, pp. 303–338.
31. Mean Average Precision (mAP) in Object Detection. URL: https://learnopencv.com/mean-average-precision-map-object-detection-model-evaluation-metric/ (дата обращения: 01.10.2024).
32. Patel, D., Upadhyay, S., Optical Flow Measurement using Lucas Kanade Method. International Journal of Computer Applications, 2013, №10, pp. 6–10.
33. NVIDIA Jetson Nano. URL: https://www.nvidia.com/ru-ru/autonomous-machines/embedded-systems/jetson-nano/ (дата обращения: 23.05.2023).
34. ONNX Runtime for Inferencing. URL: https://onnxruntime.ai/inference (дата обращения: 01.10.2024).
35. NVIDIA TensorRT. URL: https://developer.nvidia.com/tensorrt (дата обращения: 01.10.2024).
36. Intersection over Union (IoU) for object detection. URL: https://pyimagesearch.com/2016/11/07/intersection-over-union-iou-for-object-detection/ (дата обращения: 01.10.2024).
Review
For citations:
Chekanov K.A. Algorithms of Runway Detection in Video Images in Neural Network Based UAV Landing. Gyroscopy and Navigation. 2025;33(1):36-51. (In Russ.) EDN: FNIYFC
Views:
39
Email this article 