gyroscopyГироскопия и навигацияGiroskopiya i Navigatsiya / Gyroscopy and Navigation0869-70352075-0927AO «Концерн «ЦНИИ «Электроприбор»FNIYFCgyroscopy-59Research ArticleСтатьиАлгоритмы распознавания взлетно-посадочной полосы по видеоданным на основе нейронной сети при посадке беспилотного летательного аппаратаAlgorithms of Runway Detection in Video Images in Neural Network Based UAV LandingЧекановК. А.ChekanovK. A.

Чеканов Константин Александрович. Инженер первой категории.

АО «Раменское приборостроительное конструкторское бюро»РоссияRamenskoye Design Company, RamenskoyeRussian Federation2025200520253313651Copyright © Чеканов К.А., 20252025Чеканов К.А.Chekanov K.A.Данная работа распространяется под лицензией Creative Commons Attribution 4.0.This work is licensed under a Creative Commons Attribution 4.0 License.https://www.gyroscopy.ru/jour/article/view/59

Представлены алгоритмы распознавания контуров взлетнопосадочной полосы на видеоизображении с применением нейронной сети YOLOv8, отличающиеся друг от друга типом задач, для которых сеть обучена (детекция, сегментация, оценка позы). Проведен анализ точности и быстродействия алгоритмов с использованием вычислительного модуля NVIDIA Jetson NANO. На основе анализа по ряду показателей (быстродействие, точность, дальность) выбран лучший алгоритм распознавания. Результаты подтверждают возможность его включения в состав программного обеспечения комплексов бортового оборудования беспилотных летательных аппаратов.

Algorithms for detecting the runway contours in video images based on YOLOv8 neural network (NN) are presented, differing by the types of problems it is trained to (detection, segmentation, pose estimation). The accuracy and speed of these algorithms run on NVIDIA Jetson NANO computer module are analyzed. Using the analysis results, the best detection algorithm is selected based on certain parameters (speed, accuracy, range). The results confirm that the algorithm can be applied in onboard software of unmanned aerial vehicles (UAV).

беспилотный летательный аппаратпосадкатехническое зрениенейронные сетиunmanned aerial vehicle (UAV)landingmachine visionneural networksReferencesMallick, S., Head Pose Estimation using OpenCV and Dlib. URL: https://learnopencv.com/head-poseestimation-using-opencv-and-dlib/ (дата обращения: 12.10.2023).Mallick, S., Head Pose Estimation using OpenCV and Dlib. URL: https://learnopencv.com/head-poseestimation-using-opencv-and-dlib/ (дата обращения: 12.10.2023).Али Б., Садеков Р.Н., Цодокова В.В. Алгоритмы навигации беспилотных летательных аппаратов с использованием систем технического зрения // Гироскопия и навигация. 2022. №4. С. 87–105.Али Б., Садеков Р.Н., Цодокова В.В. Алгоритмы навигации беспилотных летательных аппаратов с использованием систем технического зрения // Гироскопия и навигация. 2022. №4. С. 87–105.Вовк В.И., Липин А.В., Сарайский Ю.Н. Зональная навигация: учеб. пособие. 2-е изд. СПб.: Центр автоматизированного обучения, 2004. 127 с.Вовк В.И., Липин А.В., Сарайский Ю.Н. Зональная навигация: учеб. пособие. 2-е изд. СПб.: Центр автоматизированного обучения, 2004. 127 с.Краснопевцев Б.В. Фотограмметрия. М.: УПП «Репрография» МИИГАиК, 2008. 160 с.Краснопевцев Б.В. Фотограмметрия. М.: УПП «Репрография» МИИГАиК, 2008. 160 с.Jingnan, Shi, Perspective-n-Point: P3P. URL: https://jingnanshi.com/blog/pnp_minimal.html (дата обращения: 12.10.2023).Jingnan, Shi, Perspective-n-Point: P3P. URL: https://jingnanshi.com/blog/pnp_minimal.html (дата обращения: 12.10.2023).Бондарев В.Г., Лопаткин Д.В., Смирнов Д.А. Автоматическая посадка летательных аппаратов // Вестник ВГУ. 2018. №2. С. 44–51. Сер.: Системный анализ и информационные технологии.Бондарев В.Г., Лопаткин Д.В., Смирнов Д.А. Автоматическая посадка летательных аппаратов // Вестник ВГУ. 2018. №2. С. 44–51. Сер.: Системный анализ и информационные технологии.Burns, W.R., A Vision-Based Algorithm for UAV State Estimation During Vehicle Recovery. Master thesis. University of Kansas, 2011.Burns, W.R., A Vision-Based Algorithm for UAV State Estimation During Vehicle Recovery. Master thesis. University of Kansas, 2011.Hiba, A., Gáti, A., Manecy, A., Optical Navigation Sensor for Runway Relative Positioning of Aircraft during Final Approach Sensors 2021, 21, 2203, https://doi.org/10.3390/s21062203.Hiba, A., Gáti, A., Manecy, A., Optical Navigation Sensor for Runway Relative Positioning of Aircraft during Final Approach Sensors 2021, 21, 2203, https://doi.org/10.3390/s21062203.Sumit, Singh, How Computer Vision Based ATTOL System Helps Air Crafts in Landing & Takeoff. URL: https://www.labellerr.com/blog/how-computer-vision-based-attol-system-helps-air-crafts-in-landing-takeoff/ (дата обращения: 22.05.2023).Sumit, Singh, How Computer Vision Based ATTOL System Helps Air Crafts in Landing & Takeoff. URL: https://www.labellerr.com/blog/how-computer-vision-based-attol-system-helps-air-crafts-in-landing-takeoff/ (дата обращения: 22.05.2023).Airbus concludes ATTOL with fully autonomous flight tests. URL: https://www.airbus.com/en/newsroom/press-releases/2020-06-airbus-concludes-attol-with-fully-autonomous-flight-tests (дата обращения: 22.05.2023).Airbus concludes ATTOL with fully autonomous flight tests. URL: https://www.airbus.com/en/newsroom/press-releases/2020-06-airbus-concludes-attol-with-fully-autonomous-flight-tests (дата обращения: 22.05.2023).Scherer, S., Mishra, C., Holzapfel, F., Extension of the capabilities of an automatic landing system with procedures motivated by visual-flight-rules. Proceedings of the 33rd Congress of the International Council of the Aeronautical Sciences (ICAS), Stockholm, Sweden, 4–9 September 2022.Scherer, S., Mishra, C., Holzapfel, F., Extension of the capabilities of an automatic landing system with procedures motivated by visual-flight-rules. Proceedings of the 33rd Congress of the International Council of the Aeronautical Sciences (ICAS), Stockholm, Sweden, 4–9 September 2022.Kugler, M. E., Mumm, N. C., Holzapfel, F., Schwithal, A., Angermann, M., Vision-Augmented Automatic Landing of a General Aviation Fly-by-Wire Demonstrator. AIAA Scitech 2019 Forum, American Institute of Aeronautics and Astronautics, 2019, doi:10.2514/6.2019-1641.Kugler, M. E., Mumm, N. C., Holzapfel, F., Schwithal, A., Angermann, M., Vision-Augmented Automatic Landing of a General Aviation Fly-by-Wire Demonstrator. AIAA Scitech 2019 Forum, American Institute of Aeronautics and Astronautics, 2019, doi:10.2514/6.2019-1641.Хекер П., Бастманн У., Волков С. Ю., Ангерманн М., Декирт А. Позиционирование летательного аппарата по видеоданным для контроля интегрированной навигационной системы при заходе на посадку // Гироскопия и навигация. 2019. №4 (107). С. 29–51.Хекер П., Бастманн У., Волков С. Ю., Ангерманн М., Декирт А. Позиционирование летательного аппарата по видеоданным для контроля интегрированной навигационной системы при заходе на посадку // Гироскопия и навигация. 2019. №4 (107). С. 29–51.Herold, H., Air Law. CAE Oxford Aviation Academy (UK), 2014.Herold, H., Air Law. CAE Oxford Aviation Academy (UK), 2014.International Standards “Radio Navigation Aids” AN 10-1. ICAO. 2018.International Standards “Radio Navigation Aids” AN 10-1. ICAO. 2018.Ultralytics YOLOv8. URL: https://docs.ultralytics.com/ru/models/yolov8/#key-features (дата обращения: 16.08.2024).Ultralytics YOLOv8. URL: https://docs.ultralytics.com/ru/models/yolov8/#key-features (дата обращения: 16.08.2024).YOLOv8. URL: https://docs.ultralytics.com/ru/models/yolov8/ (дата обращения: 16.08.2024).YOLOv8. URL: https://docs.ultralytics.com/ru/models/yolov8/ (дата обращения: 16.08.2024).Douglas-Peucker. URL: https://psimpl.sourceforge.net/douglas-peucker.html (дата обращения: 10.09.2024).Douglas-Peucker. URL: https://psimpl.sourceforge.net/douglas-peucker.html (дата обращения: 10.09.2024).Shi-Tomasi Corner Detector & Good Features to Track. URL: https://docs.opencv.org/4.x/d4/d8c/tutorial_py_shi_tomasi.html (дата обращения: 01.010.2024).Shi-Tomasi Corner Detector & Good Features to Track. URL: https://docs.opencv.org/4.x/d4/d8c/tutorial_py_shi_tomasi.html (дата обращения: 01.010.2024).RidgeRun’s Birds Eye View project research. URL: https://developer.ridgerun.com/wiki/index.php/Birds_Eye_View/Introduction/Research (дата обращения: 01.010.2024).RidgeRun’s Birds Eye View project research. URL: https://developer.ridgerun.com/wiki/index.php/Birds_Eye_View/Introduction/Research (дата обращения: 01.010.2024).Basic concepts of the homography explained with code. URL: https://docs.opencv.org/4.x/d9/dab/tutorial_homography.html (дата обращения: 01.010.2024).Basic concepts of the homography explained with code. URL: https://docs.opencv.org/4.x/d9/dab/tutorial_homography.html (дата обращения: 01.010.2024).Евклидова, L1 и Чебышева – 3 основные метрики, которые пригодятся в Data Science. URL: https://tproger.ru/translations/3-basic-distances-in-data-science (дата обращения: 01.10.2024).Евклидова, L1 и Чебышева – 3 основные метрики, которые пригодятся в Data Science. URL: https://tproger.ru/translations/3-basic-distances-in-data-science (дата обращения: 01.10.2024).Семенов С.С., Воронов Е.М., Полтавский А.В., Крянев А.В. Методы и модели принятия решений в задачах оценки качества и технического уровня сложных технических систем. 2-е изд. М.: Ленанд, 2019. 516 с.Семенов С.С., Воронов Е.М., Полтавский А.В., Крянев А.В. Методы и модели принятия решений в задачах оценки качества и технического уровня сложных технических систем. 2-е изд. М.: Ленанд, 2019. 516 с.Панченко Т.В. Генетические алгоритмы. Астрахань: ИД «Астраханский университет», 2007. 87 с.Панченко Т.В. Генетические алгоритмы. Астрахань: ИД «Астраханский университет», 2007. 87 с.Introduction to FlightGear. URL: https://www.flightgear.org/about/ (дата обращения: 01.10.2024).Introduction to FlightGear. URL: https://www.flightgear.org/about/ (дата обращения: 01.10.2024).Сборники аэронавигационной информации (полетные) // Центр Аэронавигационной Информации. URL: http://www.caiga.ru/sborniks/ (дата обращения: 06.02.2024).Сборники аэронавигационной информации (полетные) // Центр Аэронавигационной Информации. URL: http://www.caiga.ru/sborniks/ (дата обращения: 06.02.2024).Object Detection Datasets Overview. URL: https://docs.ultralytics.com/datasets/detect/ (дата обращения: 01.10.2024).Object Detection Datasets Overview. URL: https://docs.ultralytics.com/datasets/detect/ (дата обращения: 01.10.2024).Welcome To Colab. URL: https://colab.research.google.com/ (дата обращения: 01.10.2024).Welcome To Colab. URL: https://colab.research.google.com/ (дата обращения: 01.10.2024).Ultralytics. URL: https://docs.ultralytics.com/ (дата обращения: 01.10.2024).Ultralytics. URL: https://docs.ultralytics.com/ (дата обращения: 01.10.2024).Everingham, M., Van Gool, L., Williams, C. K. I., Winn, J., Zisserman, A., The PASCAL Visual Object Classes (VOC) Challenge. International Journal of Computer Vision, 2010, №2, pp. 303–338.Everingham, M., Van Gool, L., Williams, C. K. I., Winn, J., Zisserman, A., The PASCAL Visual Object Classes (VOC) Challenge. International Journal of Computer Vision, 2010, №2, pp. 303–338.Mean Average Precision (mAP) in Object Detection. URL: https://learnopencv.com/mean-average-precision-map-object-detection-model-evaluation-metric/ (дата обращения: 01.10.2024).Mean Average Precision (mAP) in Object Detection. URL: https://learnopencv.com/mean-average-precision-map-object-detection-model-evaluation-metric/ (дата обращения: 01.10.2024).Patel, D., Upadhyay, S., Optical Flow Measurement using Lucas Kanade Method. International Journal of Computer Applications, 2013, №10, pp. 6–10.Patel, D., Upadhyay, S., Optical Flow Measurement using Lucas Kanade Method. International Journal of Computer Applications, 2013, №10, pp. 6–10.NVIDIA Jetson Nano. URL: https://www.nvidia.com/ru-ru/autonomous-machines/embedded-systems/jetson-nano/ (дата обращения: 23.05.2023).NVIDIA Jetson Nano. URL: https://www.nvidia.com/ru-ru/autonomous-machines/embedded-systems/jetson-nano/ (дата обращения: 23.05.2023).ONNX Runtime for Inferencing. URL: https://onnxruntime.ai/inference (дата обращения: 01.10.2024).ONNX Runtime for Inferencing. URL: https://onnxruntime.ai/inference (дата обращения: 01.10.2024).NVIDIA TensorRT. URL: https://developer.nvidia.com/tensorrt (дата обращения: 01.10.2024).NVIDIA TensorRT. URL: https://developer.nvidia.com/tensorrt (дата обращения: 01.10.2024).Intersection over Union (IoU) for object detection. URL: https://pyimagesearch.com/2016/11/07/intersection-over-union-iou-for-object-detection/ (дата обращения: 01.10.2024).Intersection over Union (IoU) for object detection. URL: https://pyimagesearch.com/2016/11/07/intersection-over-union-iou-for-object-detection/ (дата обращения: 01.10.2024).

The authors declare that there are no conflicts of interest present.