Расчет траекторий смазов в цифровом изображении как специальная задача инерциальной навигации
EDN: JPQLTC
Аннотация
В статье анализируется траектория смаза, т.е. движения проекции точечного источника света по плоскости изображения, которая возникает при взаимном перемещении цифровой камеры и наблюдаемой сцены во время экспозиции. Расчет траектории смаза осуществляется путем решения системы дифференциальных уравнений кинематики плоского движения точки, записанной через измерения векторов угловой скорости и кажущегося ускорения. Формулируемая задача названа «специальной задачей» инерциальной навигации с целью подчеркнуть ее отличия от задачи бесплатформенной инерциальной навигации в общепринятом смысле. Система уравнений специальной задачи получена в координатах плоскости изображения. Приведены модельные примеры расчета траекторий смаза при наблюдении точечных целей движущейся камерой для двух предельных случаев – удаленной звезды и близкой неподвижной цели. В первом случае демонстрируется возможность повысить вероятность обнаружения смазанного изображения звезды в шуме и устранить непредсказуемую систематическую погрешность в определении ее координат.
Ключевые слова
смаз,
ядро смаза,
коррекция смаза,
астродатчик,
точечная цель,
инерциальная навигация,
согласованный фильтр
Об авторе
Н. Н. Василюк
ООО «НПК Электрооптика»
Россия
Россия
Василюк Николай Николаевич. Кандидат физико-математических наук, заместитель главного конструктора
Список литературы
1. Званцев С.П., Иванов П.И., Мерзлютин Е.Ю. Цифровая стабилизация изображений в условиях запланированного движения // Оптический журнал. 2012. Т. 79. № 11. С. 59–66.
2. Пашков В.С. Влияние «смаза» изображения на точность оценки его координат // Механика, управление и информатика (см. в книгах). 2009. №1. С. 225–230.
3. Пономарёв А.В., Богословский А.В., Жигулина И.В. Обработка детекторным полем изображений, искаженных смазом // Радиотехника. 2019. Т. 83. №6 (8). С. 216–222. DOI: 10.18127/j00338486-201906(8)-21.
4. Kornilova, A.V., Kirilenko, I.A., Zabelina, N.I., Real-time digital video stabilization using MEMS-sensors, Proceedings of the Institute for System Programming of the RAS, 2017, vol. 29, no 4, pp. 73–86, doi: 10.15514/ISPRAS-2017-29(4)-5.
5. Кулакович А.Ю., Баранов Е.Ю. Оценка зависимостей времени работы алгоритма восстановления и расфокусировки изображений, выполняемого на CPU и GPU // Инженерный вестник Дона. 2019. №1(52). С. 41.
6. Козак А.В., Штейнберг О.Б., Штейнберг Б.Я. Алгоритм восстановления смазанного изображения, полученного вращающейся под углом к горизонту камерой // Компьютерная оптика. 2020. Т. 44. №2. С. 229–235. DOI: 10.18287/2412-6179-CO-598.
7. Смирнов П.В., Ташлинский А.Г. Алгоритм компенсации смаза изображения движущегося объекта по последовательности кадров // Радиоэлектронная техника. 2013. № 1. С. 141–145.
8. Смирнов П.В., Ташлинский А.Г. Алгоритм выделения по последовательности изображений движущегося объекта с компенсацией эффекта «смаза» // Радиоэлектронная техника. 2015. №1 (7). С. 121–130.
9. Смирнов П.В., Воронов И.В. Использование оценок поля диспарантности для компенсации эффекта смаза быстродвижущихся объектов // Радиоэлектронная техника. 2017. №1(10). С. 106–110.
10. Кокошкин А.В., Коротков В.А., Новичихин Е.П. Эффекты полузатенения при восстановлении изображений, искажённых смазом // Журнал радиоэлектроники. 2014. №9. С. 1.
11. Кокошкин А.В., Коротков В.А., Коротков К.В., Новичихин Е.П. Восстановление изображений, искаженных дефокусировкой и смазом, без определения вида и параметров аппаратной функции // Радиотехника и электроника. 2019. Т.64. № 6. С. 563–574. DOI: 10.1134/S0033849419060044.
12. Акименко Т.А., Ларкин Е.В., Лучанский О.А. Оценка «смаза» изображения в системе технического зрения мобильного колесного робота // Вестник Рязанского государственного радиотехнического университета. 2008. №23. С. 84–87.
13. Октябрьский В.В., Островский А.С., Саламан Р.С. Методика компенсации неравномерно распределенного смаза аэрофотоснимков многоматричных цифровых аэрофотоаппаратов планово-перспективной съемки в условиях недостаточной освещенности местности // Труды Военно-космической академии имени А.Ф. Можайского. 2021. №677. С. 107–117.
14. Иванов П. И. Использование микроэлектромеханических систем при решении задач цифровой стабилизации видеоизображений // Оптический журнал. 2015. Т. 82. № 8. С. 84–91.
15. Солдатенков В.А., Грузевич Ю.К., Ачильдиев В.М., Левкович А.Д. Использование микромеханических гироскопов для электронной стабилизации видеоизображения // XVIII Санкт-Петербургская международная конференция по интегрированным навигационным системам: сборник материалов. СПб: ЦНИИ «Электроприбор», 2011. С. 92–94.
16. Гебгарт А.Я., Колосов М.П. Особенности проектирования линзовых объективов звездных приборов ориентации космических аппаратов // Оптический журнал. 2015. Т. 82. №6. С. 36–41.
17. Кобер В.И., Карнаухов В.Н. Восстановление мультиспектральных изображений, искаженных пространственно-неоднородным движением камеры // Информационные процессы. 2015. Т. 15. №2. С. 269–277.
18. Карнаухов В.Н., Кобер В.И. Анализ характеристик линейных искажений в задачах восстановления мультиспектральных изображений // Информационные процессы. 2017. Т. 17. №2. С. 114–122.
19. Hartley, R., Zisserman, A., Multiple view geometry in computer vision (2nd ed), Cambridge: Cambridge University Press, 2004, 655 p., doi: 10.1017/CBO9780511811685.
20. Hu, Z., Yuan, L., Lin, S., Yang, M.H., Image Deblurring using Smartphone Inertial Sensors, IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Las Vegas, NV, USA, 2016, pp. 1855–1864, doi: 10.1109/CVPR.2016.205.
21. Joshi, N., Kang, S.B., Zitnick, C.L., Szeliski, R., Image Deblurring using Inertial Measurement Sensors, ACM Transactions on Graphics, 2010, vol. 29, no. 4, pp. 1–9, doi: 10.1145/1778765.1778767.
22. Soros, G., Munger, S., Beltrame, C., Humair, L., Multiframe Visual-Inertial Blur Estimation and Removal for Unmodified Smartphones, Journal of WSCG, 2015, vol. 22, no. 2, pp. 101–109.
23. Lee, K., Ban, Y., Kim, C., Motion Blur Kernel Rendering Using an Inertial Sensor: Interpreting the Mechanism of a Thermal Detector, Sensors, 2022, vol. 22, no. 5, 1893, doi: 10.3390/s22051893.
24. Ji, S., Hong, J.P., Lee, J., Baek, S.J., Ko, S.J., Robust Single Image Deblurring Using Gyroscope Sensor, IEEE Access., 2021, vol. 9, pp. 80835–80846, doi: 10.1109/ACCESS.2021.3084968.
25. Mustaniemi, J., Kannala, J., Sarkk, S., Matas, J., Heikkila, J., Gyroscope-Aided Motion Deblurring with Deep Networks, 2019 IEEE winter conference on applications of computer vision (WACV), 7–11 January 2019, pp. 1914–1922, doi: 10.1109/WACV.2019.00208.
26. Park, S.H., Levoy, M., Gyro-Based Multi-Image Deconvolution for Removing Handshake Blur, IEEE Conference on computer vision and pattern recognition, 23–28 June 2014, pp. 3366–3373, doi: 10.1109/CVPR.2014.430.
27. Zhang, Y., Hirakawa, K., Combining Inertial Measurements With Blind Image Deblurring Using Distance Transform, IEEE Transactions on computer Imaging, 2016, vol. 2, no. 3, pp. 281–293, doi: 10.1109/TCI.2016.2561701.
28. Василюк Н.Н. Синтез ядра вращательного смаза в цифровом изображении с использованием измерений трехосного гироскопа // Компьютерная оптика. 2022. Т. 46. №5. С. 763–773. DOI: 10.18287/2412-6179-CO-1081.
29. Василюк Н.Н. Коррекция вращательного смаза в изображениях звезд, наблюдаемых астроинерциальным датчиком ориентации на фоне дневного неба // Компьютерная оптика. 2023. Т. 47. №1. С. 79–91. DOI: 10.18287/2412-6179-CO-1141.
30. Mutlu, M., Saranli, A., Saranli, U.,A Real-Time Inertial Motion Blur Metric: Application to Frame Triggering Based Motion Blur Minimization, 2014 IEEE International conference on robotics and automation (ICRA), 31 May – 7 June 2014, Hong Kong, China, pp. 671–676, doi: 10.1109/ICRA.2014.6906926.
31. Mutlu, M., A novel real-time inertial motion blur metric with applications to motion blur compensation, Master thesis, 2014, Middle East Technical University, p. 90.
32. Mutlu, M., Melo, K., Vespignani, M., Bernardino, A., Ijspeert, A.J., Where to place cameras on a Snake robot: Focus on camera trajectory and motion blur, 2015 IEEE international symposium on safety, security and rescue robotics (SSRR), 18–20 October 2015, West Lafayete, IN, USA. DOI: 10.1109/SSRR.2015.7442948.
33. Меркулов В.И., Садовский П.А. Оценивание дальности и ее производных в двухпозиционной пассивной радиолокационной системе // Труды СПИИРАН. 2018. №1 (56). С. 122–143. DOI: 10.15622/sp.56.6.
34. Кузьмин С.З. Основы теории цифровой обработки радиолокационной информации. М.: Советское радио, 1974. 432 с.
35. Баранов П.С., Манцветов А.А. Оптимизация отношения радиуса кружка рассеяния объектива к размеру пиксела для повышения точности оценки координат изображений малоразмерных объектов // Известия высших учебных заведений России. Радиоэлектроника. 2016. №2. С. 49–53.
36. Сивухин Д.В. Общий курс физики. Том IV. Оптика. М.: Физматлит, 2005. 792 с.
37. Ежов О.М. Сравнительный анализ алгоритмов обнаружения звезд для приборов ориентации с матрицами ПЗС // Оптический журнал. 1998. №8. С. 56–60.
38. Аванесов Г.А., Кондратьева Т.В., Никитин А.В. Исследование смещения энергетического центра изображений звезд относительно геометрического центра на ПЗС-матрице и коррекция методической ошибки // Механика, управление и информатика (см. в книгах). 2009. №1. С. 421–446.
39. Василюк Н.Н. Электронная коррекция смаза в сканирующей оптико-электронной системе // Электромагнитные волны и электронные системы. 2009. Т. 14. № 12. С. 41–48.
Рецензия
Для цитирования:
Василюк Н.Н. Расчет траекторий смазов в цифровом изображении как специальная задача инерциальной навигации. Гироскопия и навигация. 2023;31(1):120-141. EDN: JPQLTC
For citation:
Vasilyuk N.N. Calculation of Motion Blur Trajectories in a Digital Image as a Special Problem of Inertial Navigation. Gyroscopy and Navigation. 2023;31(1):120-141. (In Russ.) EDN: JPQLTC
Просмотров:
6
Послать статью по эл. почте 