Calculation of Motion Blur Trajectories in a Digital Image as a Special Problem of Inertial Navigation
EDN: JPQLTC
Abstract
The paper studies the blur trajectory, i.e. the motion of a point light source projection along the image plane. It occurs when the digital camera and the observed scene move relative to each other during exposure. The blur trajectory is calculated by solving a set of differential equations of the point plane motion kinematics, written in terms of the measurements of velocity and specific force vectors. The formulated problem is called the special problem of inertial navigation in order to emphasize its differences from the problem of strapdown inertial navigation in the conventional sense. The set of equations of the special problem is obtained in the image plane coordinates. Model examples of blur trajectories calculation are presented for two limiting cases: a distant star and a close motionless target. In the first case, the possibility of increasing the probability of the star blurry image detection in noise is shown. Also, it is discussed how to eliminate the unpredictable systematic error in measuring the star’s coordinates.
References
1. Званцев С.П., Иванов П.И., Мерзлютин Е.Ю. Цифровая стабилизация изображений в условиях запланированного движения // Оптический журнал. 2012. Т. 79. № 11. С. 59–66.
2. Пашков В.С. Влияние «смаза» изображения на точность оценки его координат // Механика, управление и информатика (см. в книгах). 2009. №1. С. 225–230.
3. Пономарёв А.В., Богословский А.В., Жигулина И.В. Обработка детекторным полем изображений, искаженных смазом // Радиотехника. 2019. Т. 83. №6 (8). С. 216–222. DOI: 10.18127/j00338486-201906(8)-21.
4. Kornilova, A.V., Kirilenko, I.A., Zabelina, N.I., Real-time digital video stabilization using MEMS-sensors, Proceedings of the Institute for System Programming of the RAS, 2017, vol. 29, no 4, pp. 73–86, doi: 10.15514/ISPRAS-2017-29(4)-5.
5. Кулакович А.Ю., Баранов Е.Ю. Оценка зависимостей времени работы алгоритма восстановления и расфокусировки изображений, выполняемого на CPU и GPU // Инженерный вестник Дона. 2019. №1(52). С. 41.
6. Козак А.В., Штейнберг О.Б., Штейнберг Б.Я. Алгоритм восстановления смазанного изображения, полученного вращающейся под углом к горизонту камерой // Компьютерная оптика. 2020. Т. 44. №2. С. 229–235. DOI: 10.18287/2412-6179-CO-598.
7. Смирнов П.В., Ташлинский А.Г. Алгоритм компенсации смаза изображения движущегося объекта по последовательности кадров // Радиоэлектронная техника. 2013. № 1. С. 141–145.
8. Смирнов П.В., Ташлинский А.Г. Алгоритм выделения по последовательности изображений движущегося объекта с компенсацией эффекта «смаза» // Радиоэлектронная техника. 2015. №1 (7). С. 121–130.
9. Смирнов П.В., Воронов И.В. Использование оценок поля диспарантности для компенсации эффекта смаза быстродвижущихся объектов // Радиоэлектронная техника. 2017. №1(10). С. 106–110.
10. Кокошкин А.В., Коротков В.А., Новичихин Е.П. Эффекты полузатенения при восстановлении изображений, искажённых смазом // Журнал радиоэлектроники. 2014. №9. С. 1.
11. Кокошкин А.В., Коротков В.А., Коротков К.В., Новичихин Е.П. Восстановление изображений, искаженных дефокусировкой и смазом, без определения вида и параметров аппаратной функции // Радиотехника и электроника. 2019. Т.64. № 6. С. 563–574. DOI: 10.1134/S0033849419060044.
12. Акименко Т.А., Ларкин Е.В., Лучанский О.А. Оценка «смаза» изображения в системе технического зрения мобильного колесного робота // Вестник Рязанского государственного радиотехнического университета. 2008. №23. С. 84–87.
13. Октябрьский В.В., Островский А.С., Саламан Р.С. Методика компенсации неравномерно распределенного смаза аэрофотоснимков многоматричных цифровых аэрофотоаппаратов планово-перспективной съемки в условиях недостаточной освещенности местности // Труды Военно-космической академии имени А.Ф. Можайского. 2021. №677. С. 107–117.
14. Иванов П. И. Использование микроэлектромеханических систем при решении задач цифровой стабилизации видеоизображений // Оптический журнал. 2015. Т. 82. № 8. С. 84–91.
15. Солдатенков В.А., Грузевич Ю.К., Ачильдиев В.М., Левкович А.Д. Использование микромеханических гироскопов для электронной стабилизации видеоизображения // XVIII Санкт-Петербургская международная конференция по интегрированным навигационным системам: сборник материалов. СПб: ЦНИИ «Электроприбор», 2011. С. 92–94.
16. Гебгарт А.Я., Колосов М.П. Особенности проектирования линзовых объективов звездных приборов ориентации космических аппаратов // Оптический журнал. 2015. Т. 82. №6. С. 36–41.
17. Кобер В.И., Карнаухов В.Н. Восстановление мультиспектральных изображений, искаженных пространственно-неоднородным движением камеры // Информационные процессы. 2015. Т. 15. №2. С. 269–277.
18. Карнаухов В.Н., Кобер В.И. Анализ характеристик линейных искажений в задачах восстановления мультиспектральных изображений // Информационные процессы. 2017. Т. 17. №2. С. 114–122.
19. Hartley, R., Zisserman, A., Multiple view geometry in computer vision (2nd ed), Cambridge: Cambridge University Press, 2004, 655 p., doi: 10.1017/CBO9780511811685.
20. Hu, Z., Yuan, L., Lin, S., Yang, M.H., Image Deblurring using Smartphone Inertial Sensors, IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Las Vegas, NV, USA, 2016, pp. 1855–1864, doi: 10.1109/CVPR.2016.205.
21. Joshi, N., Kang, S.B., Zitnick, C.L., Szeliski, R., Image Deblurring using Inertial Measurement Sensors, ACM Transactions on Graphics, 2010, vol. 29, no. 4, pp. 1–9, doi: 10.1145/1778765.1778767.
22. Soros, G., Munger, S., Beltrame, C., Humair, L., Multiframe Visual-Inertial Blur Estimation and Removal for Unmodified Smartphones, Journal of WSCG, 2015, vol. 22, no. 2, pp. 101–109.
23. Lee, K., Ban, Y., Kim, C., Motion Blur Kernel Rendering Using an Inertial Sensor: Interpreting the Mechanism of a Thermal Detector, Sensors, 2022, vol. 22, no. 5, 1893, doi: 10.3390/s22051893.
24. Ji, S., Hong, J.P., Lee, J., Baek, S.J., Ko, S.J., Robust Single Image Deblurring Using Gyroscope Sensor, IEEE Access., 2021, vol. 9, pp. 80835–80846, doi: 10.1109/ACCESS.2021.3084968.
25. Mustaniemi, J., Kannala, J., Sarkk, S., Matas, J., Heikkila, J., Gyroscope-Aided Motion Deblurring with Deep Networks, 2019 IEEE winter conference on applications of computer vision (WACV), 7–11 January 2019, pp. 1914–1922, doi: 10.1109/WACV.2019.00208.
26. Park, S.H., Levoy, M., Gyro-Based Multi-Image Deconvolution for Removing Handshake Blur, IEEE Conference on computer vision and pattern recognition, 23–28 June 2014, pp. 3366–3373, doi: 10.1109/CVPR.2014.430.
27. Zhang, Y., Hirakawa, K., Combining Inertial Measurements With Blind Image Deblurring Using Distance Transform, IEEE Transactions on computer Imaging, 2016, vol. 2, no. 3, pp. 281–293, doi: 10.1109/TCI.2016.2561701.
28. Василюк Н.Н. Синтез ядра вращательного смаза в цифровом изображении с использованием измерений трехосного гироскопа // Компьютерная оптика. 2022. Т. 46. №5. С. 763–773. DOI: 10.18287/2412-6179-CO-1081.
29. Василюк Н.Н. Коррекция вращательного смаза в изображениях звезд, наблюдаемых астроинерциальным датчиком ориентации на фоне дневного неба // Компьютерная оптика. 2023. Т. 47. №1. С. 79–91. DOI: 10.18287/2412-6179-CO-1141.
30. Mutlu, M., Saranli, A., Saranli, U.,A Real-Time Inertial Motion Blur Metric: Application to Frame Triggering Based Motion Blur Minimization, 2014 IEEE International conference on robotics and automation (ICRA), 31 May – 7 June 2014, Hong Kong, China, pp. 671–676, doi: 10.1109/ICRA.2014.6906926.
31. Mutlu, M., A novel real-time inertial motion blur metric with applications to motion blur compensation, Master thesis, 2014, Middle East Technical University, p. 90.
32. Mutlu, M., Melo, K., Vespignani, M., Bernardino, A., Ijspeert, A.J., Where to place cameras on a Snake robot: Focus on camera trajectory and motion blur, 2015 IEEE international symposium on safety, security and rescue robotics (SSRR), 18–20 October 2015, West Lafayete, IN, USA. DOI: 10.1109/SSRR.2015.7442948.
33. Меркулов В.И., Садовский П.А. Оценивание дальности и ее производных в двухпозиционной пассивной радиолокационной системе // Труды СПИИРАН. 2018. №1 (56). С. 122–143. DOI: 10.15622/sp.56.6.
34. Кузьмин С.З. Основы теории цифровой обработки радиолокационной информации. М.: Советское радио, 1974. 432 с.
35. Баранов П.С., Манцветов А.А. Оптимизация отношения радиуса кружка рассеяния объектива к размеру пиксела для повышения точности оценки координат изображений малоразмерных объектов // Известия высших учебных заведений России. Радиоэлектроника. 2016. №2. С. 49–53.
36. Сивухин Д.В. Общий курс физики. Том IV. Оптика. М.: Физматлит, 2005. 792 с.
37. Ежов О.М. Сравнительный анализ алгоритмов обнаружения звезд для приборов ориентации с матрицами ПЗС // Оптический журнал. 1998. №8. С. 56–60.
38. Аванесов Г.А., Кондратьева Т.В., Никитин А.В. Исследование смещения энергетического центра изображений звезд относительно геометрического центра на ПЗС-матрице и коррекция методической ошибки // Механика, управление и информатика (см. в книгах). 2009. №1. С. 421–446.
39. Василюк Н.Н. Электронная коррекция смаза в сканирующей оптико-электронной системе // Электромагнитные волны и электронные системы. 2009. Т. 14. № 12. С. 41–48.
Review
For citations:
Vasilyuk N.N. Calculation of Motion Blur Trajectories in a Digital Image as a Special Problem of Inertial Navigation. Gyroscopy and Navigation. 2023;31(1):120-141. (In Russ.) EDN: JPQLTC
Views:
5
Email this article 