gyroscopyГироскопия и навигацияGiroskopiya i Navigatsiya0869-70352075-0927AO «Концерн «ЦНИИ «Электроприбор»JPQLTCgyroscopy-88Research ArticleСтатьиРасчет траекторий смазов в цифровом изображении как специальная задача инерциальной навигацииCalculation of Motion Blur Trajectories in a Digital Image as a Special Problem of Inertial NavigationВасилюкН. Н.VasilyukN. N.

Василюк Николай Николаевич. Кандидат физико-математических наук, заместитель главного конструктора 

Moscow, 107076 

ООО «НПК Электрооптика»РоссияSPC Elektrooptika, LLCRussian Federation202320052025311120141Copyright © Василюк Н.Н., 20252025Василюк Н.Н.Vasilyuk N.N.Данная работа распространяется под лицензией Creative Commons Attribution 4.0.This work is licensed under a Creative Commons Attribution 4.0 License.https://www.gyroscopy.ru/jour/article/view/88

В статье анализируется траектория смаза, т.е. движения проекции точечного источника света по плоскости изображения, которая возникает при взаимном перемещении цифровой камеры и наблюдаемой сцены во время экспозиции. Расчет траектории смаза осуществляется путем решения системы дифференциальных уравнений кинематики плоского движения точки, записанной через измерения векторов угловой скорости и кажущегося ускорения. Формулируемая задача названа «специальной задачей» инерциальной навигации с целью подчеркнуть ее отличия от задачи бесплатформенной инерциальной навигации в общепринятом смысле. Система уравнений специальной задачи получена в координатах плоскости изображения. Приведены модельные примеры расчета траекторий смаза при наблюдении точечных целей движущейся камерой для двух предельных случаев – удаленной звезды и близкой неподвижной цели. В первом случае демонстрируется возможность повысить вероятность обнаружения смазанного изображения звезды в шуме и устранить непредсказуемую систематическую погрешность в определении ее координат.

The paper studies the blur trajectory, i.e. the motion of a point light source projection along the image plane. It occurs when the digital camera and the observed scene move relative to each other during exposure. The blur trajectory is calculated by solving a set of differential equations of the point plane motion kinematics, written in terms of the measurements of velocity and specific force vectors. The formulated problem is called the special problem of inertial navigation in order to emphasize its differences from the problem of strapdown inertial navigation in the conventional sense. The set of equations of the special problem is obtained in the image plane coordinates. Model examples of blur trajectories calculation are presented for two limiting cases: a distant star and a close motionless target. In the first case, the possibility of increasing the probability of the star blurry image detection in noise is shown. Also, it is discussed how to eliminate the unpredictable systematic error in measuring the star’s coordinates.

смазядро смазакоррекция смазаастродатчикточечная цельинерциальная навигациясогласованный фильтрblurblur kernelblur correctionstar trackerpoint targetinertial navigationmatched filterReferencesЗванцев С.П., Иванов П.И., Мерзлютин Е.Ю. Цифровая стабилизация изображений в условиях запланированного движения // Оптический журнал. 2012. Т. 79. № 11. С. 59–66.Званцев С.П., Иванов П.И., Мерзлютин Е.Ю. Цифровая стабилизация изображений в условиях запланированного движения // Оптический журнал. 2012. Т. 79. № 11. С. 59–66.Пашков В.С. Влияние «смаза» изображения на точность оценки его координат // Механика, управление и информатика (см. в книгах). 2009. №1. С. 225–230.Пашков В.С. Влияние «смаза» изображения на точность оценки его координат // Механика, управление и информатика (см. в книгах). 2009. №1. С. 225–230.Пономарёв А.В., Богословский А.В., Жигулина И.В. Обработка детекторным полем изображений, искаженных смазом // Радиотехника. 2019. Т. 83. №6 (8). С. 216–222. DOI: 10.18127/j00338486-201906(8)-21.Пономарёв А.В., Богословский А.В., Жигулина И.В. Обработка детекторным полем изображений, искаженных смазом // Радиотехника. 2019. Т. 83. №6 (8). С. 216–222. DOI: 10.18127/j00338486-201906(8)-21.Kornilova, A.V., Kirilenko, I.A., Zabelina, N.I., Real-time digital video stabilization using MEMS-sensors, Proceedings of the Institute for System Programming of the RAS, 2017, vol. 29, no 4, pp. 73–86, doi: 10.15514/ISPRAS-2017-29(4)-5.Kornilova, A.V., Kirilenko, I.A., Zabelina, N.I., Real-time digital video stabilization using MEMS-sensors, Proceedings of the Institute for System Programming of the RAS, 2017, vol. 29, no 4, pp. 73–86, doi: 10.15514/ISPRAS-2017-29(4)-5.Кулакович А.Ю., Баранов Е.Ю. Оценка зависимостей времени работы алгоритма восстановления и расфокусировки изображений, выполняемого на CPU и GPU // Инженерный вестник Дона. 2019. №1(52). С. 41.Кулакович А.Ю., Баранов Е.Ю. Оценка зависимостей времени работы алгоритма восстановления и расфокусировки изображений, выполняемого на CPU и GPU // Инженерный вестник Дона. 2019. №1(52). С. 41.Козак А.В., Штейнберг О.Б., Штейнберг Б.Я. Алгоритм восстановления смазанного изображения, полученного вращающейся под углом к горизонту камерой // Компьютерная оптика. 2020. Т. 44. №2. С. 229–235. DOI: 10.18287/2412-6179-CO-598.Козак А.В., Штейнберг О.Б., Штейнберг Б.Я. Алгоритм восстановления смазанного изображения, полученного вращающейся под углом к горизонту камерой // Компьютерная оптика. 2020. Т. 44. №2. С. 229–235. DOI: 10.18287/2412-6179-CO-598.Смирнов П.В., Ташлинский А.Г. Алгоритм компенсации смаза изображения движущегося объекта по последовательности кадров // Радиоэлектронная техника. 2013. № 1. С. 141–145.Смирнов П.В., Ташлинский А.Г. Алгоритм компенсации смаза изображения движущегося объекта по последовательности кадров // Радиоэлектронная техника. 2013. № 1. С. 141–145.Смирнов П.В., Ташлинский А.Г. Алгоритм выделения по последовательности изображений движущегося объекта с компенсацией эффекта «смаза» // Радиоэлектронная техника. 2015. №1 (7). С. 121–130.Смирнов П.В., Ташлинский А.Г. Алгоритм выделения по последовательности изображений движущегося объекта с компенсацией эффекта «смаза» // Радиоэлектронная техника. 2015. №1 (7). С. 121–130.Смирнов П.В., Воронов И.В. Использование оценок поля диспарантности для компенсации эффекта смаза быстродвижущихся объектов // Радиоэлектронная техника. 2017. №1(10). С. 106–110.Смирнов П.В., Воронов И.В. Использование оценок поля диспарантности для компенсации эффекта смаза быстродвижущихся объектов // Радиоэлектронная техника. 2017. №1(10). С. 106–110.Кокошкин А.В., Коротков В.А., Новичихин Е.П. Эффекты полузатенения при восстановлении изображений, искажённых смазом // Журнал радиоэлектроники. 2014. №9. С. 1.Кокошкин А.В., Коротков В.А., Новичихин Е.П. Эффекты полузатенения при восстановлении изображений, искажённых смазом // Журнал радиоэлектроники. 2014. №9. С. 1.Кокошкин А.В., Коротков В.А., Коротков К.В., Новичихин Е.П. Восстановление изображений, искаженных дефокусировкой и смазом, без определения вида и параметров аппаратной функции // Радиотехника и электроника. 2019. Т.64. № 6. С. 563–574. DOI: 10.1134/S0033849419060044.Кокошкин А.В., Коротков В.А., Коротков К.В., Новичихин Е.П. Восстановление изображений, искаженных дефокусировкой и смазом, без определения вида и параметров аппаратной функции // Радиотехника и электроника. 2019. Т.64. № 6. С. 563–574. DOI: 10.1134/S0033849419060044.Акименко Т.А., Ларкин Е.В., Лучанский О.А. Оценка «смаза» изображения в системе технического зрения мобильного колесного робота // Вестник Рязанского государственного радиотехнического университета. 2008. №23. С. 84–87.Акименко Т.А., Ларкин Е.В., Лучанский О.А. Оценка «смаза» изображения в системе технического зрения мобильного колесного робота // Вестник Рязанского государственного радиотехнического университета. 2008. №23. С. 84–87.Октябрьский В.В., Островский А.С., Саламан Р.С. Методика компенсации неравномерно распределенного смаза аэрофотоснимков многоматричных цифровых аэрофотоаппаратов планово-перспективной съемки в условиях недостаточной освещенности местности // Труды Военно-космической академии имени А.Ф. Можайского. 2021. №677. С. 107–117.Октябрьский В.В., Островский А.С., Саламан Р.С. Методика компенсации неравномерно распределенного смаза аэрофотоснимков многоматричных цифровых аэрофотоаппаратов планово-перспективной съемки в условиях недостаточной освещенности местности // Труды Военно-космической академии имени А.Ф. Можайского. 2021. №677. С. 107–117.Иванов П. И. Использование микроэлектромеханических систем при решении задач цифровой стабилизации видеоизображений // Оптический журнал. 2015. Т. 82. № 8. С. 84–91.Иванов П. И. Использование микроэлектромеханических систем при решении задач цифровой стабилизации видеоизображений // Оптический журнал. 2015. Т. 82. № 8. С. 84–91.Солдатенков В.А., Грузевич Ю.К., Ачильдиев В.М., Левкович А.Д. Использование микромеханических гироскопов для электронной стабилизации видеоизображения // XVIII Санкт-Петербургская международная конференция по интегрированным навигационным системам: сборник материалов. СПб: ЦНИИ «Электроприбор», 2011. С. 92–94.Солдатенков В.А., Грузевич Ю.К., Ачильдиев В.М., Левкович А.Д. Использование микромеханических гироскопов для электронной стабилизации видеоизображения // XVIII Санкт-Петербургская международная конференция по интегрированным навигационным системам: сборник материалов. СПб: ЦНИИ «Электроприбор», 2011. С. 92–94.Гебгарт А.Я., Колосов М.П. Особенности проектирования линзовых объективов звездных приборов ориентации космических аппаратов // Оптический журнал. 2015. Т. 82. №6. С. 36–41.Гебгарт А.Я., Колосов М.П. Особенности проектирования линзовых объективов звездных приборов ориентации космических аппаратов // Оптический журнал. 2015. Т. 82. №6. С. 36–41.Кобер В.И., Карнаухов В.Н. Восстановление мультиспектральных изображений, искаженных пространственно-неоднородным движением камеры // Информационные процессы. 2015. Т. 15. №2. С. 269–277.Кобер В.И., Карнаухов В.Н. Восстановление мультиспектральных изображений, искаженных пространственно-неоднородным движением камеры // Информационные процессы. 2015. Т. 15. №2. С. 269–277.Карнаухов В.Н., Кобер В.И. Анализ характеристик линейных искажений в задачах восстановления мультиспектральных изображений // Информационные процессы. 2017. Т. 17. №2. С. 114–122.Карнаухов В.Н., Кобер В.И. Анализ характеристик линейных искажений в задачах восстановления мультиспектральных изображений // Информационные процессы. 2017. Т. 17. №2. С. 114–122.Hartley, R., Zisserman, A., Multiple view geometry in computer vision (2nd ed), Cambridge: Cambridge University Press, 2004, 655 p., doi: 10.1017/CBO9780511811685.Hartley, R., Zisserman, A., Multiple view geometry in computer vision (2nd ed), Cambridge: Cambridge University Press, 2004, 655 p., doi: 10.1017/CBO9780511811685.Hu, Z., Yuan, L., Lin, S., Yang, M.H., Image Deblurring using Smartphone Inertial Sensors, IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Las Vegas, NV, USA, 2016, pp. 1855–1864, doi: 10.1109/CVPR.2016.205.Hu, Z., Yuan, L., Lin, S., Yang, M.H., Image Deblurring using Smartphone Inertial Sensors, IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Las Vegas, NV, USA, 2016, pp. 1855–1864, doi: 10.1109/CVPR.2016.205.Joshi, N., Kang, S.B., Zitnick, C.L., Szeliski, R., Image Deblurring using Inertial Measurement Sensors, ACM Transactions on Graphics, 2010, vol. 29, no. 4, pp. 1–9, doi: 10.1145/1778765.1778767.Joshi, N., Kang, S.B., Zitnick, C.L., Szeliski, R., Image Deblurring using Inertial Measurement Sensors, ACM Transactions on Graphics, 2010, vol. 29, no. 4, pp. 1–9, doi: 10.1145/1778765.1778767.Soros, G., Munger, S., Beltrame, C., Humair, L., Multiframe Visual-Inertial Blur Estimation and Removal for Unmodified Smartphones, Journal of WSCG, 2015, vol. 22, no. 2, pp. 101–109.Soros, G., Munger, S., Beltrame, C., Humair, L., Multiframe Visual-Inertial Blur Estimation and Removal for Unmodified Smartphones, Journal of WSCG, 2015, vol. 22, no. 2, pp. 101–109.Lee, K., Ban, Y., Kim, C., Motion Blur Kernel Rendering Using an Inertial Sensor: Interpreting the Mechanism of a Thermal Detector, Sensors, 2022, vol. 22, no. 5, 1893, doi: 10.3390/s22051893.Lee, K., Ban, Y., Kim, C., Motion Blur Kernel Rendering Using an Inertial Sensor: Interpreting the Mechanism of a Thermal Detector, Sensors, 2022, vol. 22, no. 5, 1893, doi: 10.3390/s22051893.Ji, S., Hong, J.P., Lee, J., Baek, S.J., Ko, S.J., Robust Single Image Deblurring Using Gyroscope Sensor, IEEE Access., 2021, vol. 9, pp. 80835–80846, doi: 10.1109/ACCESS.2021.3084968.Ji, S., Hong, J.P., Lee, J., Baek, S.J., Ko, S.J., Robust Single Image Deblurring Using Gyroscope Sensor, IEEE Access., 2021, vol. 9, pp. 80835–80846, doi: 10.1109/ACCESS.2021.3084968.Mustaniemi, J., Kannala, J., Sarkk, S., Matas, J., Heikkila, J., Gyroscope-Aided Motion Deblurring with Deep Networks, 2019 IEEE winter conference on applications of computer vision (WACV), 7–11 January 2019, pp. 1914–1922, doi: 10.1109/WACV.2019.00208.Mustaniemi, J., Kannala, J., Sarkk, S., Matas, J., Heikkila, J., Gyroscope-Aided Motion Deblurring with Deep Networks, 2019 IEEE winter conference on applications of computer vision (WACV), 7–11 January 2019, pp. 1914–1922, doi: 10.1109/WACV.2019.00208.Park, S.H., Levoy, M., Gyro-Based Multi-Image Deconvolution for Removing Handshake Blur, IEEE Conference on computer vision and pattern recognition, 23–28 June 2014, pp. 3366–3373, doi: 10.1109/CVPR.2014.430.Park, S.H., Levoy, M., Gyro-Based Multi-Image Deconvolution for Removing Handshake Blur, IEEE Conference on computer vision and pattern recognition, 23–28 June 2014, pp. 3366–3373, doi: 10.1109/CVPR.2014.430.Zhang, Y., Hirakawa, K., Combining Inertial Measurements With Blind Image Deblurring Using Distance Transform, IEEE Transactions on computer Imaging, 2016, vol. 2, no. 3, pp. 281–293, doi: 10.1109/TCI.2016.2561701.Zhang, Y., Hirakawa, K., Combining Inertial Measurements With Blind Image Deblurring Using Distance Transform, IEEE Transactions on computer Imaging, 2016, vol. 2, no. 3, pp. 281–293, doi: 10.1109/TCI.2016.2561701.Василюк Н.Н. Синтез ядра вращательного смаза в цифровом изображении с использованием измерений трехосного гироскопа // Компьютерная оптика. 2022. Т. 46. №5. С. 763–773. DOI: 10.18287/2412-6179-CO-1081.Василюк Н.Н. Синтез ядра вращательного смаза в цифровом изображении с использованием измерений трехосного гироскопа // Компьютерная оптика. 2022. Т. 46. №5. С. 763–773. DOI: 10.18287/2412-6179-CO-1081.Василюк Н.Н. Коррекция вращательного смаза в изображениях звезд, наблюдаемых астроинерциальным датчиком ориентации на фоне дневного неба // Компьютерная оптика. 2023. Т. 47. №1. С. 79–91. DOI: 10.18287/2412-6179-CO-1141.Василюк Н.Н. Коррекция вращательного смаза в изображениях звезд, наблюдаемых астроинерциальным датчиком ориентации на фоне дневного неба // Компьютерная оптика. 2023. Т. 47. №1. С. 79–91. DOI: 10.18287/2412-6179-CO-1141.Mutlu, M., Saranli, A., Saranli, U.,A Real-Time Inertial Motion Blur Metric: Application to Frame Triggering Based Motion Blur Minimization, 2014 IEEE International conference on robotics and automation (ICRA), 31 May – 7 June 2014, Hong Kong, China, pp. 671–676, doi: 10.1109/ICRA.2014.6906926.Mutlu, M., Saranli, A., Saranli, U.,A Real-Time Inertial Motion Blur Metric: Application to Frame Triggering Based Motion Blur Minimization, 2014 IEEE International conference on robotics and automation (ICRA), 31 May – 7 June 2014, Hong Kong, China, pp. 671–676, doi: 10.1109/ICRA.2014.6906926.Mutlu, M., A novel real-time inertial motion blur metric with applications to motion blur compensation, Master thesis, 2014, Middle East Technical University, p. 90.Mutlu, M., A novel real-time inertial motion blur metric with applications to motion blur compensation, Master thesis, 2014, Middle East Technical University, p. 90.Mutlu, M., Melo, K., Vespignani, M., Bernardino, A., Ijspeert, A.J., Where to place cameras on a Snake robot: Focus on camera trajectory and motion blur, 2015 IEEE international symposium on safety, security and rescue robotics (SSRR), 18–20 October 2015, West Lafayete, IN, USA. DOI: 10.1109/SSRR.2015.7442948.Mutlu, M., Melo, K., Vespignani, M., Bernardino, A., Ijspeert, A.J., Where to place cameras on a Snake robot: Focus on camera trajectory and motion blur, 2015 IEEE international symposium on safety, security and rescue robotics (SSRR), 18–20 October 2015, West Lafayete, IN, USA. DOI: 10.1109/SSRR.2015.7442948.Меркулов В.И., Садовский П.А. Оценивание дальности и ее производных в двухпозиционной пассивной радиолокационной системе // Труды СПИИРАН. 2018. №1 (56). С. 122–143. DOI: 10.15622/sp.56.6.Меркулов В.И., Садовский П.А. Оценивание дальности и ее производных в двухпозиционной пассивной радиолокационной системе // Труды СПИИРАН. 2018. №1 (56). С. 122–143. DOI: 10.15622/sp.56.6.Кузьмин С.З. Основы теории цифровой обработки радиолокационной информации. М.: Советское радио, 1974. 432 с.Кузьмин С.З. Основы теории цифровой обработки радиолокационной информации. М.: Советское радио, 1974. 432 с.Баранов П.С., Манцветов А.А. Оптимизация отношения радиуса кружка рассеяния объектива к размеру пиксела для повышения точности оценки координат изображений малоразмерных объектов // Известия высших учебных заведений России. Радиоэлектроника. 2016. №2. С. 49–53.Баранов П.С., Манцветов А.А. Оптимизация отношения радиуса кружка рассеяния объектива к размеру пиксела для повышения точности оценки координат изображений малоразмерных объектов // Известия высших учебных заведений России. Радиоэлектроника. 2016. №2. С. 49–53.Сивухин Д.В. Общий курс физики. Том IV. Оптика. М.: Физматлит, 2005. 792 с.Сивухин Д.В. Общий курс физики. Том IV. Оптика. М.: Физматлит, 2005. 792 с.Ежов О.М. Сравнительный анализ алгоритмов обнаружения звезд для приборов ориентации с матрицами ПЗС // Оптический журнал. 1998. №8. С. 56–60.Ежов О.М. Сравнительный анализ алгоритмов обнаружения звезд для приборов ориентации с матрицами ПЗС // Оптический журнал. 1998. №8. С. 56–60.Аванесов Г.А., Кондратьева Т.В., Никитин А.В. Исследование смещения энергетического центра изображений звезд относительно геометрического центра на ПЗС-матрице и коррекция методической ошибки // Механика, управление и информатика (см. в книгах). 2009. №1. С. 421–446.Аванесов Г.А., Кондратьева Т.В., Никитин А.В. Исследование смещения энергетического центра изображений звезд относительно геометрического центра на ПЗС-матрице и коррекция методической ошибки // Механика, управление и информатика (см. в книгах). 2009. №1. С. 421–446.Василюк Н.Н. Электронная коррекция смаза в сканирующей оптико-электронной системе // Электромагнитные волны и электронные системы. 2009. Т. 14. № 12. С. 41–48.Василюк Н.Н. Электронная коррекция смаза в сканирующей оптико-электронной системе // Электромагнитные волны и электронные системы. 2009. Т. 14. № 12. С. 41–48.

The authors declare that there are no conflicts of interest present.