Как найти ключевые точки

Как мы искали самый точный метод детектирования ключевых точек

Для автономного транспорта важно решить задачу автономной навигации. Один из методов автономной навигации – это SLAM (simultaneous localization and mapping), который в зависимости от типа используемых сенсоров бывает: визуальным, визуально-инерциальным, лидарным, радарным, RGBD и др.

Сегодня особый научный и практический интерес представляют методы визуально-инерциального SLAM (viSLAM) [1, 2], которые делятся на прямые и непрямые. Для непрямых методов viSLAM принципиально важна точность триангуляции трехмерных координат точек [3], а она в свою очередь зависит от точности работы детекторов ключевых точек [4].

Мы провели сравнительный анализ точности наиболее перспективных методов детектирования ключевых точек, как «эвристических» (hand-crafted), так и обучаемых. О наших экспериментах и их результатах расскажем ниже.

Наш подход

Для определения точности выделения ключевых точек мы провели оценку медианных расстояний между точками и соответствующими им эпиполярными линиями для пар изображений с известной взаимной ориентацией.

Чтобы получить такую оценку, мы выполнили следующие шаги:

1) Взяли пары изображений для одной из последовательностей датасета «4-seasons», устранили дисторсию [5]. Выбор данной последовательности был обусловлен желанием протестировать алгоритмы выделения ключевых точек в условиях, приближенных к реальным условиям работы наземного беспилотного транспорта.

2) Взяли соответствующие этим парам изображений значения GT-ориентации (ground-truth).

3) По данным GT-ориентации восстановили фундаментальную матрицу для каждой пары изображений:

где:

K – матрица внутренних параметров камеры:

[t]_× – кососимметричная матрица, получаемая из вектора смещения t = [x, y, z]:

R – матрица поворота;

* – символ матричного перемножения.

def fund(T_cam_cam, mtx):
  shift = T_cam_cam[0:3, 3]
  skew = np.array([[0, -shift[2], shift[1]],[shift[2], 0, -shift[0]],[-shift[1], shift[0], 0]])
  ess = np.dot(skew, T_cam_cam[0:3, 0:3])
  fund = np.dot(np.dot(np.linalg.inv(np.transpose(mtx)),ess),np.linalg.inv(mtx))
  return fund

4) Для каждого из исследуемых методов детектирования ключевых точек выделили точки и вычислили их дескрипторы, где это возможно.

5) Сопоставили выделенные точки для каждой пары изображений.

6) Отфильтровали ложно-отождествленные сопоставления точек при помощи теста Лёва.

def ratio_test(matches, ratio_index):
  good = []
  good_ind0 = []
  good_ind1 = []
  
  for m,n in matches:
    if m.distance < ratio_index*n.distance:
        good.append([m])
        good_ind0.append(m.queryIdx)
        good_ind1.append(m.trainIdx)
  return good, good_ind0, good_ind1

7) Для прошедших фильтр пар точек выполнили two-view refinement [6], чтобы оценить его влияние на точность выделения точек.

Для отфильтрованных точек рассчитали эпиполярные линии при помощи фундаментальной матрицы из шага 3.

9) Для прошедших фильтр и уточненных сопоставлений рассчитали целевые метрики – расстояния от точки до ее эпиполярной линии:

где:

def dist_measure(kp, epi_line):
  dist = np.multiply(kp, epi_line)
  dist = np.sum(dist, axis=1, keepdims=True)
  dist = dist/np.linalg.norm(epi_line[:,:2], axis=1, keepdims=True)
  dist = np.abs(dist)
  return dist

10) Для каждого рассмотренного метода детектирования ключевых точек оценили медианное и среднее расстояния от точек до эпиполярных линий – по всем ключевым точкам для всех пар изображений выборки.

Описание экспериментов

Мы выбрали для исследования следующие методы детектирования ключевых точек, признанные как наиболее точные и перспективные на основе анализа работ [7, 8, 9, 10]:

Строго говоря, RLOF не является методом детектирования. Но мы включили его в эксперимент, поскольку этот метод должен с субпиксельной точностью предсказывать для второго изображения положение ключевых точек, выделенных на первом изображении. Выделение ключевых точек на первом изображении выполнили методом SIFT с детектором DOG (difference of Gaussian).

Также отметим, что ORB не входит в число высокоточных методов, на которых мы фокусировались в нашем эксперименте, зато характеризуется высокой скоростью работы. И хотя мы понимали, что ORB должен проигрывать остальным рассмотренным методам по точности, мы все же включили его в эксперимент, поскольку хотели оценить, насколько именно он проиграет.

Для каждого из выбранных методов было проведено по 2 эксперимента:

1) Эксперимент с серией пар изображений с малым межкадровым смещением

Серия содержала 39 изображений, из которых мы сформировали 38 пар. Пары образованы только из соседних изображений, последовательно полученных в процессе съемки, в результате чего смещение между двумя изображениями в паре во всех случаях оказывалось минимальным и составило в среднем примерно 1.6 метра. Пример пары последовательных изображений с малым смещением представлен ниже:

2) Эксперимент серией пар изображений с большим межкадровым смещением

Мы получили данную серию, создав пары из 39 изображений первоначальной серии таким образом, чтобы межкадровое смещение между двумя изображениями вновь образованных пар составляло порядка 20 метров. Для этого мы формировали пары, пропуская каждые 11 изображений первоначальной серии, то есть создали пары из изображений: №0 – №12, №1 – №13, №2 – №14 и т.д. В результате был получен набор из 27 пар изображений. Пример пары последовательных изображений с большим смещением представлен ниже:

Для визуальной оценки распределения ключевых точек мы вывели на изображениях детектированные точки и соответствующие им эпиполярные линии. Ниже представлен пример такой визуализации для всех рассмотренных методов, примененных к паре изображений с большим межкадровым смещением.

Результаты

1) Результаты для серии пар изображений с малым межкадровым смещением:

В этом эксперименте были получены следующие значения расстояний от точек до эпиполярных линий:

Для серии пар изображений с малым смещением метод SIFT показал максимальную точность идентификации ключевых точек, то есть минимальное медианное расстояние от точек до эпиполярных линий.

Также хорошие показатели медианного расстояния дали RLOF и ALIKE. При этом RLOF характеризуется наличием существенных выбросов и худшим среди всех исследованных методов показателем среднего расстояния от точек до эпиполярных линий.

Заметим, что только SIFT и RLOF позволили достичь субпиксельной точности на малой стереобазе.

ORB в данном эксперименте дал худший результат, с почти двукратным превышением медианного расстояния от точек до эпиполярных линий относительно соответствующего показателя лидирующего метода SIFT.

Стоит отметить, что для серии пар изображений с малым смещением two-view refinement не дал положительного эффекта ни для одного из исследованных методов идентификации ключевых точек. Это касается даже метода SIFT, использовавшегося при обучении модели two-view refinement в [6].

2) Результаты для серии пар изображений с большим межкадровым смещением:

По итогам нашего второго эксперимента были получены следующие значения расстояний от точек до эпиполярных линий:

Для серии пар изображений с большим смещением максимальную точность идентификации ключевых точек, то есть минимальное медианное расстояние от точек до эпиполярных линий, дал r2d2. Второе место занял Superpoint.

SIFT, показавший лучший результат в первом эксперименте, оказался лишь третьим для изображений с большим смещением. Его медианное расстояние от точек до эпиполярных линий – в 1.6 раза выше, чему у лидирующего в этом эксперименте метода r2d2.

ALIKE и RLOF, давшие хорошую точность для изображений с малым межкадровым смещением, во втором эксперименте продемонстрировали слабый результат. Их медианные расстояния от точек до эпиполярных линий оказались многократно выше, чем у метода r2d2: в 3 раза выше у ALIKE и в 8 раз – у RLOF, что ожидаемо для любого из методов оптического потока при большой стереобазе.

ORB снова показал самую низкую точность: его медианное расстояние от точек до эпиполярных линий оказалось в 15 раз выше, чем у r2d2.

Отметим, что в эксперименте с серией изображений с большой стереобазой two-view refinement дал некоторое улучшение точности идентификации пар ключевых точек только для метода Superpoint. Для остальных методов two-view refinement оказался неэффективен, хуже всего отразившись на показателях метода r2d2.

Выводы

По результатам наших экспериментов рекомендуем для максимизации точности в отсутствие ограничений на время обработки данных (например, для оффлайн построения карт для беспилотного транспорта, реконструкции 3D-сцен методом SFM) использовать:

• метод SIFT для данных с малым межкадровым смещением;

• метод r2d2 для данных с большим межкадровым смещением.

Источники:

[1] Cheng J et al (2022) A review of visual SLAM methods for autonomous driving vehicles. https://www.sciencedirect.com/science/article/abs/pii/S0952197622001853

[2] Bala JA, Adeshina SA, Aibinu AM (2022) Advances in Visual Simultaneous Localisation and Mapping Techniques for Autonomous Vehicles: A Review. https://pubmed.ncbi.nlm.nih.gov/36433549/

[3] Herrera DC et al (2014) DT-SLAM: Deferred Triangulation for Robust SLAM. https://www.kihwan23.com/papers/3DV14/dtslam_3dv14.pdf

[4] Murphy TC (2022) Examining the Effects of Key Point Detector and Descriptors on 3D Visual SLAM. https://etd.ohiolink.edu/apexprod/rws_etd/send_file/send?accession=ouhonors1461320700&disposition=inline

[5] Wenzel P et al (2020) A Cross-Season Dataset for Multi-Weather SLAM in Autonomous Driving. https://arxiv.org/abs/2009.06364

[6] Dusmanu M,  Schönberger JL, Pollefeys M (2020) Multi-View Optimization of Local Feature Geometry. https://arxiv.org/abs/2003.08348

[7] Revaud J et al (2019) R2D2: Repeatable and Reliable Detector and Descriptor. https://arxiv.org/pdf/1906.06195.pdf

[8] Bojanic D et al (2020) On the Comparison of Classic and Deep Keypoint Detector and Descriptor Methods. https://arxiv.org/pdf/2007.10000.pdf

[9] Zhao X et al (2022) ALIKE: Accurate and Lightweight Keypoint Detection and Descriptor Extraction. https://arxiv.org/pdf/2112.02906.pdf

[10] Senst T, Eiselein V, Sikora T (2012) Robust Local Optical Flow for Feature Tracking. http://elvera.nue.tu-berlin.de/files/1349Senst2012.pdf

В статье обосновывается важность и актуальность исследований в области искусственного интеллекта применительно к направлению компьютерного зрения, обосновывается необходимость исследований такой области компьютерного зрения, как выделение и анализ контуров на изображениях и нахождение особых точек. Проанализированы три метода предобработки и три подхода к нахождению особых точек, основанных на выделении и анализе контуров методом визуального сравнения, выбран наилучший метод нахождения особых точек. Выбор метода предобработки и нахождения особых точек на контуре обоснован экспериментальной проверкой. Эксперимент проводился на изображении аэрофотосъемки.

Ключевые слова: искусственный интеллект, компьютерное зрение, детектор контуров, ключевые точки

Одним из приоритетных направлений исследования в области искусственного интеллекта можно назвать компьютерное зрение [1, 2, 3, 4, 5, 6]. Исследование методов компьютерного зрения является актуальным, поскольку для эффективного выполнения задач роботами и другими автоматическими системами необходимо получать информацию об их окружении [3, 4]. Одним из факторов влияния на проблему искусственного интеллекта можно назвать разработку алгоритмов выделения контуров на изображении и их дальнейший анализ [7, 8, 9, 10]. Важная задача анализа контуров является их сопоставление [11] с целью нахождения объектов на изображении, а также сравнения изображений, например, для целей навигации беспилотных летательных аппаратов [2, 7, 9]. Одним из методов сравнения контуров является их сопоставление по ключевым точкам [12]. Существует ряд различных методов нахождения ключевых точек на плоскостных кривых, некоторые из которых будут рассмотрены в данной статье, а также будет произведен их сравнительный анализ.

В первой части статьи рассмотрен алгоритм поиска ключевых точек, а также теоретические основы трех методов предобработки изображений и выделения ключевых точек, а во второй части будут приведены результаты экспериментов по исследованию качества определения ключевых точек. Для целей оценки использовалось визуальное сравнение ключевых точек, выделенных разными методами.

Алгоритм нахождения ключевых точек.

Шаг 1. Выполняется предобработка изображения, цель которой подавить шумы и удалить незначащую информацию (мелкие делатели, например, движущиеся по дороге автомобили).

Шаг 2. Выполняется выделение контуров методом, предложенным в [9, 13].

Шаг 3. Производится анализ полученного контурного изображения, в результате которого запоминаются координаты всех белых точек и сортируются в виде цепочек рядом стоящих точек, образующих линию контура.

Шаг 4. Клиниям контура, которые теперь описаны в виде цепочек декартовых координат, применяется один из трех методов нахождения ключевых точек:

− Экстремумы расстояний точек кривой от ее центроида;

− Резкие перепады кривизны кривой;

− Аппроксимация кривой ломаной линией на основе метода наименьших квадратов.

Более подробно данные алгоритмы будут описаны в главе «Подходы к нахождению ключевых точек».

Обоснование выбора метода предобработки изображений.

В качестве метода предобработки рассмотрены три варианта:

− Размытие фильтром Гаусса.

− Медианная фильтрация.

− Сигма-фильтрация.

Размытие фильтром Гаусса состоит в свертке изображения с ядром фильтра, которое вычисляется по формуле:

(1)

где x, y координаты точки в ядре фильтре (маске), – среднеквадратичное отклонение [4, 5]. Недостатком данной предобработки является тот факт, что мелкие детали из изображения не удаляются, они просто превращаются в пятна (рис. 1).

Рис. 1. Эффект применения фильтра Гаусса

В отличии от размытия изображения Гаусс фильтром, медианная фильтрация не дает эффект расфокусировки, хотя в некоторых случаях слегка размывает границы. Кроме того, медианная фильтрация способна удалять из изображения мелкие незначимые детали, а также шум «соль и перец» и импульсные шумы (рис. 2).

Математически медианную фильтрацию можно выразить формулой:

(2)

где – оператор, выделяющий медиану сигнала, — функция яркости пикселя изображения [5]

Рис. 2. Эффект применения медианной фильтрации

Рис. 3. Эффект применения сигма-фильтрации

Идея сигма фильтрации состоит в том, что в большинстве случаев функция яркости пикселей соответствует нормальному распределению, следовательно, можно отбросить те пиксели, вероятность появления которых низка, заменив их наиболее вероятными значениями.

Сигма фильтрация выполняется следующим образом: сначала строиться гистограмма распределения яркости пикселей в скользящем окне. По ней находиться наиболее вероятное значение (как точка максимума гистограммы). Далее, по формуле вычисляется среднеквадратичное отклонение:

(3)

где N — количество столбцов в гистограмме, – яркость пикселя, соответствующая столбцу k – гистограммы, M — наиболее вероятное значение яркости [4, 5].

Если яркость рассматриваемого пикселя попадает в диапазон:

(4)

где k — некая эмпирическая константа, обычно принимающая значения от 1 до 3, то данный пиксель остается без изменения, иначе его яркость устанавливается в M [5, 6].

Эффект от применения сигма фильтрации праведен на рис. 3.

Как видно из приведенных иллюстраций, наиболее качественная фильтрация получена при применении медианного фильтра.

Подходы кнахождению ключевых точек.

В данной статье будут рассмотрены перечисленные в главе «Алгоритм нахождения ключевых точек» способы выделения ключевых точек.

Экстремумы расстояний точек кривой от ее центроида. Вкачестве центроида используется центр масс кривой, координаты которого можно вычислить по следующим формулам:

(5)

(6)

где – координата x точки кривой, — координата y точки кривой, n — количество точек кривой.

Расстояние между точкой кривой и центроидом определится из теоремы Пифагора:

(7)

где и координаты точки [5].

Резкие перепады кривизны кривой. Под резкими перепадами кривизны кривой подразумевается изменение кривизны больше заданного порога. Порог определяется эмпирическим путем. Кривизной является угол между векторами, образуемыми при аппроксимации кривой векторами заданной длины (длина векторов в дискретных шагах также определяется эмпирически).

Угол между векторами определятся по формуле:

(8)

где — скалярное произведение векторов и [5].

Аппроксимация кривой ломаной линией на основе метода наименьших квадратов. Идея состоит в том, что мы берем несколько первых точек кривой и проводим через них прямую, найденную методом наименьших квадратов. Считаем отклонение, если оно в пределах заданной нормы, добавляем еще одну точку и перестраиваем прямую. Так повторяем до тех пор, пока расстояние новой точки от прямой не превысит заданный порог. В случае превышение начинаем таким же образом строить новую прямую. И так по всей длине кривой. В итоге кривая будет разбита на ломанную линию, углы которой и есть искомые ключевые точки. Начальное количество точек и порог отклонение определяем эмпирическим путем.

Построение прямой методом наименьших квадратов сводится к решению системы линейных уравнений:

(9)

где i — индекс точки, n — количество точек, и — координаты каждой точки [5, 14].

Результаты экспериментов.

Для проверки качества нахождения ключевых точек по данной методике была разработана компьютерная программа на языке C#, которая выделяет контуры на исходной картинке, затем разбивает полученные контуры на отдельные кривые, представленные в виде списка координат точек кривой и находит на данной кривой ключевые точки тремя перечисленными в теоретической части способами. Исходное изображение приведено на рис. 4.

Контур был выделен методом, предложенным в работах [9, 13]. Образец контура для используемого изображения приведен на рис. 5.

Рис. 4. Исходное изображение

Рис. 5. Образец контура

Эксперименты проводились на наиболее длинной кривой контура, см. рис. 6.

Рис. 6. Часть контура для тестирования алгоритма

Рис. 7. Ключевые точки первого алгоритма

Ключевые точки, которые нашел алгоритм на основе экстремумов расстояний точек кривой от ее центроида показаны на рис. 7.

Ключевые точки, которые нашел алгоритм на основе резких перепадов кривизны кривой показаны на рис. 8. Ключевые точки, которые нашел алгоритм на основе аппроксимации кривой ломаной линией на основе метода наименьших квадратов показаны на рис. 9.

Рис. 8. Ключевые точки второго алгоритма

Рис. 9. Ключевые точки третьего алгоритма

Заключение.

Был проведен сравнительный анализ методов выделения ключевых точек на кривой, полученной путем выделения контура на изображении, полученного на основе метода наименьших квадратов. Были исследованы три метода выделения ключевых точек:

− Метода на основе экстремумов расстояний точек кривой от ее центроида;

− Метод на основе резких перепадов кривизны кривой;

− Метод аппроксимация кривой ломаной линией на основе метода наименьших квадратов.

Наиболее адекватный результат выделения ключевых точек показал метод аппроксимация кривой ломаной линией на основе метода наименьших квадратов. Научная и практическая ценность данного результата заключается в обосновании выбора метода нахождения ключевых точек для целей сравнения изображений, например, изображений аэрофотосъемки при навигации беспилотных летательных аппаратов на основе метода компьютерного зрения.

Возможно дальнейшее исследование данного метода, которое будет заключаться в том, чтобы определить точность навигации беспилотных летательных аппаратов и использованием ключевых точек, найденных методов аппроксимация кривой ломаной линией на основе метода наименьших квадратов и зависимость точности навигации от параметров аппроксимации.

Литература:

1. Holk Cruse, Malte Schilling States as Emergent Properties. Статья в Интернете [Электронный ресурс]. Режим доступа: http://open-mind.net/papers/mental-states-as-emergent-properties-from-walking-to-consciousness# свободный (дата обращения 19.02.2016).
2. Стюарт Рассел, Питер Норвиг, «Искусственный интеллект. Современный подход». Издательство Вильямс, 2016. – 1408 с.: ил.
3. Визильтер Ю. В., Желтов С. Ю. Проблемы технического зрения в современных авиационных системах // Техническое зрение в системах управления мобильными объектами 2010: Труды научно-технической конференции-семинара. Вып. 4 / Под ред. Р. Р. Назирова. — М.: КДУ, 2011. — С. 11–44.
4. Д. Форсайт, Ж. Понс, Компьютерное зрение. Современный подход, Москва, 2004, 465 с.
5. Gonzalez R, Woods R, Digital image processing. Published by Pearson Education Inc, Publishing as Prentice Hall, 2002, p. 1072
6. B. K. P. Horn, Robot Vision, The Mit Press, 1989, 488 p.
7. Canny J. A Computational Approach to Edge Detection // IEEE Transaction on Pattern Analysis and Machine Intelligence. — 1986. — Vol. PAMI-8 № 6 — pp. 679–698.
8. Shuravin A. P, статья «Reviw of image Edge Detection Methods in Computer Vision Problems», «IV Всеросийская научно-техническая конференция аспирантов, магистрантов и молодых ученых с международным участием: «Молодые ученые — ускорению научно-технического прогресса в XXI-ом веке», Ижевск, 20–21 апреля 2016 года, Сборник материалов конференции, стр. 1020–1024.
9. Архипов И. О., Мурынов А. И., Юферев Д. А. Построение контуров структурных элементов графического изображения на основе метода наименьших квадратов // Вестник ИжГТУ им. М. Т. Калашникова. — 2015. — № 4(68). — С. 60–64.
10. Сакович И. О., Белов Ю. С. Обзор основных методов контурного анализа для выделения контуров движущихся объектов. Инженерный журнал: наука и инновации, 2014, вып. 12. URL: http://engjournal.ru/catalog/it/hidden/1280.html.
11. Максимов А. Н., Еланцев М. О., Архипов И. О., Широков В. А. Сопоставление характерных точек на последовательных кадрах в задачах аэронавигации по зрительным образам // Молодые ученые — ускорению научно-технического прогресса в XXI веке сборник материалов IV Всероссийской научно-технической конференции аспирантов, магистрантов и молодых ученых с международным участием. — Ижевск: ИННОВА, 2016. — С. 428–432.
12. Архипов И. О., Еланцев М. О. Методика определения координат летательного аппарата по зрительным образам // Интеллектуальные системы в производстве. — 2016. — № 4(31). — С. 4–7.
13. Архипов И. О., Еланцев М. О. Двунаправленный алгоритм обхода контурного препарата // Вестник ИжГТУ им. М. Т. Калашникова. — 2016. — № 2(70). — С. 107–109.
14. Орлов А. И. Восстановление зависимости методом наименьших квадратов на основе непараметрической модели с периодической составляющей // Научный журнал КубГАУ. — 2013. — № 91(07). — С. 1–30.

Часто при планировании и ведении большого количества проектов руководителям компаний и подразделений приходится глубоко погружаться в процессы, изучать множество отчетов, контролировать выполнение отдельных работ. Управление бизнесом при таком подходе отнимает много времени и сил.

Но есть инструмент, применяя который руководители концентрируются на контроле и своевременном достижении ключевых результатов проектов, а не на всех процессах — это метод контрольных точек.

Что такое контрольные точки и как с ними работать

Контрольная точка (КТ) — это конкретный результат проекта, который должен быть достигнут в установленный срок и который легко проверить. Это очень простая система, понятная не только экспертам. Метод КТ не требует особых ресурсов и навыков, внедряется быстро. По мере развития бизнеса позволяет перейти к более детальному планированию.

КТ фиксирует срок получения результата, ответственного – кто отвечает за его получение и приемщика, который подтвердит, что результат соответствует требованиям.

Результат контрольной точки лучше сформулировать в виде завершенного действия, которое однозначно определяет результат. Например, не «Тестирование продукта», а «Тестирование продукта завершено». В таком случае исполнитель концентрируется не на процессе, а именно на получении конкретного результата.

При использовании метода КТ отчетность для руководителя прозрачна и не требует излишнего погружения. Весь фокус здесь направлен на результат. Отклонения по срокам сигнализируют о рисках, предупреждая проблемы на других уровнях. Приемкой занимается квалифицированный специалист или заказчик. Такой подход исключает излишнее вмешательство в работу и гарантирует четкое понимание результатов проекта.

Метод КТ позволяет:

При использования метода КТ важно зафиксировать то, как будет измеряться результат. Для этого нужны документы, инструменты и показатели. На их основе будут приниматься результаты и дальнейшие решения.

Сколько уровней КТ нужно бизнесу?

Количество уровней КТ зависит от зрелости компании и от масштабности проекта. В начальной стадии перехода на метод КТ достаточно двух уровней: КТ в Уставе проекта и базовом плане. А дальше можно переходить к детализации, когда КТ устанавливается для небольшой группы до 5 человек. И срок между промежуточными результатами не превышает 2 недели.

Какими бывают контрольные точки?

Поскольку результаты бывают разными по значимости (от согласования рабочего документа до заключения многомиллионного контракта), то и КТ принято делить на уровни в зависимости от важности результата:

Уровень 0. Вехи проекта

Результат критически важен для проекта. Например, подписание договора с крупным поставщиком или аналитика рынка. Контроль таких результатов выполняет сотрудник высокого уровня (топ-менеджер) или специальное подразделение (Проектный офис). При достижении вехи выносится вопрос о продолжении или остановке проекта.

Уровень 1. Критические контрольные точки

Промежуточные результаты, критически важные для заказчика проекта. Это может быть принятие решений по разработкам, выбору подрядчиков, приемке прототипов. Контроль тоже происходит на высоком уровне, приемку производит заказчик. Отклонение сроков рассматривает первое лицо или специальный орган – Проектный комитет.

Уровень 2. Ключевые контрольные точки

Далее идут промежуточные итоги, необходимые для получения критических результатов. К примеру, финал тендерных процедур, окончание основного блока работ, дизайн выборочных макетов.

КТ второго уровня фиксируются с помощью базового плана работ. Это рабочий документ руководителя проекта. Отклонения на втором уровне сигнализируют о рисках отклонения КТ более высокого уровня.

Уровень 3. Оперативные контрольные точки

Далее идут оперативные результаты. Их определяет руководитель проекта (РП) в рамках ежедневных и еженедельных планов – окончание разработки какого-либо инструмента, согласование версии плана или документа, стадии внедрения определенного механизма. В крупных проектах КТ третьего уровня помогают РП сконцентрироваться на управлении результатами и существенно экономить время.

В зависимости от масштаба проекта, размера команды можно создавать необходимое количество уровней КТ.

Общее представление планирования контрольных точек выглядит так:

Выделение уровней помогает руководству сфокусироваться на достижении действительно значимого для него результата и не уходить с головой в детали. Для тех, кто непосредственно выполняет работы, такое разделение дает определенную свободу действий, освобождая от контроля каждого шага до момента сдачи плановых результатов.

На каждом уровне контрольные точки должны быть утверждены документами. Важно, чтобы с документом были согласны все участники проекта: руководители и исполнители. Доступ к нему должны иметь все заинтересованные стороны. Пересмотр контрольных точек выполняет тот же орган, который их утвердил.

На верхнем уровне такими документам становится Устав или приказ, который утверждает топ-менеджер. На нижнем хватит просто файлов в Excel или Word или даже цветных стикеров на доске.

Пошаговая инструкция для внедрения метода КТ

ШАГ 1. Определите конкретные результаты, которых нужно достичь в определенный срок. Он должен быть важен и обоснован.

ШАГ 2. Согласуйте срок с исполнителями, определите их ответственность за подготовку результатов именно к этому сроку. Избегайте двояких формулировок. Конкретная дата, один ответственный, один измеримый результат.

ШАГ 3. Назначьте приемщика, который подтвердит получение результата и его соответствие качеству, что результат можно применять для целей проекта.

ШАГ 4. Выберите контролера, который будет курировать достижение КТ и предупреждать риски.

Резюмируем: метод КТ дает возможность верхнеуровневого контроля важных промежуточных результатов проекта. При достижении контрольных точек идет сравнение плана и факта показателей, актуализация информации. Это позволяет руководителям получать реальную информацию о выполнении работ без погружения в детали.

Метод контрольных точек применяется многими компаниями, достоверно показывает, как движется проект и где могут быть заминки. Компаний, успешно применяющих метод КТ уже сотни, в том числе X5 Retail Group, Вертолеты России, Увелка, Фармтек и другие.

От момента знакомства с компанией до принятия решения о покупке клиент проходит определенный путь. Он состоит из различных точек касания, образующих запутанный лабиринт взаимодействия. С помощью таких контактов нужно организовать максимально эффективную систему, которая позволит увеличить конверсию и вовлеченность в интернет-магазине. Как это сделать, расскажем в статье.

Что такое точка контакта и как она влияет на эффективность бизнеса?

Раньше путь покупателя состоял буквально из нескольких кликов. Сейчас ситуация изменилась: маршрут стал гораздо сложнее и шире. Одно неправильное действие заводит в тупик. Не найдя нужную информацию, клиент уходит к конкурентам. Поэтому очень важно выстроить правильную схему взаимоотношений, привлекать внимание, инициировать контакты, регулярно совершенствовать цепочку звеньев.

Точки контакта – зоны соприкосновения аудитории с фирмой или ее сотрудниками. Маркетологи называют их моментами истины. Это могут быть любые ситуации, интерфейсы, места и процессы, в которых клиент каким-то образом взаимодействует с интернет-магазином. Визитка, сайт, рекламное объявление, телефонный звонок – подобных точек огромное множество. Главная задача предпринимателя – выделить и проработать самые важные.

В точках касания клиенты принимают серьезные решения:

• начинают сотрудничество с компанией;
• совершают первую или повторную покупку;
• рекомендуют сайт друзьям и знакомым;
• уходят и переключаются на конкурентов.

В одной из зон взаимодействия магазин может получить или потерять потенциального клиента, подтвердить хорошую репутацию, укрепить отношения или разочаровать аудиторию. Все зависит от того, насколько проработана точка, дает ли она сильный эмоциональный отклик, который побуждает к покупке и запускает эффект сарафанного радио.

Данная сфера маркетинга предусматривает несколько ключевых принципов:

1. У каждого интернет-магазина должно присутствовать более одного контакта с посетителями. Они бывают уникальными и универсальными. Как минимум, это точки взаимодействия с бизнесом, продуктом, услугой, сотрудниками. Сюда можно отнести даже голос автоответчика на телефонной линии.
2. Различные мелкие контакты образуют обширные взаимодополняющие цепочки.
3. Зонами касания нужно правильно управлять: заниматься системным планированием, улучшать, контролировать исполнение.

Разновидности инструмента

Каждая крупная зона касания включает многочисленные мелкие точки. К примеру, на сайте это страница контактов, раздел FAQ, адрес, доменная зона, фавикон (иконка, расположенная рядом с названием ресурса в строке браузера). Коммерческое предложение раскладывается на обращение, компоновку, визуализацию, систему скидок, контакты.

В целом можно выделить еще массу разновидностей контактов. Для удобства их разбивают на отдельные группы, присваивая позициям определенную степень важности. В общей условной классификации выделяют такие точки:

1. Положительные, нейтральные и отрицательные – в зависимости от реакции покупателя (понравилось, не заметил, разочаровался).
2. Однократные и повторяющиеся. К однократным можно отнести ограниченные по времени коммерческие предложения, к многократным – сайт, сообщества фирмы в социальных сетях.
3. Краткосрочные и долгосрочные. На одни клиент тратит несколько секунд, другие – долго изучает. Примеры краткосрочной точки – баннер, визитка, упаковка товара; долгосрочной – сайт компании, процесс эксплуатации продукта, видеопрезентация новинки. Первые запоминаются и вызывают интерес, вторые – функциональны, полезны, эффективны, дают долгоиграющий эффект.

Обычно покупатель идет по цепочке контактов равномерно: видит баннер, переходит на сайт, заказывает обратный звонок, разговаривает с менеджером.

Перечислим ключевые точки для онлайн-ритейлеров:

• сайт. Страницы, контент, формы обратной связи, онлайн-консультант, чат-бот, контакты, комментарии, товарные рекомендации, блог, отзывы, партнерская программа, кейсы, истории успеха;
• реклама и PR. Баннеры, контекстная реклама, поисковая выдача, email-рассылка, коммерческие предложения на сторонних площадках;
• социальные сети. Сообщества, страницы, посты, общение в комментариях и личной переписке, гостевые публикации;
• коммуникация с клиентами. Электронная почта, телефония, мессенджеры;
• печатные и электронные материалы. Флаеры, каталоги, буклеты, вывески, визитки, прайс-листы;
• сотрудники компании. Приветственные слова, голос, коммуникабельность, трансляция ключевых ценностей, вовлеченность;
• продукт. Название, дизайн, упаковка, цена, инструкция, гарантии.

Онлайновые точки могут продолжаться в офлайне. Это происходит во время доставки, встречи с курьером, оказания услуги, выставок, демонстраций и прочих мероприятий для большой аудитории.

Правила для точек контакта 

Список возможных касаний не ограничивается рассмотренными пунктами. Можно найти еще большое количество способов взаимодействия с аудиторией. Но основная цель – определить наиболее эффективные варианты для конкретного бизнеса и направить усилия на их развитие.

Как определить свои точки контакта?

После каждого контакта с компанией у клиента должны оставаться приятные впечатления. Причем неважно, в каком месте было касание: при просмотре рекламы, в телефонном разговоре с менеджером, при посещении сайта или офиса.

Дойдет ли клиент до финального звена цепочки, зависит от правильности выбора контактов. Для определения своих точек используют один из следующих способов:

1. Смотрят на ситуацию с точки зрения покупателя, проходя весь пользовательский путь к покупке. Маршрут может отличаться в зависимости от канала, через который потенциальный клиент приходит в компанию. Нужно проанализировать разные варианты пути и найти в них главные факторы.
2. Тестируют на себе роль клиента основных соперников в нише. В процессе легко подметить и перенять полезные фишки, интересные методы и ходы.
3. Анализируют собственную воронку продаж. Каждый этап воронки предусматривает определенный вид взаимодействия с потребителем.

Список выбранных точек касания лучше оформлять в графическом виде. Наглядные схемы и интеллект-карты позволят детализировать контакты. Детальная проработка не нужна только тем магазинам, которые продают уникальный продукт и практически не имеют конкурентов на рынке. Однако такая ситуация встречается довольно редко. У большинства компаний есть множество соперников, а на каждый товар приходятся десятки аналогов.

Под детализацией подразумевают «раскладывание» крупного формата. К примеру, презентация состоит из целого набора точек, в который входят сам продукт, технологии и форма донесения, демонстрация товара.

Прорабатывая точку, необходимо определить степень ее важности с учетом:

• размера организации;
• количества конкурирующих фирм;
• уровня лояльности покупателей;
• текущих позиций на рынке.

Схема созревания клиента к совершению покупки 

Небольшому розничному интернет-магазину, который только начинает работать, стоит сконцентрироваться на начальных этапах касания. Особое внимание при этом желательно уделить сайту, основным каналам коммуникации, поведению менеджеров в процессе телефонных разговоров и общения в онлайн-чате.

Для известных крупных компаний эти стадии уже не так важны: мелкие недостатки обычно перекрываются репутацией, наработанной с годами. Ключевой акцент в средних магазинах делается на удержании существующих клиентов, поскольку это выгоднее, чем вкладывать в привлечение новых. С данной целью задействуют программы лояльности, скидки, особые коммерческие предложения, регулярную email-рассылку.

При выборе точек нужно также ориентироваться на тематику и направленность фирмы. Успешность дальнейшего взаимодействия во многом определяет первый контакт. Вход на ступеньки пользовательского пути может выполняться через поисковую выдачу, рекламу в соцсетях, электронную почту и другие каналы.

Для начала достаточно найти и проработать 10 основных точек.

Алгоритм работы с точками касания:

• определите все вероятные форматы, формы, ситуации и места, где компания может соприкасаться с клиентами по ходу знакомства и последующего сотрудничества;
• отметьте 10 главных зон;
• распределите их в списке по степени важности;
• проанализируйте текущее состояние каждой точки;
• пропишите круг задач, которые помогут улучшить и наладить работу отдельных контактов;
• выделите ресурсы, назначьте сроки и ответственных исполнителей;
• реализуйте намеченные планы;
• оцените состояние мест касаний и отношения с покупателями после внесенных изменений;
• детализируйте точки, разбив каждую из них на более мелкие процессы;
• продолжайте регулярную работу над совершенствованием контактных цепочек.

Пример графика: точки касания с клиентом в салоне красоты 

Оптимизация взаимодействия с клиентами

Состояние каждой точки касания нужно оценивать по разным критериям. Приоритетные критерии выбираются, исходя из места контакта:

• сайт оценивается по наполнению, удобству использования, скорости загрузки, функционалу, адаптивности, наличию обратной связи;
• call-центр – по скорости ответа, стилю общения и компетентности менеджеров, скриптам продаж;
• email-рассылка – по доставляемости и открываемости писем, оригинальности текста и оформления, показателям отказов, коэффициенту конверсии;
• социальные сети – по вовлеченности подписчиков, оперативности ответов на комментарии, полезности постов, регулярности выхода новых публикаций.

Выстраивая цепочки контактов, учитывайте не только интуитивные предположения и общеизвестные факты. Обращайте внимание на то, каким образом покупатель принимает решение купить товар. Обычно этому предшествует несколько этапов.

Возникает потребность

Клиент осознает проблему и пытается найти подходящее решение. К примеру, у него есть трудности с парковкой автомобиля. В процессе поисков он узнает о существовании «умных» автоматических систем парковки.

Клиент ищет детальную информацию

Обнаружив возможное решение проблемы, покупатель не спешит делать заказ. Он переходит к более глубокому изучению вопроса, читает блоги, специализированную литературу для автомобилистов, советуется со знакомыми водителями.

На данном этапе нужно определить, где именно клиент будет искать информацию: через поисковую систему, социальные сети, профильные форумы или сообщества.

Сравнивает предложения

Вооружившись информацией, потребитель рассматривает несколько интернет-магазинов автомобильных аксессуаров, в которых продается интересующий товар. Он сравнивает цены, характеристики, выгоды, уровень обслуживания.

На этом этапе важны положительные впечатления от сайта, оперативная обратная связь, реальные отзывы.

Делает выбор

Ориентируясь на приоритетные для себя критерии, пользователь выбирает один из магазинов и оформляет заказ на систему автопарковки. Чаще всего решающую роль при выборе играют цены, гарантии, скорость доставки, дополнительный сервис.

Оценивает покупку

Далее возможны разные варианты развития событий. Клиент может остаться довольным, обратиться в компанию еще раз и рекомендовать ее друзьям и близким. Если его не удовлетворит качество товара или обслуживания, он оставит негативный отзыв и больше не вернется на сайт.

В случае положительной реакции нужно удерживать потребителя с помощью последующих контактов: серии продающих писем, дисконтной карты, допродажи сопутствующих услуг.

Сформировать правильные цепочки точек и не упустить важные детали по удержанию клиентов можно лишь при условии понимания всех этапов на пути к принятию окончательного решения.

Самые благоприятные точки касания в электронной коммерции:

• подарки и бонусы – за покупку, отзыв, посещение сайта;
• поздравления – с традиционными и профессиональными праздниками, именинами по email, sms, в мессенджерах;
• оповещения – об акциях, распродажах, текущем статусе заказа;
• легкий юмор и общение на языке аудитории.

Заключение

Правильные взаимосвязанные цепочки контактов – один из определяющих факторов в процессе принятия решений для 70% покупателей. Точки касания обеспечивают положительный пользовательский опыт, помогают ускорить и упростить коммуникацию, выработать эффективные персональные предложения.

Благодаря органичным контактным цепочкам клиенты плавно переходят от одного этапа к другому. Простое, беспрепятственное взаимодействие приводит к покупке и на этом не заканчивается. Чтобы создать идеальную систему, налаживайте контакт, пробуйте разные варианты, сравнивайте результат. Компания должна запоминаться и разжигать интерес на каждой ступени пользовательского пути.

Поставьте себя на место клиента, постарайтесь четко представить его маршрут и предугадать вероятные проблемы, возражения, запросы. Исключите слабые звенья, заменив их привлекательными wow-точками, которые будут задействовать спектр нужных эмоций и работать в единой слаженной системе.

Возможно вам также будет интересно:

НАУЧНО-ТЕХНИЧЕСКИИ ВЕСТНИК ИНФОРМАЦИОННЫХ ТЕХНОЛОГИИ, МЕХАНИКИ И ОПТИКИ сентябрь-октябрь 2020 Том 20 № 5 ISSN 2226-1494 http://ntv.ifmo.ru/

SCIENTIFIC AND TECHNICAL JOURNAL OF INFORMATION TECHNOLOGIES, MECHANICS AND OPTICS September-October 2020 Vol. 20 No 5 ISSN 2226-1494 http://ntv.ifmo.ru/en/

ИНФОРМАЦИОННЫХ ТЕХНОЛОГИЙ, МЕХАНИКИ И ОПТИКИ

УДК 528.72 doi: 10.17586/2226-1494-2020-20-5-649-660

МЕТОДИКА И ЧАСТНЫЕ РЕЗУЛЬТАТЫ ИССЛЕДОВАНИЯ КАЧЕСТВА ПОИСКА КЛЮЧЕВЫХ ТОЧЕК ПО МАТЕРИАЛАМ ОПТИКО-ЭЛЕКТРОННОЙ АЭРОСЪЕМКИ А.И. Алтухов^ В.И. Билан% А.Н. Григорьев^ В.В. Поповичь

a Военно-космическая академия имени А.Ф. Можайского, Санкт-Петербург, 197198, Российская Федерация

b Акционерное общество «СПИИРАН-Научно-техническое Бюро Высоких Технологий», Санкт-Петербург, 199178,

Российская Федерация

Адрес для переписки: Grig-AN@ya.ru

Информация о статье

Поступила в редакцию 04.08.20, принята к печати 09.09.20 Язык статьи — русский

Ссылка для цитирования: Алтухов А.И., Билан В.И., Григорьев А.Н., Попович В.В. Методика и частные результаты исследования качества поиска ключевых точек по материалам оптико-электронной аэросъемки // Научно-технический вестник информационных технологий, механики и оптики. 2020. Т. 20. № 5. С. 649-660. doi: 10.17586/2226-1494-2020-20-5-649-660

Аннотация

Предмет исследования. Представлены результаты исследования метода поиска ключевых точек, выполненного на примере метода Scale-Invariant Feature Transform, для использования при решении задач фотограмметрической обработки снимков местности, получаемых с воздушных и космических носителей. Метод. Выбранный метод широко используется для решения задач пространственной привязки изображений, отслеживания изменений и поиска объектов, построения цифровых моделей и ортофотопланов местности. Актуальность анализа метода обусловлена тем, что он изначально разрабатывался как универсальный метод для обработки изображений в области технического зрения. Существующие модификации рассматриваемого метода, специализированные под обработку снимков местности, применяются на практике ограниченно и исследованы без полного учета свойств изображений. В существующих исследованиях не учтено влияние изображенного сюжета на качество поиска ключевых точек, который в общем случае характеризуется случайным сочетанием изображений объектов местности. Предполагается, что особенности сюжета на изображении местности при использовании метода поиска ключевых точек могут обуславливать существенные вариации в распределении выбираемых точек по изображению отдельного снимка. Для определения зависимости качества поиска ключевых точек от изображенного сюжета необходима разработка методики, основанной на анализе особенностей реализации метода и использовании набора эталонных изображений с разным сюжетным составом. В результате анализа содержания данного метода определены критерии и параметры отбраковки определяемых ключевых точек. В основе подхода к анализу влияния сюжета изображения на качество ключевых точек предложено использовать набор снимков, классифицированных по особенностям сюжетов на однородные и неоднородные изображения. Согласно предложенной методике, анализ выполняется на основе статистического и пространственного распределений ключевых точек, полученных по отдельным изображениям и их совокупностям. Основные результаты. Предложена методика исследования зависимости качества результата поиска ключевых точек от сюжета на изображении. В результате выполнения эксперимента выявлены факторы, вызывающие нарушение равномерности пространственного распределения ключевых точек при использовании стандартного критерия отбраковки ключевых точек. Практическая значимость. Полученные результаты позволяют, с одной стороны, обосновать необходимость разработки сюжетно-ориентированного подхода к обработке снимков местности с использованием методов поиска ключевых точек в силу того, что для выполнения и уточнения пространственной привязки изображений требуется обеспечивать равномерность расположения ключевых точек, используемых в качестве опорных или связующих точек. С другой стороны, выявлено, что нарушение плотности расположения ключевых точек может определяться неравномерным качеством изображения по полю кадра. Такое явление связано, в частности, с разной резкостью изображения в центральной и периферийной зонах. Ключевые слова

ключевые точки, оптико-электронная съемка, сюжетно-ориентированный подход, изображение, критерий отбраковки, статистическое и пространственное распределение

doi: 10.17586/2226-1494-2020-20-5-649-660

SEARCH QUALITY METHODOLOGY AND PARTICULAR FINDINGS FOR KEY POINTS BASED ON MATERIALS OF OPTICAL-ELECTRONIC AERIAL SURVEY A.I. Altukhova, V.I. Bilana, A.N. Grigor’eva, V.V. Popovichb

a Mozhaisky Military Space Academy, Saint Petersburg, 197198, Russian Federation b SPIIRAS Hi Tech Research and Development Office Ltd, Saint Petersburg, 199178, Russian Federation Corresponding author: Grig-AN@ya.ru Article info

Received 04.08.20, accepted 09.09.20 Article in Russian

For citation: Altukhov A.I., Bilan V.I., Grigor’ev A.N., Popovich V.V. Search quality methodology and particular findings for key points based on materials of optical-electronic aerial survey. Scientific and Technical Journal of Information Technologies, Mechanics and Optics, 2020, vol. 20, no. 5, pp. 649-660 (in Russian). doi: 10.17586/2226-1494-2020-20-5-649-660

Abstract

Subject of Research. This paper presents the findings of the Scale-Invariant Feature Transform method for key points search. The method is used for the problems of photogrammetric processing of terrain images obtained from aircrafts and satellites. Method. The chosen method is widely used for spatial linking of images, tracking of changes and searching for objects, building of digital models and terrain orthophotoplans. The relevance of the Scale-Invariant Feature Transform method analysis lies in the fact that it was originally developed as a universal method for image processing in the field of technical vision. The existing modifications of this method, specialized for processing of terrain images, are applied in practice to a limited extent and have been studied without complete account of the image properties. In particular, the existing studies do not take into account the effect of the depicted plot on the key points search quality, which, in the general case, is characterized by a random combination of terrain objects. It is assumed that the plot features on the terrain image can cause significant variations in the distribution of the selected points in the image of a separate exposure when applying of the key points search method. To determine the dependence of the search quality for key points on the depicted plot, it is necessary to develop a methodology based on the features analysis of the Scale-Invariant Feature Transform method implementation and the use of a reference image set with various plot composition. As a content analysis result of the Scale-Invariant Feature Transform method, the criteria and rejection parameters of the determined key points are defined. The approach to the analysis of the image plot effect on the key points quality is based on the set of images classified by the characteristics of the plots on homogeneous and heterogeneous images. According to the proposed technique, the analysis is performed on the basis of the statistical and spatial distributions of key points obtained from individual images and their aggregates. Main Results. The research proposes a methodology for the dependence of the quality of the key points search result on the plot in the image. As a result of the experiment, factors are identified that cause a uniformity violation of the key points spatial distribution with the standard criterion for rejection of the key points. Practical Relevance. The results obtained make it possible to substantiate the need for development of a plot-oriented approach to terrain image processing by the key point search methods. The reason is that in order to perform and refine the spatial image linking, it is required to ensure the location uniformity of the key points used as control or joining points. It is revealed that the location density violation of the key points can be determined by the uneven image quality over the frame field. This phenomenon is associated, in particular, with different image sharpness in the central and peripheral zones. Keywords

key points, optoelectronic photography, plot-oriented approach, image, rejection criterion, statistical and spatial distribution

Введение

Современные успехи в области прикладного использования аэросъемочных технологий обусловлены действием определенных факторов. К основным из них относятся: возможность использования высокопроизводительных оптико-электронных камер и широкое внедрение экономичных носителей полезной нагрузки — беспилотных летательных аппаратов. Кроме того, выход на качественно новый уровень прикладных возможностей определен развитием методов и средств цифровой обработки больших объемов изображений, получаемых в системах технического зрения с использованием оптико-электронных камер на матричных приемниках излучения [1].

К востребованным продуктам эксплуатации аэросъемочных систем относятся: цифровые модели, ор-тофотопланы и панорамные снимки местности [2, 3].

Получение таких пространственных данных основано на выполнении фотограмметрической обработки снимков, регистрируемых оптико-электронным бортовым специальным комплексом в соответствии с задаваемыми требованиями. Качество модели и ортофотоплана местности, получаемых в результате фотограмметрической обработки, характеризуется пространственной точностью и детальностью.

Указанные свойства зависят, в частности, от точности параметров внешнего ориентирования снимков и от плотности облака точек, определяемых на основе результата сопоставления перекрывающихся изображений по связующим точкам. Кроме того, отдельные подходы к пространственной привязке изображений местности и ее уточнению также основываются на определении связующих точек между исходным снимком и используемыми базовыми пространственными данными [4-7]. В свою очередь, решение задачи совме-

щения снимков местности, синхронно регистрируемых в разных спектральных диапазонах, также представляет значительный практический интерес [8]. При этом качество результата пространственной привязки или совмещения снимков местности определяется плотностью и равномерностью распределения связующих точек на обрабатываемом изображении.

Процедура автоматического определения связующих точек основывается на предварительном поиске по изображению ключевых (особых) точек, для выполнения которого применим отдельный класс методов из области технического зрения. К таким процедурам относятся широко применяемые методы: Speeded Up Robust Features (SURF) [5], Scale-Invariant Feature Transform (SIFT) [4, 9], а также ряд современных разработок: методы Oriented FAST and Rotated BRIEF (ORB) [6] и KAZE [7].

Анализ современных исследований в области обработки данных дистанционного зондирования Земли, в том числе снимков поверхности, показал, что одним из самых часто используемых методов получения ключевых точек на изображении является метод SIFT. Данный метод и его модификации применяются для решения задач обработки снимков, полученных с воздушных и космических носителей, при пространственной привязке изображений, отслеживании изменений и поиске объектов, построении цифровых моделей и ортофотопланов местности [10-24].

Усилия исследователей при разработке методов рассматриваемого класса в основном направлены на улучшение качества обработки и получаемого результата сопоставления изображений. При этом отработка предлагаемых методов поиска ключевых точек выполняется в основном по реальным снимкам, но без анализа зависимости качества получаемого результата от свойств изображенного на снимке сюжета. В общем случае сюжет на аэрофотоснимке представлен случайным сочетанием изображений природных и техногенных объектов.

Изображения объектов отдельных классов и их сочетаний характеризуются разными свойствами, от которых может зависеть качество результата поиска ключевых точек. Знание такой зависимости необходимо для обоснования сюжетно-ориентированного подхода к фотограмметрической обработке аэрофотоснимков, использование которого потенциально позволит улучшить качество получаемых моделей и ортофотопланов местности.

Таким образом, тема исследований по разработке научно-методического аппарата квалиметрического анализа зависимости качества поиска ключевых точек от свойств изображения является актуальной. Цель настоящего исследования состоит в определении характера влияния состава сюжета, изображенного на аэрофотоснимке, на качество результата поиска ключевых точек. Для достижения сформулированной цели предполагается решение частных задач, а именно: анализ метода поиска ключевых точек SIFT, как наиболее востребованного в области обработки изображений местности; разработка методики исследования зависимости качества результата поиска ключевых точек от

изображенного сюжета; проведение и анализ результатов экспериментального исследования по обработке реальных аэрофотоснимков.

Анализ метода SIFT

В качестве метода поиска ключевых точек на изображении рассматривается метод SIFT. Содержание указанного метода подробно описано в известных работах [4, 9], а обобщенная схема обработки исходного изображения представлена на рис. 1.

В методе SIFT ключевые точки определяются на основе построенного гауссова масштабного пространства (Gaussian Scale-Space) исходного изображения [4, 9]. Данное пространство предназначено для представления изображений, регистрируемых с различной дистанции.

Базовым элементом масштабного пространства является слой (layer), получаемый путем вычисления свертки исходного изображения с функцией Гаусса:

1 _J?P

Gc(z) ® u(z) = ¡Ga(z’)u(z — z’)dz’, Ga(z) = — e ^, (1)

2nd2

где G0 — функция Гаусса; u — исходное изображение; ® — операция свертки; z = (m, n) и z — (m’, n’) — параметры, определяющие координаты и сдвиг по координатам при свертке; о — коэффициент масштаба.

Слои объединяются в подпространства — октавы (octaves). Внутри октавы каждый последующий слой формируется на основе предыдущего слоя (1). В первой октаве размещаются слои, полученные на основе исходного изображения. Для формирования второй октавы требуется редуцированное изображение, получаемое путем уменьшения размеров исходного изображения по строкам и столбцам в два раза. Для построения следующих октав выполняются аналогичные преобразования. Число формируемых октав определяется в зависимости от размеров исходных изображений.

Поиск ключевых точек по полученному масштабному пространству заключается в определении трехмерного экстремума в разностях слоев Гауссиан (DoG — Difference of Gaussians) [4, 9].

Для выполнения настоящего исследования целесообразно определить параметры и критерии метода SIFT, определяющие качество результата его работы, а именно: качество и количество ключевых точек. В свою очередь, к критериям отбраковки ключевых точек относятся правила сравнения с контрастным порогом (contrast threshold) и порогом грани (edge threshold) [4, 9].

Получаемые ключевые точки должны проверяться по условию стабильности экстремума DoG, определяемому контрастным порогом

М > CdoG, (2)

где м — нормированная величина экстремума DoG; Cd0g — заданный контрастный порог.

В известных источниках значение порога Cd0g рекомендуется выбирать на уровне 0,04 [4]. По своей сущности условие (2) позволяет отбраковывать ключевые точки, определяемые на искаженных шумами участках изображения.

Рис. 1. Этапы обработки отдельного изображения по методу SIFT

Порог граней определяет условие нахождения экстремума DoG на грани объекта на изображении. Данные точки не являются информативными, так как не обладают свойством инвариантности и должны удаляться.

Для определения факта нахождения точки на грани объекта необходимо использовать матрицу Гессе размерности 2 х 2

H„

h11 h12

h21 h22

, — 2ю„

11 wm+1,n wm-1,n~ i»VA’m,n’ h22 = ®m,n+1 + ®m,n-1 — 2®m,n;

h12 h21 ®ш+1,п+1 + ®ш-1,п-1 — шш-1,п+1 — шш+1,п-1;

ш е [0, 1, …, M — 1], п е [0, 1, …, N — 1],

где (ш, п) — координаты точки в слое; (М, Л) — размеры изображения по строкам и столбцам.

След и определитель матрицы Hш п вычисляются по формулам:

^^ШПП) = h11 + h22; Ъ^^П) = h11h22 — ^12)2.

Для проверки ключевой точки по порогу граней необходимо найти значение Н:

п_ (Тг(Ни,„))2

Ое1(Нт,„) ‘

Выражение, определяющее критерий отбраковки точки по порогу грани, имеет вид

Ж

(Cedge+1)2

где Н — отношение квадрата следа матрицы Гессе к ее определителю; — заданный порог граней.

Анализ существующих работ и предварительные исследования авторов показывают, что в качестве ква-лиметрического параметра ключевых точек следует рассматривать контрастность ключевых точек.

Методика исследования зависимости качества результата поиска ключевых точек от изображенного сюжета

В обобщенном виде предлагаемая методика исследования зависимости качества результата поиска ключевых точек от изображенного сюжета содержит следующие этапы:

1) формирование набора исходных изображений;

2) поиск ключевых точек по методу SIFT и формирование их выборки;

3) анализ ключевых точек для изображений с однородными сюжетами;

4) анализ совокупностей ключевых точек для изображений с однородными сюжетами;

5) анализ совокупностей ключевых точек для изображений со смешанными сюжетами;

6) обобщенный анализ результатов и формулирование выводов.

Для формирования набора исходных изображений на текущем уровне исследования предлагается учитывать следующие требования. Во-первых, изображения не должны иметь перекрытий для обеспечения независимости выборок ключевых точек. Во-вторых, изображения должны быть зарегистрированы при близких условиях, что наиболее простым образом обеспечивается выбором снимков из серии, полученной в течение времени съемки одного маршрута с выдерживанием заданной высоты съемки. Для получения таких изображений могут организовываться аэросъемочные работы или использоваться существующие архивы материалов

аэросъемки, на основе анализа содержания которых для формируемого набора исходных изображений определяется перечень исследуемых сюжетов. В полученном перечне определяются однородные сюжеты, содержащие изображения объектов одного класса, и смешанные (неоднородные) сюжеты, включающие изображения объектов разных классов.

В рамках этапа поиска ключевых точек по методу SIFT предварительно определяется количество точек, которое требуется получить для последующего анализа. На основе заданного количества ключевых точек проверяется корректность рекомендуемого значения контрастного порога. В процессе поиска для ключевых точек сохраняется контрастность, по значению которой выполняется последующее ранжирование и отбор заданного количества наиболее качественных ключевых точек для каждого исходного изображения.

При анализе ключевых точек для изображений с однородными сюжетами предполагается изучение выборок точек с отдельных изображений, содержащих изображения объектов одного класса. Для этого предлагается изучение статистического ряда распределения ключевых точек по контрастности и пространственного распределения ключевых точек на изображениях. В силу того, что исходные изображения не имеют перекрытий, и определена принадлежность каждого изображения к определенному сюжету, то статистический анализ предлагается производить визуальным способом на основе графиков типа «Violin Plot» [25]. График указанного типа представляет собой развитие графика типа «Box Plot». Основное отличие заключается в том, что вместо отметок квартилей и медианы, на графике типа «Violin Plot» отображается плотность распределения вероятности.

Анализ совокупностей ключевых точек для изображений с однородными сюжетами основывается на статистическом исследовании результата объединения выборок ключевых точек, полученных по изображениям с объектами одного класса. Цель этого анализа состоит в определении отличий статистического распределения совокупностей ключевых точек, соответствующих однородным сюжетам.

Анализ совокупностей ключевых точек для изображений со смешанными сюжетами выполняется для исследования влияния на распределения ключевых точек наличия в пределах кадра изображений объектов разных классов. Для улучшения наглядности анализ распределения может выполняться на основе отображения отобранных ключевых точек непосредственно на изображении с построением их распределения по строкам и столбцам растра.

Описание набора исходных изображений

Для проведения экспериментальных исследований используется набор из 640 исходных изображений, сформированный на основе открытого архива зарубежных материалов аэросъемки «КС ОпеМар» [26]. Изображения соответствуют неперекрывающимся аэрофотоснимкам, зарегистрированным при несущественно изменявшихся условиях. При предварительном изучении материалов аэросъемки выделены три класса объектов и определены семь вариантов сюжетов для экспериментального исследования (таблица).

Примеры изображений отдельных сюжетов представлены на рис. 2.

В рамках настоящего эксперимента предполагается проведение анализа по N = 1000 ключевых точек, характеризующихся наиболее высоким качеством. В соответ-

Таблица. Перечень и описание исследуемых сюжетов

Обозначение сюжета Перечень классов объектов, изображенных на снимке Число изображений Характеристика сюжета

С-1(О) Поле 50

С-2(О) Лес 90 Однородный

С-3(О) Урбанизированная территория 100

С-4(Н) Поле и лес 100

С-5(Н) Поле и урбанизированная территория 100 Неоднородный

С-6(Н) Лес и урбанизированная территория 100 (смешанный)

С-7(Н) Поле, лес и урбанизированная территория 100

Рис. 2. Примеры изображений с разными сюжетами

800

400

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.

I

0,03 0,05

Контрастный порог, отн. ед.

Рис. 3. Зависимость количества ключевых точек от контрастного порога

ствии с предложенной методикой требуется проверка возможности получения заданного числа ключевых точек N при рекомендуемом значении контрастного порога. Для подтверждения такой возможности целесообразно исследовать зависимости количества получаемых ключевых точек от значения контрастного порога для изображений с однородными сюжетами (рис. 3).

Представленные графики (рис. 3) демонстрируют, что при стандартном значении CDoG = 0,04 для изображений всех исследуемых классов объектов не обеспечивается получение заданного количества ключевых точек, поэтому принимается значение CD0G = 0,035. При этом следует отметить, что для сюжетов С-1(О) и С-2(О) полученные зависимости близки, а для сюжета С-3(О) условия получения большего числа ключевых точек, имеющих высокую контрастность, существенно лучше.

Результаты анализа ключевых точек для изображений с однородными сюжетами

В рамках рассматриваемого эксперимента к однородным сюжетам относятся три группы изображений С-1(О), С-2(О) и С-3(О). Согласно предложенной методике исследований для указанных изображений по отдельности производится получение и изучение выборок

Номер изображения

Рис. 4. Распределение контрастности ключевых точек по отдельным изображениям с сюжетом С-1(О)

ключевых точек по графикам типа «Violin Plot» и по их пространственному распределению на изображении.

График распределения контрастности ключевых точек для изображений с сюжетом С-1(О) представлен на рис. 4. Из графика видно, что форма графика распределения несимметричная, и медиана выборок смещена к нижней границе распределения.

Пример пространственного распределения ключевых точек по типовому изображению с сюжетом С-1(О) представлен на рис. 5, а. Указанный пример показывает, что при допустимо постоянном содержании и текстуре изображения по кадру наблюдается увеличенная концентрация точек в центральной части. Кроме того, следует отметить, что распределение контрастности ключевых точек для изображений 1 и 4 отличаются от остальных распределений (рис. 4). Причиной этого является наличие частных особенностей на изображениях. Например, наличие небольшой каменистой насыпи, изображение которой содержит малые контрастные элементы, приводит к концентрации точек в пределах ее границы (рис. 5, б). При этом контрастность ключевых точек меняется незначительно (рис. 4).

График распределения контрастности ключевых точек для изображений с сюжетом С-2(О) представлен на рис. 6, а. Для данного класса характерен больший разброс в параметрах распределений контрастности ключевых точек. Это обусловлено большим разнообразием содержания рассматриваемых изображений по сравнению с изображениями, относящимися к сюжету С-1(О). Форма графика распределения несимметричная, и наблюдается смещение медианы.

Пример пространственного распределения ключевых точек на типовом изображении с сюжетом С-2(О) представлен на рис. 6, б, из которого видно, что несмотря на постоянство содержания изображения ключевые точки сгруппированы в центральной части кадра.

Распределение контрастности ключевых точек для изображений с сюжетом С-3(О) представлено на рис. 7, а. По своему содержанию изображения с указанным сюжетом существенно отличаются от изображений, относящихся к сюжетам С-1(О) и С-2(О). При наличии изображений многочисленных контрастных объектов обеспечивается получение более качественных ключевых точек. В силу этого пространственное распределение ключевых точек связано с распределением объектов по изображению (рис. 7, б). Но, несмотря на наличие такой связи, может наблюдаться определенное увеличение численности ключевых точек в центральной части кадра.

Таким образом, в результате анализа результатов поиска ключевых точек для изображений всех однородных сюжетов определен ряд общих особенностей. Во-первых, распределение контрастности ключевых точек имеет несимметричную форму, медиана выборок смещена в область малых значений контрастности. Выполненное исследование показало, что это объясняется увеличением количества срабатываний критерия отбраковки ключевых точек при приближении значения контрастности к контрастному порогу. Во-вторых, наблюдается большая плотность ключевых точек в центральной части кадра. Выполненный анализ позволил

Рис. 5. Изображения сюжета С-1(О): типичное распределение точек (а); влияние особенностей на распределение ключевых

точек (б)

3 5 7

Номер изображения

Рис. 6. Распределение контрастности ключевых точек для сюжета С-2(О) (а); типичное пространственное распределение

точек (б)

^___

V

3 5 7

Номер изображения

Рис. 7. Распределение контрастности ключевых точек для сюжета С-3(О) (а); типичное пространственное распределение

точек (б)

связать этот эффект с качеством исходного изображения. Известно, что оптическое изображение, формируемое реальным объективом в фокальной плоскости камеры, как правило, характеризуется лучшей резкостью и меньшими искажениями именно в центральной части. Фокусировка объектива камеры также производится, как правило, по центральной зоне. При этом к краям кадра свойства изображения ухудшаются. В силу этого, ключевые точки, определяемые в центральной части кадра, имеют лучшее качество, чем точки на краях кадра.

Результаты анализа совокупностей ключевых точек для изображений с однородными сюжетами

Объединение независимых выборок ключевых точек с изображений, сгруппированных по принадлежности к однородным сюжетам, позволяет получить совокупности ключевых точек, по которым формируются обобщенные распределения контрастности ключевых точек (рис. 8, а), по которым видно, что отдельные

м &

С-1(0) С-2(0) С-З(О) Сюжет

0,04

0,08

Контрастность, отн. ед.

0,12

Рис. 8. Распределение контрастности ключевых точек для сюжетов С-1(О), С-2(О) и С-3(О): статистические распределения

(а); особенности распределений по октавам (б)

распределения характеризуются большей симметрией. Распределения контрастности, полученные по изображениям с сюжетами С-1(О) и С-2(О), характеризуются близостью. Контрастность ключевых точек сюжета С-2(О) по среднему значению в 1,02 раза выше, чем контрастность ключевых точек сюжета С-1(О).

Наблюдается значительное отличие распределения, полученного для сюжета С-3(О), от распределений, относящихся к сюжетам С-1(О) и С-2(О). Контрастность ключевых точек сюжета С-3(О) по среднему значению выше контрастности ключевых точек других сюжетов приблизительно в 1,5 раза. Сравнение диапазонов полученных распределений показывает, что по изображениям рассматриваемых природных комплексов практически не могут быть получены ключевые точки такого высокого качества, как по изображениям урбанизированной местности.

Для более глубокого исследования различия результатов поиска ключевых точек по изображениям с однородными сюжетами предлагается рассмотреть зависимости между контрастностью ключевой точки и ее октавой (рис. 8, б).

На рис. 8, б использованы следующие обозначения сюжетов: С-1(О) — синий цвет, С-2(О) — оранжевый цвет и С-3(О) — зеленый цвет. Размер кружка соответствует размеру области, определяемой точкой на изображении.

Из рисунка видно, что ключевые точки для различных сюжетов распределены по октавам неоднородно. Учитывая, что с ростом октавы, образ изображения смещается в область низких частот, то по распределению ключевых точек по октавам можно судить о частотных характеристиках точек.

Так, точки С-1(О) сконцентрированы в начальных октавах, и характеризуют высокочастотные колебания яркости текстуры. Поскольку текстура снимка С-1(О) на высоких октавах является практически однородной, то ключевые точки на них обнаружить практически невозможно.

Точки С-2(О) и С-3(О) представлены на всех октавах. Это связано с наличием неоднородностей текстуры различных размеров вследствие наличия отдельных объектов природного и искусственного происхождения.

Полученные результаты анализа совокупностей ключевых точек для изображений с однородными сюжетами позволяют сделать предварительный вывод о том, что в результате поиска ключевых точек по изображению со смешанным сюжетом при использовании процедуры получения заданного количества точек путем отбраковки по контрастному порогу точки будут получены преимущественно на изображении урбанизированной территории.

Результаты анализа совокупностей ключевых точек для изображений со смешанными сюжетами

При аэросъемке в естественных условиях регистрируются снимки местности, которые могут содержать смешанные сюжеты, сформированные объектами разных классов. Результаты предыдущих этапов анализа показали, что по изображениям объектов отдельных классов определяются ключевые точки, характеризующиеся разным качеством. Для проверки гипотезы о смещении распределения контрастности и пространственного распределения ключевых точек, определяемых по изображениям со смешанным сюжетом, анализируются данные эксперимента, выполненного по соответствующим снимкам.

Графики распределений контрастности ключевых точек для сюжетов С-1(О), С-2(О) и сюжета С-4(Н), представляющего сочетание сюжетов С-1(О) и С-2(О), изображены на рис. 9, а. В силу того, что распределения, соответствующие сюжетам С-1(О) и С-2(О), близки, то их сочетание С-4(Н) характеризуется подобным распределением контрастности ключевых точек. При этом анализ полученных пространственных распределений показывает, что большая концентрация ключевых точек наблюдается на участке изображения, соответствующего сюжету С-2(О) и вблизи границы смены класса объектов. Кроме того, также наблюдается эффект группировки ключевых точек в центральной части кадра.

Другие исследуемые смешанные сюжеты представляют собой все варианты комбинации сюжетов С-1(О), С-2(О) с сюжетом С-3(О). Анализ полученных распре-

С-1(0) С-2(0) С-4(Н) Сюжет

Рис. 9. Распределение контрастности ключевых точек для сюжетов С-1(О), С-2(О) и их сочетания — С-4(Н) (а); особенность

пространственного распределение точек (б)

С-1(0) С-З(О) С-5(Н) Сюжет

С-2(0) С-З(О) С-6(Н) Сюжет

С-1(0)С-2(0) С-З(О) С-7(Н) Сюжет

Рис. 10. Распределение контрастности ключевых точек для изображений с сюжетами: С-1(О), С-3(О) и их сочетания — С-5(Н) (а); С-2(О), С-3(О) и их сочетания — С-6(Н) (б); С-1(О), С-2(О), С-3(О) и их сочетания — С-7(Н) (в)

делений контрастности ключевых точек показывает, что получаемый результат в большей мере близок к распределению контрастности, соответствующему сюжету С-3(О) (рис. 10).

Пространственное распределение ключевых точек, получаемых по изображениям с элементами сюжета

С-3(О), также имеет особенность в том, что полученные точки размещаются преимущественно на участках с указанным сюжетом (рис. 11).

Обнаруженная особенность объясняется тем, что ключевые точки, полученные по изображению урбанизированной территории, характеризуются более высо-

Рис. 11. Примеры пространственного распределения ключевых точек по изображениям с сюжетами: С-5(Н) (а); С-6(Н) (б);

С-7(Н) (в)

ким качеством/контрастностью по отношению к точкам с изображений объектов других рассмотренных классов. Вследствие этого, при использовании стандартной операции получения заданного числа ключевых точек путем ранжирования и отбраковки по значению контрастности наблюдается группировка точек на изображении объекта одного класса.

Заключение

С использованием предложенной методики решены поставленные задачи и для отдельных сочетаний классов объектов местности определены зависимости качества результата поиска ключевых точек от изображенного сюжета. Частный характер полученных результатов обусловлен ограниченным набором сюжетов, использованным для проведения эксперимента. При этом полнота исследований может быть обеспечена путем использования более представительных банков исходных изображений.

Отмечено, что для обеспечения автоматизированной фотограмметрической обработки и привязки снимков местности, получаемых с использованием оптико-электронных аэрофотокамер, в общем случае рекомендуется получение плотного и равномерного пространственного распределения ключевых точек по соответствующим изображениям. В результате исследования, выполненного с использованием метода поиска ключевых точек Scale-Invariant Feature Transform, выявлены факторы, обуславливающие нарушение равномерности пространственного распределения ключевых точек при использовании стандартного критерия отбраковки ключевых точек по контрастному порогу. 1. В результате выполнения кадровой оптико-электронной съемки снимок регистрируется с разным качеством по полю изображения. В силу того, что в центральной части кадра изображение, как правило, обладает лучшей резкостью и контрастностью, то наиболее качественные ключевые точки определяются в этой области. В результате получаемый

массив ключевых точек обладает увеличенной плотностью размещения в центральной части, снижающейся к краям кадра. 2. По изображениям объектов местности, относящихся к разным классам, определяются ключевые точки, характеризующиеся отличающимся качеством. В силу этого, при обработке реальных изображений, характеризующихся смешанным сюжетом, имеет место группировка отбираемых ключевых объектов на участке снимка, содержащего изображение объекта отдельного класса. Указанный эффект явно проявляется в случае съемки урбанизированной территории совместно с участками природных комплексов.

Использование рассматриваемого метода и его аналогов для автоматизированной обработки реальных аэрофотоснимков сопряжено с указанными трудностями в получении пространственного распределения ключевых точек с требуемыми свойствами. В практических приложениях, связанных с выполнением маршрутной съемки, выявленные негативные факторы можно отчасти компенсировать увеличением перекрытия снимков. Но такой подход не применим в случае пространственной привязки одиночного снимка. В силу этого дальнейшее направление исследований целесообразно связать с разработкой подхода к обработке аэрофотоснимков, учитывающего вариации качества изображения по полю кадра и свойства изображенного сюжета.

Выполненные экспериментальные исследования подтвердили применимость выбранного метода для обработки реальных аэрофотоснимков. Достоинство исследованного метода поиска ключевых точек состоит в том, что для типовых сюжетов обеспечивается высокая численность определяемых точек. При этом ограничение данного метода без использования дополнительных модификаций выражается в существенной зависимости плотности распределения ключевых точек от качества изображения и свойств представленного сюжета.

Литература

1. Lobanova A., Ryzhova V., Korotaev V., Drozdova D. Solid-state optical radiation matrix receivers in robots’ vision systems // Studies in Systems, Decision and Control. 2020. V. 261. P. 171-188. doi: 10.1007/978-3-030-32710-1_13

2. Григорьев А.Н., Дмитриков Г.Г., Попович Т.В., Пятицкий А.А., Смирнова О.В. Принципы и примеры использования технологии дистанционного зондирования в информационном обеспечении инфраструктур пространственных данных // Труды Военно-космической академии имени А.Ф. Можайского. 2018. № 664. С. 51-59.

3. Лазаренко В.П., Джамийков Т.С., Коротаев В.В., Ярышев С.Н. Метод создания сферических панорам из изображений, полученных всенаправленными оптико-электронными системами // Научно-технический вестник информационных технологий, механики и оптики. 2016. Т. 16. № 1. С. 46-53. doi: 10.17586/2226-1494-2016-16-1-46-53

4. Lowe D. Object recognition from local scale-invariant features // Proc. 7th IEEE International Conference on Computer Vision (ICCV’99). Kerkyra, Greece. 1999. V. 2. P. 1150-1157. doi: 10.1109/ICCV.1999.790410

References

1. Lobanova A., Ryzhova V., Korotaev V., Drozdova D. Solid-state optical radiation matrix receivers in robots’ vision systems. Studies in Systems, Decision and Control, 2020, vol. 261, pp. 171-188. doi: 10.1007/978-3-030-32710-1_13

2. Grigoriev A.N., Dmitrikov G.G., Popovich T.V., Pyatitskiy A.A., Smirnova O.V. Principles and examples of the remote sensing technology use for information support of spatial data infrastructures. Proceedings of the Mozhaisky Military Space Academy, 2018, no. 664, pp. 51-59. (in Russian)

3. Lazarenko V.P., Dzhamiykov T.S., Korotaev V.V., Yarishev S.N. Method for creation of spherical panoramas from images obtained by omnidirectional optoelectronic systems. Scientific and Technical Journal of Information Technologies, Mechanics and Optics, 2016, vol. 16, no. 1, pp. 46-53. (in Russian). doi: 10.17586/2226-1494-2016-16-1-46-53

4. Lowe D. Object recognition from local scale-invariant features. Proc. 7th IEEE International Conference on Computer Vision (ICCV’99), Kerkyra, Greece, 1999, vol. 2, pp. 1150-1157. doi: 10.1109/ICCV. 1999.790410

5. Bay H., Tuytelaars T., Van Gool L. SURF: speeded up robust features. Lecture Notes in Computer Science (including subseries Lecture

5. Bay H., Tuytelaars T., Van Gool L. SURF: Speeded up robust features // Lecture Notes in Computer Science (including subseries Lecture Notes in Artificial Intelligence and Lecture Notes in Bioinformatics). 2006. V. 3951. P. 404-417. doi: 10.1007/11744023_32

6. Rublee E., Rabaud V., Konolige K., Bradski G. ORB: an efficient alternative to SIFT or SURF // Proc. of the IEEE International Conference on Computer Vision (ICCV 2011). 2011. P. 2564-2571. doi: 10.1109/ICCV.2011.6126544

7. Alcantarilla P.F., Bartoli A., Davison A.J. KAZE features // Lecture Notes in Computer Science (including subseries Lecture Notes in Artificial Intelligence and Lecture Notes in Bioinformatics). 2012. V. 7577. P. 214-227. doi: 10.1007/978-3-642-33783-3_16

8. Маркушин Г.Н., Коротаев В.В., Кошелев А.В., Самохина И.А., Васильев А.С., Васильева А.В., Ярышев С.Н. Комплексирование изображений в двухдиапазонной сканирующей оптико-электронной системе поиска и обнаружения браконьерского промысла // Оптический журнал. 2020. Т. 87. № 6. С. 57-65. doi: 10.17586/1023-5086-2020-87-06-57-65

9. Rey-Otero I., Delbracio M. Anatomy of the SIFT method // Image Processing On Line. 2014. P. 370-396. doi: 10.5201/ipol.2014.82

10. Ai M., Hu Q., Li J., Wang M., Yuan H., Wang S. A robust photogrammetric processing method of low-altitude UAV images // Remote Sensing. 2015. V. 7. N 3. P. 2302-2333. doi: 10.3390/rs70302302

11. Fan B., Huo C., Pan C., Kong Q. Registration of optical and SAR satellite images by exploring the spatial relationship of the improved SIFT // IEEE Geoscience and Remote Sensing Letters. 2013. V. 10. N 4. P. 657-661. doi: 10.1109/LGRS.2012.2216500

12. Berveglieri A., Tommaselli A. Multi-scale matching for the automatic location of control points in large scale aerial images using terrestrial scenes // ISPRS — International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences. 2014. V. 40. N 3W1. P. 27-31. doi: 10.5194/isprsarchives-XL-3-W1-27-2014

13. Wu C., Zhang L., Zhang L. A scene change detection framework for multi-temporal very high resolution remote sensing images // Signal Processing. 2016. V. 124. P. 184-197. doi: 10.1016/j.sigpro.2015.09.020

14. Liu F., Bi F., Chen L., Shi H., Liu W. Feature-area optimization: A novel SAR image registration method // IEEE Geoscience and Remote Sensing Letters. 2016. V. 13. N 2. P. 242-246. doi: 10.1109/LGRS.2015.2507982

15. Lingua A., Marenchino D., Nex F. Performance analysis of the SIFT operator for automatic feature extraction and matching in photogrammetric applications // Sensors. 2009. V. 9. N 5. P. 37453766. doi: 10.3390/s90503745

16. Long T., Jiao W., He G., Zhang Z. A Fast and reliable matching method for automated georeferencing of remotely-sensed imagery // Remote Sensing. 2016. V. 8. N 1. P. 56. doi: 10.3390/rs8010056

17. Ma Y., Chen F., Liu J., He Y., Duan J., Li X. An automatic procedure for early disaster change mapping based on optical remote sensing // Remote Sensing. 2016. V. 8. N 4. P. 272. doi: 10.3390/rs8040272

18. Sima A.A., Buckley S.J. Optimizing SIFT for matching of short wave infrared and visible wavelength images // Remote Sensing. 2013. V. 5. N 5. P. 2037-2056. doi: 10.3390/rs5052037

19. Sirmacek B., Unsalan C. Urban-area and building detection using SIFT keypoints and graph theory // IEEE Transactions on Geoscience and Remote Sensing. 2009. V. 47. N 4. P. 1156-1167. doi: 10.1109/TGRS.2008.2008440

20. Sun Y., Zhao L., Huang S., Yan L., Dissanayake G. L2-SIFT: SIFT feature extraction and matching for large images in large-scale aerial photogrammetry // ISPRS Journal of Photogrammetry and Remote Sensing. 2014. V. 91. P. 1-16. doi: 10.1016/j.isprsjprs.2014.02.001

21. Suri S., Schwind P., Uhl J., Reinartz P. Modifications in the SIFT operator for effective SAR image matching // International Journal of Image and Data Fusion. 2010. V. 1. N 3. P. 243-256. doi: 10.1080/19479832.2010.495322

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.

22. Tong X., Liu X., Chen P., Liu S., Luan K., Li L., Liu S., Liu X., Xie H., Jin Y., Hong Z. Integration of UAV-based photogrammetry and terrestrial laser scanning for the three-dimensional mapping and monitoring of open-pit mine areas // Remote Sensing. 2015. V. 7. N 6. P. 6635-6662. doi: 10.3390/rs70606635

23. Yang K., Pan A., Yang Y., Zhang S., Ong S.H., Tang H. Remote sensing image registration using multiple image features // Remote Sensing. 2017. V. 9. N 6. P. 581. doi: 10.3390/rs9060581

24. Song Z.-I., Li S., George T.F. Remote sensing image registration approach based on a retrofitted SIFT algorithm and Lissajous-curve

Notes in Artificial Intelligence and Lecture Notes in Bioinformatics), 2006, vol. 3951, pp. 404-417. doi: 10.1007/11744023_32

6. Rublee E., Rabaud V., Konolige K., Bradski G. ORB: an efficient alternative to SIFT or SURF. Proc. of the IEEE International Conference on Computer Vision (ICCV2011), 2011, pp. 2564-2571. doi: 10.1109/ICCV.2011.6126544

7. Alcantarilla P.F., Bartoli A., Davison A.J. KAZE features. Lecture Notes in Computer Science (including subseries Lecture Notes in Artificial Intelligence and Lecture Notes in Bioinformatics), 2012, vol. 7577, pp. 214-227. doi: 10.1007/978-3-642-33783-3_16

8. Markushin G.N., Korotaev V.V., Koshelev A.V., Samokhina I.A., Vasil’ev A.S., Vasil’eva A.V., Yaryshev S.N. Image fusion in a dualband scanning optoelectronic system for the search and detection of poaching activity. Journal of Optical Technology, 2020, vol. 87, no. 6, pp. 365-370. doi: 10.1364/J0T.87.000365

9. Rey-Otero I., Delbracio M. Anatomy of the SIFT method. Image Processing On Line, 2014, pp. 370-396. doi: 10.5201/ipol.2014.82

10. Ai M., Hu Q., Li J., Wang M., Yuan H., Wang S. A robust photogrammetric processing method of low-altitude UAV images. Remote Sensing, 2015, vol. 7, no. 3, pp. 2302-2333. doi: 10.3390/rs70302302

11. Fan B., Huo C., Pan C., Kong Q. Registration of optical and SAR satellite images by exploring the spatial relationship of the improved SIFT. IEEE Geoscience and Remote Sensing Letters, 2013, vol. 10, no. 4, pp. 657-661. doi: 10.1109/LGRS.2012.2216500

12. Berveglieri A., Tommaselli A. Multi-scale matching for the automatic location of control points in large scale aerial images using terrestrial scenes. ISPRS — International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences, 2014, vol. 40, no. 3W1, pp. 27-31. doi: 10.5194/isprsarchives-XL-3-W1-27-2014

13. Wu C., Zhang L., Zhang L. A scene change detection framework for multi-temporal very high resolution remote sensing images. Signal Processing, 2016, vol. 124, pp. 184-197. doi: 10.1016/j.sigpro.2015.09.020

14. Liu F., Bi F., Chen L., Shi H., Liu W. Feature-area optimization: A novel sar image registration method. IEEE Geoscience and Remote Sensing Letters, 2016, vol. 13, no. 2, pp. 242-246. doi: 10.1109/LGRS.2015.2507982

15. Lingua A., Marenchino D., Nex F. Performance analysis of the SIFT operator for automatic feature extraction and matching in photogrammetric applications. Sensors, 2009, vol. 9, no. 5, pp. 37453766. doi: 10.3390/s90503745

16. Long T., Jiao W., He G., Zhang Z. A Fast and reliable matching method for automated georeferencing of remotely-sensed imagery. Remote Sensing, 2016, vol. 8, no. 1, pp. 56. doi: 10.3390/rs8010056

17. Ma Y., Chen F., Liu J., He Y., Duan J., Li X. An automatic procedure for early disaster change mapping based on optical remote sensing. Remote Sensing, 2016, vol. 8, no. 4, pp. 272. doi: 10.3390/rs8040272

18. Sima A.A., Buckley S.J. Optimizing SIFT for matching of short wave infrared and visible wavelength images. Remote Sensing, 2013, vol. 5, no. 5, pp. 2037-2056. doi: 10.3390/rs5052037

19. Sirmacek B., Unsalan C. Urban-area and building detection using SIFT keypoints and graph theory. IEEE Transactions on Geoscience and Remote Sensing, 2009, vol. 47, no. 4, pp. 1156-1167. doi: 10.1109/TGRS.2008.2008440

20. Sun Y., Zhao L., Huang S., Yan L., Dissanayake G. L2-SIFT: SIFT feature extraction and matching for large images in large-scale aerial photogrammetry. ISPRS Journal of Photogrammetry and Remote Sensing, 2014, vol. 91, pp. 1-16. doi: 10.1016/j.isprsjprs.2014.02.001

21. Suri S., Schwind P., Uhl J., Reinartz P. Modifications in the SIFT operator for effective SAR image matching. International Journal of Image and Data Fusion, 2010, vol. 1, no. 3, pp. 243-256. doi: 10.1080/19479832.2010.495322

22. Tong X., Liu X., Chen P., Liu S., Luan K., Li L., Liu S., Liu X., Xie H., Jin Y., Hong Z. Integration of UAV-based photogrammetry and terrestrial laser scanning for the three-dimensional mapping and monitoring of open-pit mine areas. Remote Sensing, 2015, vol. 7, no. 6, pp. 6635-6662. doi: 10.3390/rs70606635

23. Yang K., Pan A., Yang Y., Zhang S., Ong S.H., Tang H. Remote sensing image registration using multiple image features. Remote Sensing, 2017, vol. 9, no. 6, pp. 581. doi: 10.3390/rs9060581

24. Song Z.-I., Li S., George T.F. Remote sensing image registration approach based on a retrofitted SIFT algorithm and Lissajous-curve trajectories. Optics Express, 2010, vol. 18, no. 2, pp. 513-522. doi: 10.1364/OE.18.000513

trajectories // Optics Express. 2010. V. 18. N 2. P. 513-522. doi: 10.1364/0E.18.000513

25. Hintze J.L., Nelson R.D. Violin plots: A box plot-density trace synergism // American Statistician. 1998. V. 52. N 2. P. 181-184. doi: 10.1080/00031305.1998.10480559

26. Morris S., Tuttle J., Essic J. A partnership framework for geospatial data preservation in North Carolina // Library Trends. 2009. V. 57. N 3. P. 516-540. doi: 10.1353/lib.0.0050

25. Hintze J.L., Nelson R.D. Violin plots: A box plot-density trace synergism. American Statistician, 1998, vol. 52, no. 2, pp. 181-184. doi: 10.1080/00031305.1998.10480559

26. Morris S., Tuttle J., Essic J. A partnership framework for geospatial data preservation in North Carolina. Library Trends, 2009, vol. 57, no. 3, pp. 516-540. doi: 10.1353/lib.0.0050

Авторы

Алтухов Александр Иванович — кандидат технических наук, доцент, заведующий кафедрой, Военно-космическая академия имени А.Ф. Можайского, Санкт-Петербург, 197198, Российская Федерация, ORCID ID: 0000-0002-4105-029, aai_51@mail.ru Билан Владимир Иванович — кандидат военных наук, старший преподаватель, Военно-космическая академия имени А.Ф. Можайского, Санкт-Петербург, 197198, Российская Федерация, ORCID ID: 0000-0002-5280-6191, w.whitemouse@gmail.com Григорьев Андрей Николаевич — доктор технических наук, доцент, начальник кафедры, Военно-космическая академия имени А.Ф. Можайского, Санкт-Петербург, 197198, Российская Федерация, Scopus ID: 57200211777, ORCID ID: 0000-0001-6941-6475, Grig-AN@ya.ru

Попович Василий Васильевич — доктор технических наук, профессор, главный конструктор, Акционерное общество «СПИИРАН-Научно-техническое Бюро Высоких Технологий», Санкт-Петербург, 199178, Российская Федерация, Scopus ID: 55778882900, ORCID ID: 0000-0001-7965-7141, popovich@oogis.ru

Authors

Alexander I. Altukhov — PhD, Associate Professor, Head of Chair, Mozhaisky Military Space Academy, Saint Petersburg, 197198, Russian Federation, ORCID ID: 0000-0002-4105-029, aai_51@mail.ru

Vladimir I. Bilan — PhD, Senior Lecturer, Mozhaisky Military Space Academy, Saint Petersburg, 197198, Russian Federation, ORCID ID: 0000-0002-5280-6191, w.whitemouse@gmail.com

Andrey N. Grigor’ev — D.Sc., Associate Professor, Head of Chair, Mozhaisky Military Space Academy, Saint Petersburg, 197198, Russian Federation, Scopus ID: 57200211777, ORCID ID: 0000-0001-6941-6475, Grig-AN@ya.ru

Vasily V. Popovich — D.Sc., Professor, Chief Designer, SPIIRAS Hi Tech Research and Development Office Ltd, Saint Petersburg, 199178, Russian Federation, Scopus ID: 55778882900, ORCID ID: 0000-0001-7965-7141, popovich@oogis.ru