Движение
До сих пор рассматривалось только одно изображение одновременно. Но видеокамеры позволяют получать 30 кадров в секунду и различия между кадрами могут стать важным источником информации. Если видеокамера движется относительно трехмерной сцены, то в изображении возникает кажущееся результирующее движение, называемое оптическим потоком. Оптический поток содержит информацию о направлении и скорости движения характеристик в изображении, являющегося результатом относительного движения между наблюдателем и сценой. На рис. 24.7, я, б показаны два кадра из видеофильма о вращении кубика Рубика. На рис. 24.7, в показаны векторы оптического потока, вычисленные на основании этих двух изображений. В оптическом потоке зашифрована полезная информация о структуре сцены. Например, при наблюдении из движущегося автомобиля удаленные объекты характеризуются гораздо более медленным кажущимся движением по сравнению с близкими объектами, поэтому скорость кажущегося движения позволяет получить определенную информацию о расстоянии.
Поле вектора оптического потока может быть представлено с помощью его компонентов vx (х, у) в направлении х и vy (х, у) в направлении у Для измерения оптического потока необходимо найти соответствующие точки между одним временным кадром и следующим. При этом используется тот факт, что замкнутые участки изображения, сосредоточенные вокруг соответствующих точек, характеризуются аналогичными шаблонами интенсивности. Рассмотрим блок пикселов с центром в пикселе р, в точке (х0/у0), во время t0. Этот блок пикселов необходимо сравнить с блоками пикселов, центрами которых являются различные потенциально применимые пикселы gi с координатами {x0+Dx,y0+Dy) во время t0+Dt. Одним из возможных критериев подобия является сумма квадратов разностей (Sum of Squared Differences — SSD):
Здесь координаты (x,y) принимают свои значения среди пикселов в блоке с центром в точке (х0/у0) • Найдем значения (Dx, DY), которые минимизируют выражение для SSD. В таком случае оптический поток в точке (х0, у0) принимает значение (vx, vy) = (Dx/Dt, Dy/Dt). Еще один вариант состоит в том, что можно максимизировать взаимную корреляцию следующим образом:
Метод с использованием взаимной корреляции действует лучше всего, если сцена характеризуется наличием текстуры, в результате чего блоки пикселов (называемые также окнами) содержат значительные вариации яркости среди входящих в них пикселов. Если же рассматривается ровная белая стена, то взаимная корреляция обычно остается почти одинаковой для различных потенциальных согласований ди алгоритм сводится к операции выдвижения слепого предположения.
Допустим, что наблюдатель движется с линейной скоростью (или скоростью переноса) Тис угловой скоростью со (таким образом, эти параметры описывают самодвижение). Можно вывести уравнение, связывающее скорости наблюдателя, оптический поток и положения объектов в сцене. Если предположить, что f=l, то из этого следуют уравнения
где Z(x,y) задает координату z точки в сцене, соответствующей точке на изображении с координатами (х,у).
Достаточно хорошего понимания того, что при этом происходит, можно достичь, рассмотрев случай чистого переноса. В таком случае выражения для поля потока принимают следующий вид:
Теперь становятся очевидными некоторые интересные свойства. Оба компонента оптического потока, vx (х, у) и vy (х, у), принимают нулевое значение в точке с координатами x=Tx/Tz, y=Ty/Tz. Эта точка называется фокусом расширения поля потока. Предположим, что мы изменим начало координат в плоскости х-удля того, чтобы оно находилось в фокусе расширения; в таком случае выражение дня оптического потока принимает особенно простую форму. Допустим, что (х1 ,у' ) — это новые координаты, определяемые соотношениями х' =х-тх/Т2, у' =y-Ty/Tz. В таком случае становятся справедливыми следующие уравнения:
Эти уравнения имеют некоторые интересные области применения. Предположим, что летящая муха пытается сесть на стену и хочет определить, в какой момент она коснется стены, если будет сохраняться текущая скорость. Это время задается термом z/Tz. Следует отметить, что мгновенное значение поля оптического потока не позволяет получить ни данные о расстоянии Z, ни данные о компоненте скорости т2, но вместе с тем предоставляет значение соотношения этих двух параметров и поэтому может использоваться для управления приближением к поверхности посадки. Эксперименты, проведенные над мухами в реальных условиях, показали, что указанные насекомые действуют именно по этому принципу. Мухи относятся к числу наиболее ловких летающих объектов среди всех живых существ и машин, а интереснее всего то, что они добиваются этого с помощью системы зрения, имеющей невероятно низкое пространственное разрешение (поскольку в глазу мухи имеется всего около 600 рецепторов, тогда как в глазу человека — порядка 100 миллионов), но блестящее временное разрешение.
Чтобы получить данные о глубине, необходимо воспользоваться несколькими кадрами. Если видеокамера направлена на твердое тело, то его форма не изменяется от кадра к кадру и поэтому появляется возможность лучше решать задачу измерения оптического потока, неизменно подверженного шуму. Результаты применения одного из подобных подходов, полученные Томази и Канаде [1511], показаны на рис. 24.8 и 24.9.