Трекинг камеры в Blender: как добавить 3D-модель в видео

Что вы узнаете из этого руководства?

При добавлении 3D-элемента в реальную съёмку важно, чтобы модель соответствовала движению камеры в видео. Инструменты motion tracking в Blender отслеживают маркеры на изображении и помогают решить движение камеры или объекта относительно неё. Полученные данные трекинга можно применить к 3D-объектам, созданным в Blender или импортированным в приложение.

В этом руководстве мы разберём, как различать типы трекинга, решать движение камеры, настраивать сцену и проверять ошибки отслеживания в Graph View. В справочных материалах нет универсального рецепта для любого кадра, поэтому шаги следует воспринимать как рабочую схему, основанную на назначении инструментов.

Требования и сведения о версии

• Программа: Blender. Источники — разделы о motion tracking в онлайн-руководстве Blender.

• Версия: На страницах руководства не указана конкретная версия Blender, поэтому здесь не описываются меню или изменения, относящиеся к определённой версии.

• Входные данные: Видеоматериал для трекинга. Если доступны настройки камеры или данные EXIF, фокусное расстояние можно взять из них.

• Учётная запись и оборудование: В источниках нет требований к учётной записи или рекомендаций по оборудованию.

• Дополнительная калибровка: Для более точной калибровки объектива можно использовать инструмент калибровки сетки OpenCV.

Для корректного решения движения камеры важно знать фокусное расстояние и дисторсию объектива. Согласно руководству, фокусное расстояние можно автоматически получить из настроек камеры или данных EXIF. Если эти сведения недоступны, нужно оценить дисторсию и проверить результат решения.

Пошаговый трекинг и совмещение со сценой

1. Выберите тип движения для трекинга

Сначала определите, какое движение на изображении требуется решить. Blender позволяет отслеживать движение камеры, движение объекта относительно камеры и движение маркеров на одной плоскости. Для плоскостного трекинга предусмотрен инструмент Plane Track.

Например, отслеживание движения элемента, расположенного на неподвижной поверхности в кадре, и добавление 3D-объекта в сцену с учётом движения камеры — это разные задачи. Выбирайте метод в зависимости от движения в съёмке. Руководство не устанавливает автоматического правила, которое предписывало бы обязательный метод для каждой сцены.

2. Проверьте данные трекинга

Инструменты motion tracking доступны в разделе Tracking Mode редактора Movie Clip Editor. Для оценки данных трекинга можно переключаться между разными видами с помощью селектора. В руководстве указано, что доступно три вида. Чтобы отдельно открыть вид кривых или dope sheet, разделите область редактора на две части и переключите одну из них на нужный вид.

Важно не только проверять положение маркеров на изображении, но и следить за их движением по кадрам. Вид кривых помогает оценить движение треков и значения ошибок. Если один маркер ведёт себя заметно иначе, чем остальные, или на кривой трекинга есть резкий скачок, отдельно проверьте этот участок.

3. Решите движение камеры или объекта

Подготовив данные трекинга, выполните решение камеры. Blender позволяет решить как движение камеры, так и движение объекта относительно неё. Plane Track используется для отслеживания маркеров на одной плоскости. Полученные данные трекинга можно использовать в 3D-сцене.

После решения проверьте взаимосвязь изображения и 3D-сцены. Данные трекинга можно применить к объекту, созданному в Blender или импортированному в приложение. Руководство не указывает необходимое количество маркеров или точные значения камеры для каждого кадра. Поэтому оценивайте каждый кадр отдельно, исходя из изображения и результатов решения.

4. Изучите график ошибок и найдите проблемные кадры

В Graph View красная и зелёная линии показывают скорость движения маркеров трекинга: красная соответствует горизонтальному, а зелёная — вертикальному движению. Синяя линия, отображаемая после решения камеры, показывает среднюю ошибку для каждого кадра. Её нельзя редактировать; цель — добиться, чтобы она оставалась как можно ближе к нулю и шла ровно. Высокие точки на графике могут указывать на снижение точности трекинга в соответствующих участках съёмки.

С помощью параметров отображения можно показывать графики только выбранных маркеров, каналы скрытых объектов или среднюю ошибку обратного проецирования для каждого кадра. Если на кривых есть резкий скачок, проверьте данные трекинга соответствующего кадра. В руководстве отмечено, что перемещение или удаление точки на кривой влияет на соответствующий маркер трекинга в этом кадре.

5. Настройте сцену и стабилизируйте изображение

После решения настройте ориентацию реальной сцены в 3D-пространстве. В Blender есть инструменты для задания плоскости, начальной точки сцены и осей X/Y. Это помогает удобнее определять ориентацию 3D-элементов для композитинга.

В съёмке с рук могут встречаться резкие скачки или наклоны. Инструмент 2D Stabilization в Blender помогает обнаруживать и компенсировать такие движения на основе отслеживаемых элементов изображения. Стабилизация не заменяет проверку ошибок трекинга: отдельно проверьте маркеры, которые выглядят проблемными на графике.

Типичные ошибки

• Не учитывать дисторсию объектива: фокусное расстояние и величина дисторсии важны для корректного решения движения камеры. Фокусное расстояние можно получить из настроек камеры или данных EXIF.

• Игнорировать пики на графике: резкий скачок может указывать на ошибку трекинга в отдельных кадрах. Проверьте соответствующие кадры и маркеры по отдельности.

• Пропускать настройку сцены: после решения задание плоскости, начальной точки и осей помогает настроить ориентацию сцены в 3D-пространстве.

• Калибровать только на глаз: с помощью инструмента Annotation в Blender можно отметить линию, которая должна быть прямой на изображении, и настроить значения дисторсии так, чтобы она совпала с линией. Для более точной калибровки руководство рекомендует инструмент калибровки сетки OpenCV.

Следующие шаги в архитектурном и archviz-процессе

Этот рабочий процесс может пригодиться командам визуализации и студентам, которые добавляют 3D-архитектурные элементы в съёмку. Решение камеры позволяет связать модель с движением камеры в кадре, а плоскостной трекинг — отслеживать движение маркеров, расположенных на одной плоскости. В ходе проекта важно проверить данные камеры и объектива, а после решения — просмотреть график ошибок.

Лицензия CC BY-SA 4.0, указанная на страницах руководства, не совпадает с лицензией программы Blender; в этих источниках нет сведений об условиях лицензирования программы. Офисам и студентам необходимо отдельно проверить лицензию программного обеспечения. В источниках также не описаны требования к оборудованию, поэтому рекомендовать конкретную конфигурацию компьютера невозможно. Перед началом работы отдельно проверьте совместимость используемой версии Blender с руководством и условия лицензирования вашей организации.

Источник и лицензия

Это руководство — русская адаптация материалов со страниц «Introduction» и «Graph View» онлайн-руководства Blender. Обе страницы источника опубликованы по лицензии CC BY-SA 4.0.