Процесс реконструкции. 
Разработка приложения для трёхмерной реконструкции сцены с помощью RGB-D камеры

Инициализация и геометрическая реконструкция

Процесс реконструкции сцены с помощью данного приложения производится следующим образом: подключив RGB-D камеру к компьютеру, пользователь запускает приложение. На первоначальном этапе пользователь имеет возможность настроить параметры реконструкции, такие как размер сцены, точность сканирования, разрешение снимков глубины и цветных изображений. Также пользователь может указать, как расположена камера относительно сцены в момент начала сканирования, например, можно указать её начальное расположение в центре сканируемой сцены, либо на боковой грани. Во втором случае камера будет направлена на сцену с центра задней грани. Далее пользователь запускает процесс сканирования. На этой стадии компонент KinfuController выполняет следующие действия:

• · Загрузка в KinFu нового снимка глубины;
• · Получение от KinFu визуализации текущей трёхмерной реконструкции;
• · Сохранение цветных снимков.

Во время сканирования пользователь видит визуализацию и использует её для слежения за процессом реконструкции, чтобы проконтролировать охват сцены. На визуализацию дополнительно наложена карта глубины и красноватым цветом подсвечены участки, которые не могут быть просканированы при текущем положении камеры (рис. 5) (поверхность слишком далеко, слишком близко, поверхность обрывается, либо присутствуют другие помехи).

Рисунок 5. Процесс реконструкции.

При сканировании следует соблюдать следующие правила:

• 1. Перемещать камеру необходимо плавно, без рывков, так как алгоритм ICP, используемый в KinFu, не рассчитан на быстрое перемещение. Плавное перемещение также помогает избежать размытия цветных изображений, получаемых параллельно с реконструкцией.
• 2. Необходимо избегать ситуаций, когда в кадр попадает только плоская стена, так как это может привести к неверному определению смещения;

Когда пользователь охватил все интересующие его области сцены, он может прервать сканирование. На этом этапе он получает трёхмерную полигональную модель и набор цветных снимков, для которых известно приблизительное положение камеры. Модель можно осмотреть перед переходом к следующему шагу.

Вычисление цвета вершин

Для полученной на предыдущем шаге модели, на данном этапе производится вычисление цвета вершин. Пользователь может указать количество итераций алгоритма Zhou&Koltun и запустить вычисление.

Вычисление цвета происходит в отдельном от интерфейса потоке, поэтому пользователь может осматривать предварительную бесцветную модель, пока выполняется алгоритм. Внизу интерфейса показан статус выполнения алгоритма, что позволяет следить за выполнением. Начало алгоритма (определение видимых вершин для каждого изображения) и начало итерации (вычисление по формуле (7)) не выполняется параллельно. Вычисление матриц и решение уравнения для одного изображения выполняются в отдельных потоках (максимально 8 одновременных потоков — одновременно обрабатываемых изображений).

Цветную полигональную модель, полученную после выполнения алгоритма, пользователь может осмотреть и сохранить в файл формата PLY, содержащий данные о координатах и цвете вершин и список полигонов.

Пример реконструкции

Рисунок 6. Реконструкция сцены разработанной программой.

Параметры реконструкции:

• · В реконструируемой сцене содержится несколько объектов, в том числе с глянцевыми поверхностями.
• · Длительность сканирования — 34−35 секунд.

• · Объём сканируемого пространства — 1 .
• · RGB-D камера Asus Xtion Pro Live. Разрешение цветного изображения 1280×1024, разрешение снимка глубины — 640×480.
• · Количество вершин — 469 982, количество полигонов — 923 122, количество цветных изображений — 17, количество итераций алгоритма Zhou&Koltun — 50.

Рисунок 7. Сравнение модели до и после работы алгоритма Zhou&Koltun. Слева — 0 итераций, в центре — 25 итераций, справа — 50 итераций.

Сравнение визуального качества трёхмерной реконструкции разработанной программы и реконструкций Scanect и RecFusion приведено в приложении Д.