Nvidia представила новую нейросеть NeRF для создания 3D-рендеринга из плоских изображений

Компания Nvidia продемонстрировала впечатляющую технологию, которая превращает набор плоских 2D-изображений в 3D-рендеринг. Они называют это Instant NeRF, обновленной версией технологии нейросети под названием NeRF (Neural Radiance Fields), за последнее время наделавшей много шума в отрасли.

Nvidia утверждает, что в ее продукте используется искусственный интеллект (ИИ), обучение которого занимает всего несколько секунд, и он способен почти мгновенно превратить кучу неподвижных фотографий в 360-градусную визуализацию. Фактически, утверждается, что в некоторых сценариях производительность увеличена в 1000 раз.

Весь процесс превращения 2D-фотографий в 3D основан на технике обратного рендеринга, которая делает свою работу, угадывая, как свет взаимодействует с объектами в реальной жизни.

Нейросеть NeRF использует нейронную сеть для предсказания цвета движения света в каждом направлении из любой заданной точки пространства. Проще говоря, ИИ имитирует то, что видят человеческие глаза под определенным углом, а затем реконструирует сцену.

Реконструкция происходит с использованием нескольких изображений, выбранных под разными углами, в качестве исходных данных для создания из них трехмерной сцены.