PRISMA是一个计算摄影管道，可以从任何图像或视频中执行多种推断。就像光线通过棱镜折射成不同的波长一样，这个管道将图像扩展成可用于3D重建或实时后期处理操作的数据。它结合了不同的算法和开源的预训练模型，比如单目深度(MiDAS v3.1， ZoeDepth， Marigold， PatchFusion)、光流(RAFT)、分割掩模(mmdet)、相机姿态(colmap)等。结果被存储在与输入文件同名的文件夹中，每个band以.png或.mp4 文件的形式单独存储。
点击前往PRISMA官网体验入口
对于视频，在最后一步，它会尝试执行稀疏重建，可用于NeRF(如NVidia的Instant-ngp)或高斯扩散训练。推断出的深度信息默认导出为可以使用LYGIA的heatmap GLSL/HLSL采样实时解码的热度图，而光流编码为HUE(角度)和饱和度，也可以使用LYGIA的光流GLSL/HLSL采样器实时解码。
需求人群：
3D重建图像/视频后期处理生成NeRFs训练数据使用场景示例：
从图像中提取多种band信息进行分析从视频中获取深度/光流信息制作3D效果作为NeRF网络的数据源进行训练产品特色：
单目深度推断光流估计图像分割相机姿态估计稀疏3D重建
相关文章
头条焦点
精彩导读
关注我们
【查看完整讨论话题】 | 【用户登录】 | 【用户注册】