google本周宣布开源ai视频降噪技术项目multinerf。
google科学家jon barron说明，这次算法是将6月间2022计算机视觉和图形识别（computer vision and pattern recognition conference，cvpr）大会公布白皮书的三项图片降噪的ai算法mip-nerf 360、ref-nerf及rawnerf，集成为一个repo，并命名为multinerf。
今年6月公布的mip-nerf 360、ref-nerf及rawnerf算法，是以nerf（neural radiation fields）算法做的延伸或强化。一般相信，新推出的ai技术有助于提升pixel手机的照片或视频拍摄效果。
barron说明，其中mip-nerf 360是mip-nerf扩展，支持无边界360场景的图像合成，可渲染出完整的3d物体和场景，使图片可从任意视角观看。rawnerf则是nerf针对低光照环境研发的版本，barron指出，它不只提供多阶段图片降噪，也能创建美丽的浅景深效果，还让用户控制色调映射和曝光。ref-nerf则运用曲面法线重参数化不同视角的效果，让nerf算法更能推论出材质和光源，对于处理具闪耀表面的物体相当有用。
barron指出，mutinerf应该能胜任大部分航空摄影测量任务，如果用户目的是渲染图案的话。不过目前还无法导出网面（mesh）。
根据multinerf项目网页，其程序代码是将ref-nerf和rawnerf的实例集成到google的ｍip-nerf 360实例，因此应该能重现ｍip-nerf 360的结果，但或许重现ref-nerf和rawnerf结果时可能会有些许不同。
ｍultinerf项目网页提供了白皮书、训练、评估、测试及渲染等工具和范例。这个实例以jax撰写成，是由mip-nerf分叉。
google研究小组虽邀请大家试用，但也警告这是研究中的程序代码，应小心使用，也未获得google产品正式支持。
一名用户用过后指出，新发布的multinerf包含一些不错的相机程序，用以处理大型场景效果不错，他自己也分享了视频成果。