信息发布→ 登录 注册 退出

有望取代Deepfake?揭秘今年最火的NeRF技术有多牛

发布时间:2023-04-12

点击量:

什么,你还不知道NeRF? 

作为今年计算机视觉领域最火的AI技术,NeRF可谓是应用广泛,前景一片大好。 

B站上的小伙伴可算是把这项技术玩出了新花样。 

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

抛砖引玉

那么,究竟NeRF是什么? 

NeRF(Neural Radiance Fields)是最早在2025年ECCV会议上的最佳论文中提出的概念,其将隐式表达推上了一个新的高度,仅用2D的posed images作为监督,即可表示复杂的三维场景。 

一石激起千层浪,自此之后NeRF迅速发展起来被应用到多个技术方向,如「新视点合成、三维重建」等。 

NeRF其输入稀疏的多角度带pose的图像训练得到一个神经辐射场模型,根据这个模型可以渲染出任意视角下的清晰的照片,如下图所示。也可以简要概括为用一个MLP去隐式地学习一个三维场景。 

网友自然而然地也会将NeRF与同样大受追捧的Deepfake做个比较。 

最近MetaPhysics发布的一篇文章就盘点了NeRF的进化史、面临的挑战和优势,并预测NeRF最终将取代Deepfake。 

大部分有关deepfake技术引人注目的话题,是指自17年deepfakes进入大众视野后开始流行的两个开源软件包:DeepFaceLab (DFL) 和FaceSwap。 

尽管这两个软件包都拥有广泛的用户群和活跃的开发者社区,但这两个项目与GitHub代码都没有明显的偏离。 

当然,DFL和FaceSwap的开发人员并没有闲着:现在可以使用更大的输入图像来训练deepfake模型,尽管这需要更昂贵的GPU。 

但其实在过去的三年里,媒体鼓吹的deepfake图像质量提升主要还是得归功于终端用户。 

他们在数据收集方面积累了「省时而难得」的经验,以及训练模型的最佳方法(有时单次实验就需要几周时间),并且学会如何利用和扩展原始2017代码的最外层限制。 

VFX和ML研究社区中的一些人正试图通过扩展架构来突破流行的deepfake包的「硬限制」,以便机器学习模型可以在高达1024×1024的图像上进行训练。 

其像素是DeepFaceLab或FaceSwap当前实际范围的两倍,更接近于电影和电视制作中有用的分辨率。 

接下来让我们一起了解一下NeRF吧~ 

揭开面纱 

NeRF(Neural Radiance Fields),它出现于2025年,是一种通过在神经网络内拼接多个视点照片实现重建物体和环境的方法。 

它通过使用稀疏的输入视图集优化底层连续的体积场景函数,实现了综合复杂场景视图的最好结果。 

该算法还使用全连接深度网络表示一个场景,其输入是单个连续的5D坐标(空间位置(x, y, z)和观看方向(θ, φ)),其输出是该空间位置的体积密度和相关的发射幅亮度。 

通过沿着相机光线查询5D坐标来合成视图,并使用经典的体绘制技术(volume rendering)将输出的颜色和密度投影到图像中。 

实现过程: 

首先将一个连续的场景表示为一个5D向量值函数,其输入是一个3D位置和2D观看方向,对应的输出是一个发射颜色c和体积密度σ。 

在实践中,采用3D笛卡尔单位向量d表示方向。利用用MLP网络近似这个连续的5D场景表示,并优化其权重。 

此外,通过限制网络来预测体积密度σ作为位置x的函数,同时还允许RGB颜色c作为位置和观看方向的函数进行预测,从而鼓励表示多视图一致。 

为了实现这一点,MLP首先处理输入的具有8个全连接层的3D坐标x(使用ReLU激活和每层256个通道),并输出σ和256维特征向量。 

这个特征向量随后与相机射线的观看方向连接,并传递给一个额外的全连接层,输出与视图相关的RGB颜色。 

此外,NeRF还引入了两个改进来实现高分辨率复杂场景的表示。第一个是位置编码,以帮助MLP表示高频函数,第二个是分层抽样过程,使其能够有效地对高频表示进行抽样。 

众所周知,Transformer架构中的位置编码可以提供序列中标记的离散位置,作为整个架构的输入。而NeRF使用位置编码是将连续的输入坐标映射到更高的维度空间,使MLP更容易逼近更高频率的函数。 

从图中可以观察到,去除位置编码会大大降低模型表示高频几何和纹理的能力,最终导致外观过度平滑。 

由于沿着每条相机射线在N个查询点密集评估神经辐射场网络的渲染策略十分低效,所以NeRF最后采用了一种分层表示,通过按最终渲染的预期效果比例分配样本来提高渲染效率。 

简而言之,NeRF不再只使用一个网络来表示场景,而是同时优化两个网络,一个「粗粒度」网络和一个「细粒度」网络。 

未来可期 

NeRF解决了过去的不足,即使用MLP将对象和场景表示为连续函数。相比于过往的方法,NeRF可以产生更好的渲染效果。 

但是,NeRF同样也面临许多技术瓶颈,比如NeRF的加速器会牺牲其他相对有用的功能(比如灵活性),以实现低延迟、更多交互环境以及较少训练时间的目的。 

所以,NeRF虽是一个关键性的突破,但是想要达到完美的效果,还是需要一定的时间。 

技术在进步,未来依旧可期!​


相关文章: AI模型功耗解析,揭秘其内涵与影响,li pi ai  AI模型崛起之路,现状解析与展望,ai测评网  文心一言,揭秘AI写作新用户行为洞察报告,李刚AI眼镜  文心一言,人工智能里程碑之作诞生年份揭秘,太空ai语音  文心一言对话功能神秘消失,揭秘原因与解决方案探寻,ai930515  AI赋能,动作制作革新,效率与创意双飞跃,研究生论文ai写作方向  人工智能的洛天依,文心一言的困境与未来可能,ai九五教程  AI大模型,引领产业变革的未来引擎,ai字体定义  AI大模型时代,集成研讨的机遇与并存,生化狂潮ai  AI模型训练数据提取,核心技术解析与应用探讨,用ai写作文被发现  AI模型训练揭秘,数据驱动智能蜕变之旅,ai110718  豆包AI智能助手,群聊创建的智能便捷新选择,ai干预舆情  豆包AI,开启创作新的奇点力量,好的ai写作工具  X5芯片AI大模型支持解析及未来性能展望,Ai肌肤  轻松排名查询技巧,提升网站流量与SEO效果!  豆包AI小程序携手薛之谦,演绎科技音乐跨界新篇章,开通ai头像  AI芯片驱动下的模型训练革新,揭秘核心动力与优势,oasis ai  烘焙行业智能化新,吐司AI模型引领未来变革,ai合成汉服|美女|  未来科技奇观,AI模型生崽之谜揭秘,蓝点ai  AI智能工具的无限可能:未来已来,你准备好了吗?  文章AI思维导图自动生成助力创作的智慧之源  谷歌无法访问?如何应对这一困扰并打破网络限制  文心一言资格获取全攻略,时长与流程深度解析,ai怎样进行切割  打造个人AI大模型,开启智能生活新时代,AI软件下载电子书  AI撰写大数据解决方案:开启智能数据时代的新篇章,ai头号公敌  跨越模态界限,AI模型的多模态进化之旅,晚风告白AI  文心一言快速融入指南,实战攻略与技巧解析,ai anan  网页中嵌入AI:开启数字化新时代,提升用户体验与业务效率  ChatGPT网页版:开启全新智能对话体验,尽在指尖  文字生成AI:开启创意写作的新纪元  AI素材宝库揭秘,助力创意无限,元星空ai  AI豆包砥砺奋进,开创智能未来新篇章,空洞机器ai  AI免费免登录:轻松体验人工智能的魔力,无需繁琐注册,华为AI音箱2音质如何  AI绘画浪潮,探索模型软件的崛起与绘画未来,Ai圆和线封闭  怎么让AI润色文章,让写作更轻松?  AI赋能3D样机建模,重塑设计流程,加速产品开发,AI则善  智能AI生成文章释放创作新可能  豆包AI,全能助手,聊天与表格制作两不误,ai大模型私有化部署  AI豆包,未来科技美食,智能生活新伙伴一键体验,夏新ai版闹钟怎么连接ai  AI赋能定制家具,探索个性化家居体验的未来之路,AI绘画AI PPT  智能语音新篇章,语音训练AI模型入门指南,小米的ai视频播放器  常用AI工具,高效智能生活  文心一言官网电脑版,开启智能写作新篇章,ai怎么做出数字有颜色  AI与三维建模的跨界融合,AI赋能3D模型新,落月ai  星火AI模型,科大讯飞引领智能时代新引擎,ai瑞士风景  AI豆包软件革新声音克隆,塑造未来语音交互新篇章,ai怎么画规则  打造专属虚拟萌友,AI可爱女孩模型下载与安装全攻略,ai海纹理  AI语音模型解析,技术革新与未来趋势洞察,凉薇AI  谷歌推出性通才AI模型,开启智能时代新,ai中取消编组是干嘛的  文心绘猫,一画传家国情怀,ai和ps哪个内存更大 

标签:# 架构  # 对象  # github  # 算法  # transformer  # 开源软件  # 是一个  # 多个  # 软件包  # 更高  # 笛卡尔  # 未来  # 是一种  # 出了  # 第一个  # 隐式  
在线客服
服务热线

服务热线

400 8905 500

微信咨询
二维码
返回顶部
×二维码

截屏,微信识别二维码

打开微信

微信号已复制,请打开微信添加咨询详情!