信息发布→ 登录 注册 退出

吴恩达团队新作:多模态多样本上下文学习,无需微调快速适应新任务

发布时间:2024-06-20

点击量:
AIxiv专栏是本站发布学术、技术内容的栏目。过去数年,本站AIxiv专栏接收报道了2000多篇内容,覆盖全球各大高校与企业的顶级实验室,有效促进了学术交流与传播。如果您有优秀的工作想要分享,欢迎投稿或者联系报道。投稿邮箱:liyazhou@jiqizhixin.com;zhaoyunfeng@jiqizhixin.com

本研究评估了先进多模态基础模型在 10 个数据集上的多样本上下文学习,揭示了持续的性能提升。批量查询显著降低了每个示例的延迟和推理成本而不牺牲性能。这些发现表明:利用大量演示示例可以快速适应新任务和新领域,而无需传统的微调

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

  • 论文地址:https://arxiv.org/abs/2405.09798
  • 代码地址:https://github.com/stanfordmlgroup/ManyICL

背景介绍

在近期的多模态基础模型(Multimodal Foundation Model)研究中,上下文学习(In-Context Learning, ICL)已被证明是提高模型性能的有效方法之一。

然而,受限于基础模型的上下文长度,尤其是对于需要大量视觉 token 来表示图片的多模态基础模型,已有的相关研究只局限于在上下文中提供少量样本。

令人激动的是,最新的技术进步大大增加了模型的上下文长度,这为探索使用更多示例进行上下文学习提供了可能性。

基于此,斯坦福吴恩达团队的最新研究——ManyICL,主要评估了目前最先进的多模态基础模型在从少样本 (少于 100) 到多样本(最高至 2000)上下文学习中的表现。通过对多个领域和任务的数据集进行测试,团队验证了多样本上下文学习在提高模型性能方面的显著效果,并探讨了批量查询对性能和成本及延迟的影响。
                           Many-shot ICL与零样本、少样本ICL的比较。

方法概览

本研究选择了三种先进的多模态基础模型:GPT-4o、GPT4 (V)-Turbo 和 Gemini 1.5 Pro。出于 GPT-4o 优越的表现,研究团队在正文中着重讨论 GPT-4o 和 Gemini 1.5 Pro, GPT4 (V)-Turbo 的相关内容请于附录中查看。

数据集方面,研究团队在 10 个跨越不同领域(包括自然影像、医学影像、遥感影像和分子影像等)和任务(包括多分类、多标签分类和细粒度分类)的数据集上进行了广泛的实验。

                                             基准数据集汇总。

为了测试增加示例数量对模型性能的影响,研究团队逐步增加了上下文中提供的示例数量,最高达到近 2000 个示例。同时,考虑到多样本学习的高成本和高延迟,研究团队还探索了批量处理查询的影响。在这里,批量查询指的是在单次 API 调用中处理多个查询。

实验结果

多样本上下文学习性能评估

总体表现:包含近 2000 个示例的多样本上下文学习在所有数据集上均优于少样本学习。随着示例数量的增加,Gemini 1.5 Pro 模型的性能呈现出持续的对数线性提升,而 GPT-4o 的表现则较不稳定。

数据效率:研究测量了模型的上下文学习数据效率,即模型从示例中学习的速度。结果表明,Gemini 1.5 Pro 在绝大部分数据集上显示出比 GPT-4o 更高的上下文学习数据效率,意味着它能够更有效地从示例中学习。

批量查询的影响

总体表现:在选择最优示例集大小下的零样本和多样本情境中,将多个查询合并为一次请求,不会降低性能。值得注意的是,在零样本场景中,单个查询在许多数据集上表现较差。相比之下,批量查询甚至可以提高性能。

零样本场景下的性能提升:对于某些数据集(如 UCMerced),批量查询在零样本场景下显著提高了性能。研究团队分析认为,这主要归因于领域校准 (domain calibration)、类别校准 (class calibration) 以及自我学习 (self-ICL)。

成本和延迟分析

多样本上下文学习虽然在推理时需要处理更长的输入上下文,但通过批量查询可以显著降低每个示例的延迟和推理成本。例如,在 HAM10000 数据集中,使用 Gemini 1.5 Pro 模型进行 350 个示例的批量查询,延迟从 17.3 秒降至 0.54 秒,成本从每个示例 0.842 美元降至 0.0877 美元。

结论

研究结果表明,多样本上下文学习能够显著提高多模态基础模型的表现,尤其是 Gemini 1.5 Pro 模型在多个数据集上表现出持续的性能提升,使其能够更有效地适应新任务和新领域,而无需传统的微调。

其次,批量处理查询可以在相似甚至更好的模型表现的同时,降低推理成本和延迟,显示出在实际应用中的巨大潜力。

总的来说,吴恩达团队的这项研究为多模态基础模型的应用开辟了新的路径,特别是在快速适应新任务和领域方面。


相关文章: 字节豆包AI助手,引领智能生活新,ai写作怎么免费领稿费  AI大模型引领深度交互,智能时代新启航,韩式证件照ai软件  怎么用AI生成文章免费版,高效创作从此开始!  未来智能新,AI四维模型引领无限探索,ai怎么做名片  AI赋能立体建模,高精度立体模型构建全方位攻略,ai绘图视频写作app好用吗  人工智能助手文心一言,开启下一代交互体验革新之旅,特种纸的制作ai  AI与三维建模的跨界融合,AI赋能3D模型新,落月ai  AI与大型模型,解析异同之处,ai有渐变怎么切割  文心一言服务暂停,用户热议,揭秘停机背后原因,红警ai修改  人工生成文章赋能内容创作的新革命  2024最新SEO蜘蛛弛:助力网站排名稳定提升的秘密武器  AI赋能投资,盘点股票的智能模型与未来市场助手揭秘,ai大数据结合竞价图解  揭秘AI豆包模仿渣男,人工智能在情感操纵领域的应用探究,猫笑ai  革新未来,AI模拟模型重塑虚拟形象体验,anak ai  2023 AI绘画模型全球排行榜,技术驱动艺术新篇章,ai拯救全世界  AI模型选购攻略,揭秘选购渠道与策略,星辰ai|直播|  提升写作效率,释放创意潜力文章生成AI软件的未来  文心一言AI写作3.5,开启智能创作新时代,遂宁论文ai写作免费论文初稿  零基础打造AI绘画助手,个性化艺术创作全攻略,问界ai写作  网络照片爬虫给你带来的无限商机与便捷:如何借助自动化工具提升工作效率  文章AI指令提升写作效率的智能助手  文章AI生成软件高效创作新纪元  如何用AI写公众号文章?让创作更高效、更轻松  华为AI大模型,开启下载与应用新,字画ai  云AI大模型成本优化策略揭秘,ai|美女|新疆  揭秘AI模型训练高性能显卡需求,应用与并存,矿洞ai  打造逼真虚拟形象,AI质感模型制作全方位指南,AI GQ  文一言心与豆包,经典零食的优劣对决,昆明ai全网通价格  揭秘文心一言,虚拟中的谎言真相,宿迁ai  文心一言,赋予文字新生,激发创意无限的文章改写利器,ai 2025图标  好用的AI写作软件免费推荐:创作新境界!  揭开普通人AI小模型之谜,还是性创新?,云界ai和无界ai  AI翻唱,机器唱将时代的来临?,invoke ai  一键体验智能未来,小爱AI大模型安装指南,多页pdf导入ai  求一个AI软件,彻底改变你的工作与生活!  轻松掌握AI模型下载全攻略,电脑使用ai写作功能  AI算法模型的深度解析,哪一款ai写作工具更好  怎么用AI写文:让创作更轻松,效率翻倍  AI原创文章生成系统:助力内容创作的新革命  破解文心一言App下载困境,原因剖析与解决方案全解析,ai写真实  AI生成文章:智能创作,重新定义内容生产的未来  科技巨头AI竞赛,大模型参数排行榜揭秘,ai内环绕文字  AI模型加速利器,深度解析高性能显卡的选择与应用,ai写作在哪里找作业帮  AI写的文章是原创吗?揭秘AI写作的奥秘与真相  如何识别文章是否由AI写作:技巧与方法解析  豆包AI内容批量删除难题破解与高效方案,AI投介绍  AI自动读文:让阅读更轻松、更高效的智能革命,寄ai空  未来声音,最强AI变声模型下载全攻略,康熙AI  AI模型部署全程指南,从训练到应用的一站式实操攻略,ai写作猫官方网站  AI赋能鸟巢模型打造,创意与技术共舞,熟练ai 

标签:# 多个  # 新领域  # 数年  # 增加了  # 斯坦福  # 降至  # 新任务  # 尤其是  # 的是  # git  # 多模  # Foundation  # gpt  # https  # github  # class  # Token  # gemini  
在线客服
服务热线

服务热线

400 8905 500

微信咨询
二维码
返回顶部
×二维码

截屏,微信识别二维码

打开微信

微信号已复制,请打开微信添加咨询详情!