新闻中心

2020年人工智能领域的划时代工作

2021-05-01 00:39:11 admin8 18

总结一下我个人认为2020年人工智能领域将取得突破性进展的一些工作,涉及到DETR、ViT、BYOL、NeRF、GPT-3和AlphaFold2六大天王。

细节

DETR是将完整的变压器体系结构应用于计算机视觉领域的第一部作品,开创了变压器在计算机视觉中大规模应用的新纪元。另外,DETR将目标检测问题看作一个集合预测问题,可以同时并行地预测所有的目标帧,引领了NMS自由化的新方向。

维生素

ViT更巧妙地将输入图像视为一个16x16的面片序列,直接使用Transformer编码器提取面片序列的特征,这样ViT就可以作为一个标准的特征提取器,它可以方便地应用于计算机视觉下游任务(最近基于维特的魔幻变化还不到几百篇文章??)

拜尔

自MoCo出现以来,自监督领域再次成为热点,但BYOL以前的方法仍然遵循正样本对逼近、负样本对拒绝的原则。然而,BYOL却疯狂地抛弃了负样本排除原则,只遵循缩小正样本对的原则,取得了很好的效果。这个概念是什么?这是自我监督的周伯通。他的左手和右手互相交流,不用和别人实战就能练出绝世的魔法。

神经衰弱

NeRF,你只需要输入少量的静止图片就可以实现多视角的逼真3D效果。

看看演示效果吧!

GPT-3级

你只需要钱!OpenAI的GPT-3将训练参数叠加到1750亿个,数据集的总数是之前发布的GPT-2的116倍,这是迄今为止最大的训练模型(Switch Transformer于2021年1月更新)。

字母文件夹2

蛋白质结构预测问题是结构生物学中一个具有里程碑意义的问题。每两年,人类组织一次蛋白质结构预测竞赛。CASP14 Alphafold2血液滥用其他算法。

这幅画的概念是什么?

CASP用来衡量预测准确性的主要指标是GDT,其范围为0-100。GDT可以粗略地看作是与实验结构相比,在正确位置成功预测的比例。70分意味着同源性建模的准确性已经达到。非正式地说,90分左右就能和实验结果抗衡!

这次AlphaFold2直接得到总分92.4分,实验误差为1.6分。即使在没有同源模板的最难蛋白质上,这个分数也达到了可怕的87.0。

最后

前四项工作对变压器、自监督和三维视觉等领域有着深远的影响,将在一定程度上指导NLP和CV的发展。后两项工作可能会对行业产生破坏性影响,并持续下去。

参考

[1] 利用变压器进行端到端目标检测

[2] 一幅图像价值16×16个字:用于图像识别的变形金刚

[3] 引导你自己潜在的自我监督学习的新方法

[4] NeRF:将场景表示为视图合成的神经辐射场

[5] 语言模型是少数的学习者

[6] AlphaFold:一个50年的生物学大挑战的解决方案

机器学习/深度学习算法/自然语言处理交流小组

机器学习计算自然语言处理微信交流群已经建立!想加入交流小组学习的同学可以直接添加我的微信ID:HIT\ NLP。添加时备注:智虎+学校+昵称(无备注不接受任何协议,希望理解),如果您想加入pytorch集团,可以备注智虎+学校+昵称+pytorch。然后我们可以把你拉进小组。团里已经有不少国内外大学生,交流气氛非常好。

最新资讯 更多 >>

  • 2022-01-02

    【智语未来】感叹一则

    不知不觉,转眼就又到年底了,忽然感叹,真是岁月如梭催人老啊!往事历历在目,仿佛就在昨天。曾经以为,老去是很遥远的事,突然发现,年轻是很久以前的事了。时光好不经用,抬眼已是半生。不负韶光,这口号真的不禁提,翛然而过,时间已从指缝间溜走了。想想七老八十,还有多大熬头?感慨万千,最难留住的是时间,悄然而逝,只留下当年的那些回味。老者思归少年,少年许当如何?后生诸君,人生实在是很短暂,奋然前行,到老始有不

  • 2021-06-23

    百度输入法升级后的AI助聊,让你更方便

    当输入法遇到人工智能时,人们的习惯就会完全改变;过去,无论是电脑还是手机,打字方法大致分为拼写或手写两种,拼写又可细分为拼音、五笔等。随着图片和声音的加入,人们的交流方式也得到了丰富。如今,输入法已不再是简单的文本编辑工具,而是为多样化的信息输入提供了便捷的渠道。以百度输入法为例,随着其在高智能人工智能领域的不断深入,用户对其功能的喜爱程度也越来越高。目前,百度输入法已经在很多功能上引入了人工智能

  • 2021-2024中国人工智能产业深入研究及投资前景预测报告

  • 2020年人工智能领域的划时代工作

  • AI人工智能是不是走错了方向?

首页
智语
新闻