新闻中心

2020年人工智能领域的划时代工作

2021-05-01 00:39:11 admin8 17

总结一下我个人认为2020年人工智能领域将取得突破性进展的一些工作,涉及到DETR、ViT、BYOL、NeRF、GPT-3和AlphaFold2六大天王。

细节

DETR是将完整的变压器体系结构应用于计算机视觉领域的第一部作品,开创了变压器在计算机视觉中大规模应用的新纪元。另外,DETR将目标检测问题看作一个集合预测问题,可以同时并行地预测所有的目标帧,引领了NMS自由化的新方向。

维生素

ViT更巧妙地将输入图像视为一个16x16的面片序列,直接使用Transformer编码器提取面片序列的特征,这样ViT就可以作为一个标准的特征提取器,它可以方便地应用于计算机视觉下游任务(最近基于维特的魔幻变化还不到几百篇文章??)

拜尔

自MoCo出现以来,自监督领域再次成为热点,但BYOL以前的方法仍然遵循正样本对逼近、负样本对拒绝的原则。然而,BYOL却疯狂地抛弃了负样本排除原则,只遵循缩小正样本对的原则,取得了很好的效果。这个概念是什么?这是自我监督的周伯通。他的左手和右手互相交流,不用和别人实战就能练出绝世的魔法。

神经衰弱

NeRF,你只需要输入少量的静止图片就可以实现多视角的逼真3D效果。

看看演示效果吧!

GPT-3级

你只需要钱!OpenAI的GPT-3将训练参数叠加到1750亿个,数据集的总数是之前发布的GPT-2的116倍,这是迄今为止最大的训练模型(Switch Transformer于2021年1月更新)。

字母文件夹2

蛋白质结构预测问题是结构生物学中一个具有里程碑意义的问题。每两年,人类组织一次蛋白质结构预测竞赛。CASP14 Alphafold2血液滥用其他算法。

这幅画的概念是什么?

CASP用来衡量预测准确性的主要指标是GDT,其范围为0-100。GDT可以粗略地看作是与实验结构相比,在正确位置成功预测的比例。70分意味着同源性建模的准确性已经达到。非正式地说,90分左右就能和实验结果抗衡!

这次AlphaFold2直接得到总分92.4分,实验误差为1.6分。即使在没有同源模板的最难蛋白质上,这个分数也达到了可怕的87.0。

最后

前四项工作对变压器、自监督和三维视觉等领域有着深远的影响,将在一定程度上指导NLP和CV的发展。后两项工作可能会对行业产生破坏性影响,并持续下去。

参考

[1] 利用变压器进行端到端目标检测

[2] 一幅图像价值16×16个字:用于图像识别的变形金刚

[3] 引导你自己潜在的自我监督学习的新方法

[4] NeRF:将场景表示为视图合成的神经辐射场

[5] 语言模型是少数的学习者

[6] AlphaFold:一个50年的生物学大挑战的解决方案

机器学习/深度学习算法/自然语言处理交流小组

机器学习计算自然语言处理微信交流群已经建立!想加入交流小组学习的同学可以直接添加我的微信ID:HIT\ NLP。添加时备注:智虎+学校+昵称(无备注不接受任何协议,希望理解),如果您想加入pytorch集团,可以备注智虎+学校+昵称+pytorch。然后我们可以把你拉进小组。团里已经有不少国内外大学生,交流气氛非常好。

最新资讯 更多 >>

  • 2021-06-23

    百度输入法升级后的AI助聊,让你更方便

    当输入法遇到人工智能时,人们的习惯就会完全改变;过去,无论是电脑还是手机,打字方法大致分为拼写或手写两种,拼写又可细分为拼音、五笔等。随着图片和声音的加入,人们的交流方式也得到了丰富。如今,输入法已不再是简单的文本编辑工具,而是为多样化的信息输入提供了便捷的渠道。以百度输入法为例,随着其在高智能人工智能领域的不断深入,用户对其功能的喜爱程度也越来越高。目前,百度输入法已经在很多功能上引入了人工智能

  • 2021-05-20

    2021-2024中国人工智能产业深入研究及投资前景预测报告

    人工智能(Artificial Intelligence,简称AI)是研究人类智能活动规律,构建具有一定智能程度的人工系统,研究如何让计算机完成过去需要人类智能的任务,即,研究如何利用计算机软硬件来模拟人类某些智能行为的基本理论、方法和技术。人工智能是计算机科学的一个分支。它被称为20世纪三大前沿技术之一(空间技术、能源技术、人工智能)和21世纪三大前沿技术之一(基因工程、纳米技术)。科学,人工智

  • 2020年人工智能领域的划时代工作

  • AI人工智能是不是走错了方向?

  • 如何自学人工智能AI?

首页
智语
新闻