• 网址导航
  • 微信客服
  • 源码模板:6
  • 记录:4901|
  • 壁纸:7185|
  • 网页模板:6014|
  • 代码:2630|
  • 评论:1|
  • 会员:1|
刷新世界纪录!腾讯光影研究室在CVPR单目深度估计竞赛中以绝对优势夺冠

刷新世界纪录!腾讯光影研究室在CVPR单目深度估计竞赛中以绝对优势夺冠

浏览次数:
  
栏目: 站长资讯
信息来源: 本站原创/互联网
更新日期: 2021-05-30 19:58:18
文章简介

立业博客 www.liye5.com 免费分享近日,腾讯光影研究室(Tencent GY-Lab)凭借自研GYDepth算法,在CVPR 2021 Workshop的Mobile AI单目深度估计竞赛中以领先第二名9倍的绝对优势夺冠,击败三星、OPPO等手机厂商和国内外著名高校。

  • 正文开始
  • 相关阅读
  • 推荐作品

  项目招商找A5 快速获取精准代理名单

近日,腾讯光影研究室(Tencent GY-Lab)凭借自研GYDepth算法,在CVPR 2021 Workshop的Mobile AI单目深度估计竞赛中以领先第二名9倍的绝对优势夺冠,击败三星、OPPO等手机厂商和国内外著名高校。

关于Mobile AI 2021

CVPR是世界计算机视觉三大顶级会议之一,Mobile AI是CVPR 2021其中一项Workshop比赛,除了单目深度估计竞赛之外,还包括图像超分、视频超分等任务。这项比赛以“Mobile”为名,主打移动端芯片上的AI能力,在AI相关技术领域受到广泛关注和高度认可,吸引着众多手机厂商如三星,OPPO和国内外著名高校参与。

光影实验室自研GYDepth算法,斩获单目深度估计竞赛第一名

单目深度估计是计算机视觉领域的一项基础任务,其目的在于让普通的RGB摄像头能够识别出视野内的物体距离摄像头的远近。单目深度估计技术的完善能够让主流AR玩法摆脱深度摄像头的限制,走向更普遍的机型。

比赛的最终指标由模型精度与模型速度两部分组成,而此次比赛中,单目深度估计的数据大多来自室外场景,并由ZED双目摄像头采集。相比传统AR玩法常用的室内场景的多样性会更多,难度更大。

针对Mobile AI室外场景,腾讯光影研究室在常规单目深度估计模型训练框架的基础上,对网络结构、训练方式、模型部署上做了针对性调整。

在网络结构设计上,团队在模型小型化上投入了大量精力。整体网络是一个标准的Encoder-Decoder模型,模型自原图输入后经过了4次共16倍的下采样,然后经过特征融合模块再逐层上采样回初始的分辨率。在模型上采样的过程中,由于模型部署条件的限制,腾讯光影研究室摒弃了Depthwise Deconvolution的方案,转而选择了实现更加高效的Resize + Depthwise Convolution组合。不过,小模型自然也会带来精度指标的降低。为了弥补这一差距,团队在训练流程中引入了在线蒸馏。由于单目深度估计本身就是对输出的单通道Feature Map进行回归,这里继续对Soft Label进行蒸馏会和GT产生歧义,因此他们选择在Hint Feature进行蒸馏,并且使用了网络结构类似的服务器端开源大模型Bts作为Teacher。

除此之外,在训练过程中,团队除了使用常规的Flip、Color Transform外,还针对固定分辨率下绝对深度的特性,对RGBD图片对采用了Random Crop的策略。和常规Crop不同,团队在Crop后利用相似三角形的特性对Depth的值进行了补偿,其背后的原理类似于使用相机拍摄时,把画面放大和拍摄者向前走能达到一样的效果。

另外,在模型部署上,Mobile AI Depth竞赛要求提交的模型以Float32 TFLite形式在树莓派Raspberry Pi 4上以CPU运行。这意味着传统上针对Conv等基础算子在CPU上的计算优化是不可用的,模型的速度实打实的和模型计算量正相关。为了满足比赛提交的要求,腾讯光影研究室打通了PyTorch -> Onnx -> Keras -> TFLite的转换路径,并确保了转换前后模型端到端精度误差小于1e-6。

持续深耕AI前沿技术研发,赋能更多应用场景

实际上,光影研究室的AR玩法中,或多或少都有单目深度估计技术的身影,通过压缩、剪枝、蒸馏获得的小模型,可以在手机移动端实时运行,并覆盖ios和android双端90%以上的机型。目前单目深度估计技术已作为基础能力在多个AR玩法中发挥作用。比如,在手机QQ的AR蛋糕等贴纸类玩法中,单目深度估计技术提供了贴纸目标在空间中的方向与位置,使得AR算法能够快速初始化;在水淹食堂特效中,单目深度估计模型提供了视野中每个点距离相机的远近,结合相机内外参可以计算其在世界坐标系下的位置,从而实现AR特效。

未来,光影研究室也将持续深耕AI前沿技术的研发和积累,探索并开放更多场景的创意玩法及能力,为用户提供充满趣味惊喜的社交和视觉新体验。

关于腾讯光影研究室

腾讯光影研究室是腾讯旗下专注于研究前沿影像处理技术的团队,在单目深度估计技术、语义分割、目标检测、分类识别、GAN生成对抗等方面均有深厚的技术积累。团队一直致力于探索泛娱乐综合解决方案,将前沿的AI能力、先进的玩法引擎和3D渲染技术赋能产品,让视觉创意更多样,音视频编辑更智能,社交沟通更趣味。目前,QQ、微视等超20款业务产品中,均有光影研究室技术的身影。

转载请注明:立业博客分享[--class.name--]教程» 刷新世界纪录!腾讯光影研究室在CVPR单目深度估计竞赛中以绝对优势夺冠

标签: 站长资讯
一加 9R 青宇配色开启预售,8GB+256GB惊喜到手价2999元
« 上一篇 2021-05-30 19:58:18
持续释放金融云能力 百融云创打造数字化转型新引擎
下一篇 » 2021-05-30 19:58:18
  • 帝国cms评论时间如何去和去掉时分秒保留日期
    6阅读0条评论来源:互联网/原创
    立业博客 www.liye5.com 免费分享帝国cms评论默认的时间样式是:2021-4-19 12:39:27,那么如何修改成2021-4-19,解决办法如下:一、使用帝国cms默认评论解决办法:路径:e/pl/more/index.php 找到:$saytime=date('Y-
  • 帝国cms本地电脑搬家到服务器,内容页链接还是127.0.0.1
    3阅读0条评论来源:互联网/原创
    立业博客 www.liye5.com 免费分享在本地电脑搭建帝国cms,调式好了以后在搬家到服务器,但是内容页链接还是127.0.0.1开头处理办法其实很简单1、修改网站地址路径:后台--系统--系统设置--系统参数设置--网站地址(
  • 网站搬家迁移数据后登陆后台提示以下代码
    1阅读0条评论来源:互联网/原创
    立业博客 www.liye5.com 免费分享网站搬家迁移数据后登陆后台提示以下代码:Table 'cywlv2020.***_enewsloginfail' doesn't exist
    select count(*) as total from **_enewsloginfail where ip=&#
  • 帝国CMS内容页灵动标签调用上一篇下一篇代码
    4阅读0条评论来源:互联网/原创
    立业博客 www.liye5.com 免费分享帝国cms内容模版在文章结尾常常会调用上一篇和下一篇,那么如何实现灵动标签的调用呢我们先看内容模版中上一篇和下一篇的模版变量上一篇:[!--info.pre--]下一篇:[!--info.next-
  • windows系统建站环境下的帝国cms搬家经历
    4阅读0条评论来源:互联网/原创
    立业博客 www.liye5.com 免费分享这两天服务一个客户,客户是一名人民教师,刚接手学校的网站工作。服务的内容主要就是网站的搬家以及提供域名找回的简单指导!对于网站搬家大家可以参考我博客的文章《帝国cms搬
  • 帝国cms栏目id归零从1开始解决方案
    6阅读0条评论来源:互联网/原创
    立业博客 www.liye5.com 免费分享在帝国cms建站过程,有时候网站需要改版,把不需要的栏目删除,这就造成栏目id的不连续性,为了栏目id的连续性,可以清空栏目id,让栏目id归零从1开始,解决办法如下:复制SQL数据库代码TRU
  • 帝国cms自定义页面修改提交不生效
    4阅读0条评论来源:互联网/原创
    立业博客 www.liye5.com 免费分享帝国cms自定义页面修改或者增加自定义页面,无法生成想要的效果?一般无法增加自定义页面就是根目录没有设置777权限,而修改自定义页面提交后无法生成效果一般就是网站搬家后没有
  • 帝国cms评论仿wordpress用户名添加网址作为外链跳转
    3阅读0条评论来源:互联网/原创
    立业博客 www.liye5.com 免费分享帝国cms评论功能默认匿名评论作者是不带任何链接的,那么如何实现类似wordpress博客程序,输入用户名、网址,点击用户名会跳转到用户预留的网站链接呢其实很简单,评论外链作为吸引
  • 帝国cms此网页显示There was a problem with the request
    6阅读0条评论来源:互联网/原创
    立业博客 www.liye5.com 免费分享帝国cms搬家或者换域名后打开信息内容页显示此网页There was a problem with the request,这设置的域名与我们浏览内容页显示的域名不一致造成的只需要修改网站地址即可路径:
  • 帝国cms评论功能的用户名自带链接如何去除
    3阅读0条评论来源:互联网/原创
    立业博客 www.liye5.com 免费分享帝国cms评论功能的用户名自带链接是默认用户登陆状态下自带的链接,也就是跳转到用户个人空间。这时候如果不需要显示登陆状态下的跳转只需要修改e/data/template/pltemp.txt
  • 帝国cms网站地图生成不了解决办法
    3阅读0条评论来源:互联网/原创
    立业博客 www.liye5.com 免费分享在上一篇文章中《帝国CMS网站地图sitemap.xml制作与提交百度收录设置》,部分网友按照覃师宁博客介绍内容自定义页面设置网站地图sitemap.xml,发现生成不了,这是什么原因造成的,
  • 帝国cms官方评论插件如何调用评论自定义字段
    7阅读0条评论来源:互联网/原创
    立业博客 www.liye5.com 免费分享部分网友咨询网站评论实用帝国cms官方ajax插件,但是评论自定义字段无法调用,也就是在文件index.temp.php中调用字段前台不显示如何解决?很简单,在e\extend\infocomment\index.ph
  • 帝国cms7.5如何设置会员VIP投稿不需要审核直接通过
    2阅读0条评论来源:互联网/原创
    立业博客 www.liye5.com 免费分享为了网站建设的需要,很多使用帝国cms搭建的网站往往开通了投稿的功能,为了区分普通会员和VIP会员的区别,如何设置VIP会员投稿直接发布不需要审核,而普通会员需要审核才能发布呢?
  • 帝国CMS投票结果如何在内容页面调用直接显示
    2阅读0条评论来源:互联网/原创
    立业博客 www.liye5.com 免费分享帝国CMS投票结果默认是在单独页面显示,那么如何在内容信息页面直接调用显示呢?内容直接显示投票结果,如图具体实现方式:1、内容页面调用显示投票项目路径:后台--模版-内容模版--
  • 帝国CMS网站地图sitemap.xml制作与提交百度收录设置
    2阅读0条评论来源:互联网/原创
    立业博客 www.liye5.com 免费分享帝国CMS网站地图sitemap.xml的作用是为了方便百度蜘蛛爬行和索引网页,加快网站页面的收录,那么帝国cms如何制作网站地图sitemap.xml页面,并提交到百度站长搜索资源平台!1、帝国c
  • 帝国cms如何关闭自带的会员注册功能
    1阅读0条评论来源:互联网/原创
    立业博客 www.liye5.com 免费分享使用帝国cms建站如果没有必要会员注册的需要,还是建议关闭会员注册的功能,一方面为了网站安全,另一方面也避免一些别有用心的人恶意注册导致数据库资源大量占用间接影响服务器
  • 帝国CMS如何调用评论最多的文章
    3阅读0条评论来源:互联网/原创
    立业博客 www.liye5.com 免费分享帝国CMS调用评论最多的文章我们需要使用灵动标签进行调用,调用代码如下 [e:loop={'select * from [!db.pre!]ecms_cms where checked=1 order by plnum desc,id desc lim
  • 帝国cms7.5留言板nginx伪静态规则设置方法
    3阅读0条评论来源:互联网/原创
    立业博客 www.liye5.com 免费分享帝国cms7.5留言板页面url网址默认是动态页面e/tool/gbook/?bid=1模式,那么网址url如何进行伪静态规则设置成为gbook/1.html样式呢?先看案例网址:留言板动态网址: http://qinshin
  • 帝国cms新闻模型与文章模型的区别
    4阅读0条评论来源:互联网/原创
    立业博客 www.liye5.com 免费分享帝国cms新闻模型和文章模型的区别,以下观点和内容是覃师宁博客阅读帝国cms使用手册后得出的结论1、新闻系统模型新闻正文(newstext)字段存放在数据库,而文章系统模型新闻正文(
  • 帝国cms文章信息添加反斜杠前台页面不显示解决办法
    4阅读0条评论来源:互联网/原创
    立业博客 www.liye5.com 免费分享帝国cms后台添加文章内容使用到反斜杠\\,但是前端文章页面并不会出现反斜杠\\符号,对于前端网站而言,晒代码经常需要反斜杠的地方很多,不能使用就很不方便了。那么如何解决?某歌
  • 新闻媒体资讯模板/个人博客资讯模板/企业新闻资讯官网帝国cms模板响应
    1阅读0条评论来源:互联网/原创
    模板是用帝国cms最新内核开发的模板,该模板属于新闻媒体资讯模板/个人博客资讯模板/企业新闻资讯官网 首先声明:此模板不是原创,是仿的一个站,由于一个小朋友喜欢,我就给他仿了一下!不是原创哦 !是仿仿仿的! 换成你的,颜色都可以修改,改完让你耳目一新的感觉! 响应式自适应设计,同一个后台,数据即时同步,简单适用! 原创设计、手工书写DIV+CSS, 完美兼容IE7+、Firefox、Chrome、360浏览器等;主流浏览器; 页面以下为引用:简洁简单,容易管理,DEDE内核都可以使用;附带测试
  • 大气财务公司/会计公司/代理记账公司网站模板/电脑端手机端自适应模板
    49阅读0条评论来源:互联网/原创
    帝国cms最新内核开发的模板,该模板属于企业通用类、金融、理财、投资类企业都可使用, 这款模板使用范围极广,不仅仅局限于一类型的企业,你只需要把图片和产品内容; 换成你的,颜色都可以修改,改完让你耳目一新的感觉!
  • 电脑壁纸/手机壁纸/美女图片整站源码(帝国cms内核)瀑布流美图网站源码免
    51阅读0条评论来源:互联网/原创
    今天立业阁花了一点时间,仿了一个电脑手机壁纸网站,我已经采集了几千条数据,网站是瀑布流类型的美图网站源码,可以做电脑壁纸、手机壁纸、美女图篇等网站,也可以做视频播放站,都可以的,更加牛的是,给大家的福利,免费下载哦!有火车头采集哦! 源码介绍: 源码名称:【原创模板】电脑壁纸/手机壁纸/美女图片整站源码(帝国cms内核)瀑布流美图网站源码免费下载 模板内核:基于帝国cms7.5版本 目标站:可以多站点采集,目前只采集了一个站点(采集规则有偿) 安装环境:php7.3+mysql5.6 授权:无
  • 2021年精仿小刀娱乐网整站源码(带数据、整套火车头采集)帝国cms内核带售
    49阅读0条评论来源:互联网/原创
    源码名称:【原创模板】2021年精仿小刀娱乐网整站源码(带数据、整套火车头采集)帝国cms内核带售后包更新 模板内核:基于帝国cms7.5版本 目标站:小刀娱乐网 安装环境:php7+mysql 授权:无任何限制,开源无加密 源码功能: 1.后台自定义前台各种参数,无需再模板中修改(最主要的) 2.广告位丰富,均在后台控制,自由设置、添加。 3.集成百度推送、sitemap商业插件、商业留言板插件。 4.已做SEO优化并集成og协议。 5.等等,接了个单,这里先空着,先去做单子! 价
  • 帝国cms内核中小学学习辅导材料/电子本科网站响应式模板/整站源码带数
    53阅读0条评论来源:互联网/原创
    源码名称:【原创模板】帝国cms内核中小学学习辅导材料/电子本科网站响应式模板/整站源码带数据/带火车头采集/公众号引流利器 模板内核:基于帝国cms7.5版本 目标站:多站采集(包括中小学作文、各种辅导知识站、试卷站、课本站等多家站) 安装环境:php7.0+mysql5.7 授权:无任何限制,开源无加密 PC和wap:响应式模板 手机端请自行打开演示站
  • 个人博客网站模板/源码模板教程站长整站源码/wordpress内核站长资源网
    149阅读0条评论来源:互联网/原创
    立业博客于2021年5月30日23点改版啦,也就是现在大家看到的,之前用的是wordpress内核的程序,主题用的是riplus,现在改版了,所以把之前的整站打包下来了,给有需要的小伙伴,以后本站,主要更新原创模板和源码,包括写采集规则哦!