更多待解决问题>>

提问

CNN与Transformer融合原因

举报 回答
CNN与Transformer融合原因
问在线客服
扫码问在线客服

当数据量充足时，Transformer可达到与CNN相近的性能。但CNN+Transformer混合结构仍被广泛采用，因其能兼顾CNN的局部建模优势与Transformer的全局依赖捕获能... 查看全部

平板电脑 华硕Transformer Pad TF300TG

  • 回答数

    3

  • 浏览数

    6,106

举报 回答

3个回答 默认排序
  • 默认排序
  • 按时间排序

没找到满意答案？去问秘塔AI搜索
取消 复制问题

颛孙佑文　

Transformer在处理图像时对细节的建模能力相对有限。ViT相关研究指出，减小每个token所覆盖的图像区域（即窗口尺寸），通常能显著提升模型性能。然而，窗口越小，生成的token数量就越多，这会大幅增加计算与内存开销，当前硬件条件难以支撑极小窗口下的全局自注意力运算。为此，部分研究尝试将CNN引入视觉Transformer架构：利用CNN感受野灵活、局部建模精细的特点，先提取像素级或微小邻域内的底层特征，再将其转化为结构更紧凑、语义更丰富的token送入Transformer主干。长远来看，若算力实现跨越式突破，达到单像素对应一个token并支持全图范围高效自注意力计算，图像理解任务或将真正迈向统一建模范式。
评论
取消 评论
超值推荐

敏慧依柔　

此前已有CNN与RNN、CNN与LSTM的组合应用，因此CNN与Transformer的结合同样具备可行性与合理性。
评论
取消 评论

行恶暖梦　

因为CNN抓局部特征快，Transformer建全局关系强，俩凑一块儿刚好互补呗～
评论
取消 评论

最新回答 更多>

ZOL问答 > CNN与Transformer融合原因

热门平板电脑排行

查看更多排行 >

举报

感谢您为社区的和谐贡献力量请选择举报类型

广告内容 反动言论 色情内容 其他违规违法内容

举报成功

经过核实后将会做出处理
感谢您为社区和谐做出贡献

扫码参与新品0元试用
晒单、顶楼豪礼等你拿

扫一扫，关注我们
提示

确定要取消此次报名，退出该活动？

确定 取消