欢迎访问行业研究报告数据库

行业分类

当前位置:首页 > 报告详细信息

找到报告 1 篇 当前为第 1 页 共 1

稀疏率降低的白盒Transformers-AI前沿跟踪系列九

加工时间:2023-12-28 信息来源:EMIS 索取原文[8 页]
关键词:白盒 Transformers;稀疏率降低;黑盒
摘 要:

Yi Ma et al. 在论文《White-box transformers via sparse rate reduction: compression is all there is?》中提出了一个具备数学可解释性的白盒类 Transformer 模型 CRATE。文中引入了一个核心概念“稀疏率降低”(Sparse Rate Reduction),通过同时最大化内在信息增益和外在稀疏性来评估在深度学习网络学习到的表征的质量。基于 CRATE 架构的深度学习模型在多个基准测试中证明作为一种新型的网络架构在大规模真实数 据集上的有效性和潜力。


目 录:

image.png

© 2016 武汉世讯达文化传播有限责任公司 版权所有
客服中心

QQ咨询


点击这里给我发消息 客服员


电话咨询


027-87841330


微信公众号




展开客服