原创力文档DiffRate：Vision Transformer中的可微分token压缩率 DiffRate - Differentiable Compression Rate for Efficient Vision Transformers.docx
- 1、本文档共39页，可阅读全部内容。
- 2、原创力文档（book118）网站文档一经付费（服务费），不意味着购买了该文档的版权，仅供个人/单位学习、研究之用，不得用于商业用途，未经授权，严禁复制、发行、汇编、翻译或者网络传播等，侵权必究。
- 3、本站所有内容均由合作方或网友上传，本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺！文档内容仅供研究参考，付费前请自行鉴别。如您付费，意味着您自己接受本站规则且自行承担风险，本站不退款、不进行额外附加服务；查看《如何避免下载的几个坑》。如果您已付费下载过本站文档，您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等，请点击“版权申诉”（推荐），也可以打举报电话：400-050-0827(电话支持时间：9:00-18:30)。
DiffRate:Differentiable
CompressionRatefor
EfficientVisionTransformers
MengzhaoChen1,2,WenqiShao2,PengXu2,3,MingbaoLin4,KaipengZhang2,FeiChao1,RongrongJi1,YuQiao2,PingLuo2,3
1XiamenUniversity,2ShanghaiAILaboratory,3TheUniversityofHongKong,4Tencent
Outline
?BackgroundofTokenCompressioninVisionTransformer?TokenPruning
?TokenMerging
?OurNovelSolution:DiffRate
?Method
?ExperimentResults
Outline
?BackgroundofTokenCompressioninVisionTransformer?TokenPruning
?TokenMerging
?OurNovelSolution:DiffRate
?Method
?ExperimentResults
Background
Animageisworth16x16words:Transformersforimagerecognitionatscale.ICLR2020
Background
?QuadraticallyComputationComplexity
D:embeddingdimension
Channelpruning
N:tokennumber
Tokencompression
Pruning
Merging
EfficientViT:EnhancedLinearAttentionforHigh-ResolutionLow-ComputationVisualRecognition.ICCV23
TokenPruning
Notallpatchesarewhatyouneed:Expeditingvisiontransformersviatokenreorganizations.ICLR22
TokenPruning
Key:Howtoidentifytheredundanttokens？
DynamicViT:EfficientVisionTransformerswithDynamicTokenSparsificatio.NeurIPS2021
TokenPruning
Attentionmapisanexcellentimportancemetric.
a∈R1?N
Notallpatchesarewhatyouneed:Expeditingvisiontransformersviatokenreorganizations.ICLR22
TokenMerging
Key:Combinesimilartokensinsteadofdroppingthem
TokenMerging:YourViTbutFaster.ICLR23
OurInsights
?Drawback:Regardlayer-wisetokencompressionratesashyper-parameters
?TokenPruning:prunep%tokensineveryslayers.
?TokenMerging：
tediousandsub-optimalperformance
?Oursolution:transfertokencompressionrateintodifferentiablemanner.
OurInsights
?Extension:Canweexpandthepotentialoftokencompression？
?TokenPruning:removesemanticirrelevanttokens
?TokenMerging:combinesemanticsimilartokens
Howcanwecombinepruningandmerging?
?Oursolution:Pruning+Mergi
您可能关注的文档
- 氟化工行业周报：萤石价格年内新高，制冷剂、氯化物全面上行，上涨态势有望持续.docx
- 高盛（Goldman Sachs）：人工智能可能对经济增长产生巨大的影响（上）.docx
- 公用事业-CCER重启预期升温，哪些领域有望重点受益,(1).docx
- 公用事业-CCER重启预期升温，哪些领域有望重点受益,.docx
- 9月PMI数据以及未来经济展望：经济修复：外需强于内需.docx
- 10月债券月报：调整前置，债市进入短暂修复期.docx
- BOMA：中国2023年商用楼宇租户满意度基准报告.docx
- IMF：2023年10月《全球金融稳定报告》第三章：释放新兴市场和发展中经济体私人气候融资的金融部门政策（摘要）.docx
- 安车检测 -设备+检测站运营双轮驱动，机动车检测龙头有望二次腾飞.docx
- 奥纬咨询（Oliver Wyman） ：豪华汽车驶入智能加速道--全球豪华与超豪华汽车市场前景展望（上）.docx
文档评论（0）