姜慧强-长文本LLMs推理优化动态稀疏性算法的应用实践.docxVIP

长文本LLMs推理优化：动态稀疏性算法的应用实践

长文本LLMs推理优化：动

态稀疏性算法的应用实践

演讲人：姜慧强

目录LLMsInference优化方法0102长文本推理挑战0304观察与解决方案总结和未来展望

目录

LLMsInference优化方法

01

02

长文本推理挑战

03

04

观察与解决方案

总结和未来展望

LLM0

LLM0sInference

优化方法

LLMsInference优化方法Resummarizedbasedon/abs/2312.15234.

LLMsInference优化方法

Resummarizedbasedon/abs/2312.15234.

LLMsInference优化方法Q-SparseBitNetYOCO

LLMsInference优化方法

Q-Sparse

BitNet

YOCO

长文0本推

长文0本推2理挑战

Long-contextwillunlockintelligentapplicationsLong-videoUnderstanding/GenerationRepo-levelDebugging/QASelf-playReasoning

Long-contextwillunlockintelligent

applications

Long-videoUn