长文本 LLMs 推理优化：动态稀疏性算法的应用实践.pdf

长文本LLMs推理优化：动

态稀疏性算法的应用实践

当前，大模型技术正引领软件开发范式的革新，重塑生产关系。在此激变之中，QCon以“全面进化”作为2024年度主题，旨在携手创新技术引领者，面向5年以上工作经验的技术团队负责人、架构师、工程总监、产品负责人分享实践洞见与深度经验，并同步革新会议组织模式，以此催化企业实现从技术、产品到组织的全方位立体化的转型升级。

演讲人：姜慧强

目录

当前，大模型技术正引领软件开发范式的革新，重塑生产关系。在此激变之中，QCon以“全面进化”作为2024年度主题，旨在携手创新技术引领者，面向5年以上工作经验的技术团队负责人、架构师、工程总监、产品负责人分享实践洞见与深度经验，并同步革新会议组织模式，以此催化企业实现从技术、产品到组织的全方位立体化的转型升级。

LLMsInference优

0102长文本推理挑战

化方法

03观察与解决方案04总结和未来展望

当前，大模型技术正引领软件开发范式的革新，重塑生产关系。在此激变之中，QCon以“全面进化”作为2024年度主题，旨在携手创新技术引领者，面向5年以上工作经验的技术团队负责人、架构师、工程总监、产品负责人分享实践洞见与深度经验，并同步革新会议组织模式，以此催化企业实现从技术、产品到组织的全方位立体化的转型升级。

01

LLMsInference

当前，大模型技术正引领软件开发范式的革新，重塑生产关系。在此激变之中，QCon以“全面进化”作为2024年度主题，旨在携手创新技术引领者，面向5年以上工作经验的技术团队负责人、架构师、工程总监、产品负责人分享实践洞见与深度经验，并同步革新会议组织模式，以此催化企业实现从技术、产品到组织的全方位立体化的转型升级。

优化方法

LLMsInference优化方法

当前，大模型技术正引领软件开发范式的革新，重塑生产关系。在此激变之中，QCon以“全面进化”作为2024年度主题，旨在携手创新技术引领者，面向5年以上工作经验的技术团队负责人、架构师、工程总监、产品负责人分享实践洞见与深度经验，并同步革新会议组织模式，以此催化企业实现从技术、产品到组织的全方位立体化的转型升级。

Resummarizedbasedon/abs/2312.15234.

LLMsInference优化方法

当前，大模型技术正引领软件开发范式的革新，重塑生产关系。在此激变之中，QCon以“全面进化”作为2024年度主题，旨在携手创新技术引领者，面向5年以上工作经验的技术团队负责人、架构师、工程总监、产品负责人分享实践洞见与深度经验，并同步革新会议组织模式，以此催化企业实现从技术、产品到组织的全方位立体化的转型升级。

BitNetYOCOQ-Sparse

02

长文本推理挑战

当前，大模型技术正引领软件开发范式的革新，重塑生产关系。在此激变之中，QCon以“全面进化”作为2024年度主题，旨在携手创新技术引领者，面向5年以上工作经验的技术团队负责人、架构师、工程总监、产品负责人分享实践洞见与深度经验，并同步革新会议组织模式，以此催化企业实现从技术、产品到组织的全方位立体化的转型升级。

Long-contextwillunlockintelligent

applications

当前，大模型技术正引领软件开发范式的革新，重塑生产关