LLM+在+BI+场景的应用思路探索-陈庆.pdfVIP

BI场景

LLM应用探索

第四范式/陈庆

关于我

-机器学习平台（数据流、特征工程、MLOps）

-推荐平台（在线推荐引擎、策略编排）

-大模型应用（Copilot应用）

目录

•LLM+BI探索之旅

•场景落地介绍

•LLM应用开发思考

BI发展的历程

传统BI自助式BIAI+BI

•依赖IT部门生成报告，数据处理复杂。•业务用户可以直接操作数据，无需IT•集成人工智能和机器学习，自动化深

•主要是查看报告，互动少。介入，强调易用性。入分析。

•支持用户自行创建报告和分析，提高•更智能、更个性化的数据分析和见解

了数据的可访问性。获取。

传统行业BI使用现

状

数据孤岛分析能力有限用户参与度低

“千人千表”，同一业务数据有重查看，少分析，缺乏深入的数不够灵活易用，严重依赖IT或第

多种版本，易出现错漏，影响准据分析和预测能力三方，响应慢，成本高

确性和可信度

ChatGPTCodeInterpreter

LLMText-to-SQLs现状

•Spider数据集执行准确率达到91.2%

•BIRD-SQL执行准确率65.45%（人类92.96%）

•有限场景下，基于LLM微调能实现90%

RESDSQLC3SQL

LLMText-to-SQLs

有限场景下，基于LLM微调能实现90%+效果

特斯拉-Tesla

Text-to-SQLs落地难点

业务可信数据一致成本可控

•LLM擅长通识，缺少领域知识•业务数据变化频繁•微调模型在OOD上泛化性不足

•用户看不懂SQL，无法判断准确性•数据治理参差不齐•记住容易，忘记难

•底层数据不透明•治理成本高•整体算力成本高

Query：查询销量

SQL：selectsum(sales)fromt

真实的销量：sum(casewhenstatus1thensales

懂else0end)

不

看

我们的解决思路

数据一致

•业务数据变化频繁维度自动组合

•数据治理参差不齐

•治理成本高

语义化数据建模

•统一数据标准

•统一数据口径自动join

•不治理/少治理

我们的解决思路

业务可信

•LLM擅长通识，缺少领域知识•注入业务知识，用户可干预