- 1、本文档共21页,可阅读全部内容。
- 2、原创力文档(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
- 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
1CombiningSmallLanguageModelsandLargeLanguageModelsforZero-ShotNL2SQL报告人VLDB2024
背景自然语言到SQL(NL2SQL)将自然语言问题转换为SQL查询,使非技术用户更容易访问和分析数据,因此可用于商业智能、数据分析和其他数据驱动的应用程序。现在的方法在部署到新环境中,还需要大量的注释数据来重新训练,导致数据依赖巨大。测试环境中不同的语言现象(例如,缩写、同义词等)可能会导致现有NL2SQL模型的性能急剧下降SLM预训练的数据集合和实际数据集有差距导致其结果出错,LLM有着更强大的推理能力,但是往往会无法实现精确的的模式对齐。2
动机SLM可以更好地理解数据库架构和SQL语法,这使其能够在结构识别和架构对齐方面表现出色。相比之下,现有研究表明,由于缺乏主要知识,LLM经常面临“幻觉”问题,生成与给定指令无关的文本。通用LLM具有强大的语言推理能力,非常适合需要复杂条件推理的SQL完成。此外,LLM还表现出出色的交互能力,使其能够通过适当的反馈有效地执行纠错。3
example4
ZNL2SQL5将NL2SQL任务分解为更小的子任务,这样每个子任务在我们的零镜头设置中更容易解决。自然,编写SQL查询的思考过程可以分为四个子任务:(1)识别由SQL保留关键字组成的查询结构,例如SELECT、FROM、WHERE和ORDERBY;(2)将相关的模式元素与问题对齐,即SELECT和FROM子句中的列和表;(3)完成SQLquerybydeducingconditionsinWHERE子句、ORDERBY或GROUPBY子句中的列等。(4)如果有语法或执行错误,则迭代更正SQL查询。
challengesandsolutions如何研发出一个SQL草图生成方法可以适应新的数据库和新的语言现象。是如何有效地指导LLM(例如GPT4)完成与数据库中存储的数据值一致的SQL查询引入基于SLM的encoderdecoder来生成sql草稿并设计了一个新奇的数据库序列化策略。并且一个问题敏感的工具依靠语言汉语来获得最相关的的SQL草稿设计了一种多级匹配策略,向LLM推荐最相关的值,并提出基于执行的选择策略,以选择没有语法或执行错误的最佳SQL查询。6
contributions第一个ZNL2SQL框架提出新技术来解决以下问题的挑战:SQL草图生成、SQL查询完成和更正全新的SOTAZNL2SQLResult实验证明本文的方法优于传统基于SLM和LLM的方法7
ZNL2SQL?Dtest={(Di,Qi,Si)}Mi=0?Dtrain={(Di,Qi,Si)}Mi=01.在一个新的数据库中测试2.用一个全新的问题测试3.用不同复杂度的SQL进行测试-训练时sql结构简单,测试时sql结构复杂8
整体框架SQLSketchGeneration:Q和D作为输入输出一些候选的SQLSketchDschemaSQLquerycompletionandcorrection:输入Dschema,SQLcompletionandcorrection模块指挥LLM补充相关的缺失值输出最佳的SQL语句
SQLSKERCHGENRATION/SQLSketchLearning将生成任务分为多个子部分,例如图中分为引起select子句,选择相关的tables,将问题转换为SQL结构Database-awareserialization:目前的SLM在进行NL2SQL时,会自动的直接从问题中选择相应的表格,本文将Dschema转换为序列,并强制要求SLM从序列中选择表格,之后再将表格中的参数转换为真实数据库中的tablesparas为了放置局部最优,保留了SLM生成的top-k作为候选。最终得到Dselect={selecti},Dfrom,andDkeywordsparameterlearning:通过最大化似然估计(MLE)来优化模型参数??θ,以最小化目标SQL查询的负对数似然。
SQLSKERCHGENRATION/SQLSketchLearningDatabase-awareserialization:目前的SLM在进行NL2SQL时,会自动的直接从问题中选择相应的表格,本文将Dschema转换为序列,并强制要求SLM从序列中选择表格,之后再将表格中的参数转换为真实数据库中的tablesparas为了放置局部最优,保留了SLM生成的top-k作为候选。最终得到Dsele
文档评论(0)