原创力文档- 1、原创力文档（book118）网站文档一经付费（服务费），不意味着购买了该文档的版权，仅供个人/单位学习、研究之用，不得用于商业用途，未经授权，严禁复制、发行、汇编、翻译或者网络传播等，侵权必究。。
- 2、本站所有内容均由合作方或网友上传，本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺！文档内容仅供研究参考，付费前请自行鉴别。如您付费，意味着您自己接受本站规则且自行承担风险，本站不退款、不进行额外附加服务；查看《如何避免下载的几个坑》。如果您已付费下载过本站文档，您可以点击 这里二次下载。
- 3、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等，请点击“版权申诉”（推荐），也可以打举报电话：400-050-0827(电话支持时间：9:00-18:30)。
- 4、该文档为VIP文档，如果想要下载，成为VIP会员后，下载免费。
- 5、成为VIP后，下载本文档将扣除1次下载权益。下载后，不支持退款、换文档。如有疑问请联系我们。
- 6、成为VIP后，您将拥有八大权益，权益包括：VIP文档下载权益、阅读免打扰、文档格式转换、高级专利检索、专属身份标志、高级客服、多端互通、版权登记。
- 7、VIP文档为合作方或网友上传，每下载1次， 网站将根据用户上传文档的质量评分、类型等，对文档贡献者给予高额补贴、流量扶持。如果你也想贡献VIP文档。上传文档
轻量级变压器用于零样本和微调文本到SQL生成使用Spider
ChiragSethUtkarshSingh
UniversityofWaterlooUniversityofWaterloo
Waterloo,ON,CanadaWaterloo,ON,Canada
cseth@uwaterloo.cau25singh@uwaterloo.ca
AbstractKatsogiannis-MeimarakisandKoutrika,2023)。
文本到SQL的翻译使非专家用户能够使用
尽管像GPT-3和GPT-4这样的大型语言
自然语言查询关系数据库，在教育和商业
智能中具有应用。本研究评估了三个轻量模型(LLMs)在提高文本到SQL系统的准确
级变压器模型——T5-Small、BART-Small性和鲁棒性方面取得了显著进展，但这些模型
本和GPT-2——在Spider数据集上的表现，通常伴随着高昂的计算和财务成本。它们的规
重点关注资源匮乏的情况。我们开发了模和资源需求使得许多学术机构、初创公司和
译一个可重复使用的、与模型无关的管道，边缘计算环境在硬件和预算受限的情况下难以
中将模式格式调整为每个模型的架构，并使用。
1在1000到5000次迭代之间进行训练，在
v1000个测试样本上使用逻辑形式准确性
3（LFAcc）、BLEU和精确匹配（EM）指标在这项研究中，我们通过关注参数范围从
2
6进行评估。微调后的T5-Small实现了最50M到500M的小型语言模型（SLMs）来弥
4
0高的LFAcc（27.8%），优于BART-Small补这一差距。这些模型在性能和效率之间取得
.
8（23.98%）和GPT-2（20.1%），突显了编码了平衡，使它们非常适合需要快速推理、较低
0
5器-解码器模型在模式感知SQL生成中的延迟和有限计算资源的场景。具体而言，我们
2优势。尽管资源限制影响性能，但我们的
:在广泛采用的Spider数据集上探索并比较了
v管道的模块化支持未来增强，例如高级模
iBART-small、T5-small和GPT-2模型的表现，
x式链接或替代基础模型。本工作强调了紧
r这是一个针对跨域文本到SQL任务具有挑战
a凑型变压器对于资源匮乏环境中可访问的
文本到SQL解决方案的潜力。性的基准测试。除了评估这些模型外，我们还
提供了一个简化且可重复使用的代码库，旨在
为从事类似任务的开发人员和研究人员简化训
1介绍
练、微调和推理工作流程。我们的工作旨在通
文本
您可能关注的文档
最近下载
- 专业Latex文档翻译 + 关注
-
实名认证服务提供商
专业Latex文档翻译，完整保持文档排版，完美处理文档中的数学公式和图表等元素，并提供 arXiv Latex 论文中文翻译。
文档评论（0）