对话型应用实战：模型配置与应用创建精要.pdfVIP

概述

型应⽤采⽤⼀问⼀答模式与⽤户持续，可以⽤在客户服务、教育、医疗、

⾦融服务等领域，通过应⽤可以帮助提⾼⼯作效率、减少⼈⼯成本、带来更好的⽤户体验

创建应⽤

在⾸⻚点击创建应⽤按钮创建应⽤。填上应⽤名称，应⽤类型选择助⼿

为助⼿选择⼀个⼤语⾔模型，本例中使⽤的是qwen2:7b

！！模型参数配置（⾮常重要）！！！

在⼤语⾔模型中，token是指模型处理的单个⽂本元素，通常情况下这个元素可以是字符、

汉字或者词汇单位。在⼤语⾔模型中，token是模型输⼊和输出的基本单位，在实际应⽤

中，我们可以将任意⽂本分解为⼀系列的token，然后将这些token输⼊到模型中进⾏处

理，从⽽得到⽣成相关⽂本的能⼒。例：如果输⼊的⽂本是我最的，那么模型可能会给

出下⾯的概率分布：

贪⼼：直接选择概率最⾼的单词。这种⽅法的特点简单⾼效缺点是导致⽣成的⽂本过于

单调和重复

随机采样：按照概率分布随机选择⼀个单词，这种⽅法可以增加⽣成内容的多样性，但是可

能会导致⽣成的内容不连贯和⽆意义

BeamSearch：⼀个⼤⼩为k的候选序列集合，每⼀步都从每个候选序列中选择