对话系统和语义理理解技术-rokidlabs.pdfVIP

对话系统和语义理解技术
 陈⻅耸
 2016/12/07 ⼤纲 对话系统分类 语义理解 词向量 基于统计模型的语义理解技术 ▪ 短⽂本分类 ▪ 语义匹配 ▪ 序列标记 对话系统分类 问答式对话(question answering) ▪ 以给⽤户精确的答案为⽬标 ▪ “姚明的⼥⼉的⽣⽇” “2010年5⽉22 ⽇” ▪ 代表：IBM Watson 闲聊式对话(chat bot) ▪ 以满⾜某种情感需求的闲聊为⽬标 ▪ “你今天⼼情怎么样” “挺好的” ▪ 代表：⼩冰 任务式对话(task oriented dialogue) ▪ 以明确⽤户意图完成任务为⽬标 ▪ “北京今天天⽓如何” ▪ 代表：语⾳助⼿ 问答式对话技术 聊天式对话技术 检索式⽅案 ▪ 优势 ▪ 基本不会有语法错误 ▪ ⼩数据量时仍可work ▪ 劣势 ▪ ⽆法处理没⻅过的情况 ▪ 不能重新提到上下⽂中的的 实体信息 ▪ Q:“我叫陈⻅耸，很⾼兴⻅到你” ▪ A:“你好陈⻅耸” 聊天式对话技术 ⽣成式⽅案 ▪ 优势 ▪ ⽐较容易和上下⽂、知识、⽤ 户信息融合 ▪ 可以在回复中嵌⼊上下⽂遇到 的实体 ▪ 劣势 ▪ 需要⼤量的句⼦对训练 ▪ 很可能犯语法错误 ▪ 回复的多样性问题 任务式对话技术 语义理解(NLU) ▪ 将⾮结构化的⽂本信息转化为 结构化的语义表示 ▪ 领域、意图和槽 对话管理(DM) ▪ 根据语义理解的结果以及对话 的上下⽂语境等进⾏综合分析， 来决定采取什么动作(action) ▪ 状态更新 ⾃然语⾔⽣成(NLG) ▪ 将系统的动作转换为系统能够 理解的⾃然语⾔ ▪ 模板 语义理解(NLU) ⽂本转化为计算机可理解的语义表示 ▪ 领域(domain)、意图(intent)、槽(slot) ▪ 样例 ▪ “今天北京天⽓怎么样” ▪ “北京今天天⽓如何” ▪ “查⼀下天⽓，今天北京的” ▪ 语义表示 ▪ Domain=weather ▪ Intent=query_weather ▪ Slot: { city = 北京, date= 今天} 语义理解的挑战 语⾳识别错误 ▪ WER ：5% －20% ⼝语错误和重复 ▪ “25号中午提醒我打电话给⼩王，哦不，26号” ▪ “我要⼀个，⼀个中杯拿铁送到公司” 歧义性 ▪ “明早⼋点叫我起床” ▪ “我要听⽩雪公主” ⾃然语⾔的多样性 语义理解⽅法 基于规则的⽅法 ▪ ⽅法 ▪ 正则匹配 ▪ 基于关键词的匹配 ▪ 优势 ▪ 灵活 ▪