人工智能和知识图谱与简要实例.docxVIP

人工智能——知识图谱 数据分析 偏业务：业务数据分析师==数据产品经理==数据产品总监 偏技术：算法师、架构师==研发经理==研发总监 偏美工：BI工程师 人工智能是数据分析一个小的模块 人工智能包括哪些？ 语音识别?语音转化成文本 自然语言处理?对文本进行分析 例如：siri 图像识别?基于图像进行分析 专家系统?底层知识库/知识图谱的集合 例如：SVM、逻辑回归的联系与区别？ 联系：主要支持二分类 区别：SVM是寻找一条线划分数据集中最近的两个点，逻辑回归是寻找一条线到两侧全局数据点距离最大 那么HMM隐马尔可夫模型是什么？ 词性粘合 语音识别?语音转化成文本 不建议钻研（技术相对成熟、训练结果大量依靠人工标注） 自然语言处理?对文本进行分析 基于词：中文分词、命名实体识别、关键词提取、词性标注 基于句：依存句法、指代消解 基于段落：意图识别 基于篇章：文本分类、文本聚类 例如：我今天在三里屯买了一个苹果，那个苹果很好吃！ 中文分词 我今天在三里屯买了一个苹果，那个苹果很好吃！ 我/今天/在/三里屯/买了/一个/苹果，那个/苹果/很/好吃！ 我/今天/在/三里屯/买了/一个/苹果，那个/苹果/很好/吃！ 我/今天/在/三里屯/买了/一个/苹果，那个/苹果/很/好/吃！ 北京大学 命名实体识别（词性粘合，HMM隐马尔可夫模型） 粘合：人名、地名、机构名、品牌名 我今天在三里屯买了一个苹果，那个苹果很好吃！ 三里屯、苹果 未登录 关键词提取（TF-IDF、LDA主题模型） Text1玫瑰花/多少钱 玫瑰花 Text2向日葵/多少钱 向日葵 Text3百合花/多少钱 百合花 多少钱 词性标注 指代消解 我今天在三里屯买了一个苹果，那个苹果很好吃！ 依存句法 我 买了 苹果 今天 在 三里屯 很 好吃 意图识别 文本数据脱敏 1.字符串替换 replace() infile=open(d:\\test\\a1.txt,r,encoding=utf-8).read() #内存 # r只读 # w写入，覆盖 # a写入，追加 new_infile=infile.replace(坐席,aaa) #内存 outfile=open(d:\\test\\a1.txt,w,encoding=utf-8) #硬盘 outfile.write(str(new_infile)) outfile.close() 2.正则表达式替换 import re infile=open(d:\\test\\a1.txt,r,encoding=utf-8).read() #内存 words=pile(客户) #关键词定位 new_infile=words.sub(bbb,infile) #关键词替换 outfile=open(d:\\test\\a1.txt,w,encoding=utf-8) #硬盘 outfile.write(str(new_infile)) outfile.close() 3.批量字符串替换 import os rootdir=d:\\test\\ for root,dirs,files in os.walk(rootdir): for i in files: i = root + i infile=open(i,r,encoding=utf-8).read() #内存 new_infile=infile.replace(坐席,aaa) #内存 outfile=open(i,w,encoding=utf-8) #硬盘 outfile.write(str(new_infile)) outfile.close() 4.批量正则表达式替换,客户替换成bbb import os import re rootdir=d:\\test\\ for root,dirs,files in os.walk(rootdir): for i in files: i = root + i infile=open(i,r,encoding=utf-8).read() #内存 words=pile(客户) #关键词定位 new_infile=words.sub(bbb,infile) #关键词替换 outfile=open(i,w,encoding=utf-8) #硬盘 outfile.write(str(new_infile)) outfile.close() 图像识别?基于图像进行分析 见所见，所见非所见，闻所闻，所闻非所闻——《世说新语》 import turtle turtle.penup() turtle.goto(0,-200) turtle.pendown(