一个设想：知识界面及交互学案.ppt

1。背景与意义 1.1人机知识/智能/自然交互关系是当今科学技术理论研究的前沿 美国总统信息技术顾问委员会的“21世纪的信息技术报告”中将“人机交互和信息管理”列为新世纪4项重点发展的信息技术(还包括软件、可伸缩信息基础设施、高端计算)之一,它的目标是研制“能听、能说、能理解人类语言的计算机” 2007年美国NSF在信息与智能系统( IIS)中列出的三个核心技术领域之一是以人为本的计算，其具体主题包含多媒体和多通道界面、智能界而和用户建模、信息可视化，以及高效的以计算机媒介的人人交互模型等 2007年欧盟第七框架项目中也包含了自然人机交互的内容 国外许多知名大学和研究机构都在自然人机交互领域开展了相关研究 如UC Berkeley , MIT, CMU , Stanford , Maryland ,Brown ,Toronto , Michigan等大学和Microsoft , IBM、施乐等公司也都作了很多研究工作。 美国DARPA项目的HCI研究中也有Stanford ,CMU,MIT,OGI等参加的多项自然人机交互研究; 欧共体委员会CEC(Commission of the European Communities)制定了一个欧洲信息技术战略计划ESPRIT对自然人机界而进行了系统的研究，其中包括语音识别、语音合成、声音的空间化、笔式输人和手写体等各个支撑技术的研究。 我国重大研究计划 将对人类如何思考以及机器如何帮助人类更好地工作产生重大影响 2。研究现状与发展趋势 2.2人机交互从传统的“刺激/信号界面—操作”向“知识/语义界面—解题”的发展 （1）人机交互的特征决定于界面（包括认知界面与操作界面）特征与用户特征及其关系。由于人机界面的知识化，基于界面的人机交互也从操作过程转化为解题过程（知识作业过程/脑力劳动过程、认知过程）。 （2）基于传统人机界面的人机交互模式：“刺激/信号界面—操作”，重在操作技能用认知科学术语可更为简明描述为“刺激—反应”模式。在这种人机交互模式下，由于信号简单、明确，而操作复杂、要求高，要使系统正常运行就必然强调操作与操作技能。如驾驶技能、机床操作技能。 （3）基于知识界面的现代人机交互模式：“知识/语义界面—解题”，重在认知技能用认知科学术语可描述为“知识/语义界面—认知过程”模式。在这种人机交互模式下，由于信号具有复杂表现形式（自然语言与人工语言的图、符号、字词等）、复杂的语义层次与结构，而操作相对简单（如鼠标、键盘、触摸操作）。 要保证系统正常运行、人机交互目标的实现就必然强调认知与认知技能 例如，专业人员与非专业人员的不同知识背景所导致的人机交互特点的不同：专业人员是在“老师”指导下的解例题过程，重视的是效率、可靠性； 而非专业人员是自学基础上的解题过程，注重的是可用性、用户特征等问题（这种差异是界面设计必须考虑的问题）。 人机交互就发展成为知识界面所定义的语义网上的解题过程（问题解决过程/知识作业过程/脑力劳动过程/认知过程/计算过程）。 2。研究现状与发展趋势 2.4人机交互技术向基于多通道的多模态方向发展 第四代，基于多模态技术的交互阶段 新一代(第四代) 人机交互的概念框架和其四个标志性特征,即: (1) 具有多模感知(听觉，视觉，手势，笔势等) 功能的人机交互方式； (2) 可进行基于Agent 的听、视觉对话，作为人机交互的界面； (3) 具有Internet 数据仓库和基于内容检索的知识处理能力，作为人机交互内容； (4) 可以在二维或虚拟的三维环境中实现人机通信，作为人机交互的环境。 作为新一代（第四代）人机自然交互系统仿真了人类之间的交互，多通道（视、听、触、嗅等）之间的语义交互是实现多模态技术的基础 人类在与其环境进行交互时是多模态的. 人可以同时说、指和看同一个物体；还可以通过同时听一个人的说话语气和看他的面部表情及手臂动作来判断他的情绪. 为了更好地理解周围的环境,人类每时都在使用视觉、听觉、触觉和嗅觉，可以说多模态是人类之间自然交互的体现。 3。知识界面及交互 3.3 基于知识界面的交互 定义：界面物理符号所表达的语义网上的求解过程。 人机交互是研究人与计算机之间通过相互理解的交流与通信,在最大程度上为人们完成信息管理, 服务和处理等功能的一门技术科学. 知识界面交互，又即知识作业过程 认知工效学的观点：知识作业过程是“合理编拟”的心智操作序列（心智操作链） （mind operations，MO ），是人脑的信息加工过程，是人脑的计算过程。 从经典科学管理理论的角度看，心智操作是知识作业的“动素”，一连串心智操作构成知识作业过程。这种过程是机械性的、有序的、可计算的、在形式上（而不是语义和内容上）可重复过程。 如现代“军人－技术装备”系统中的作