从样本中学习.ppt

训练集 vs. 测试集 习题 vs. 考试 * * * H_0:原假设 H_1:备择假设 * 后处理将分类结果转化为具体决策和行动 * 特征：x_1,x_2 模型：ax_1+bx_2+c0 训练：根据训练集，确定a,b,c Startreck * 学习是指用某种算法来降低训练样本的分类误差。如梯度下降法等。 广泛的应用 人脑证明可行 很多待解决的问题 一个详细的例子 那个判决曲线更好？ 东南大学计算机科学与工程学院 泛化能力 “推广能力”/“泛化能力”（Generalization） 设计分类器的中心目标是能够对新样本做出正确的反应，而不是对训练样本的完美分类。 分类模型对训练样本的过分匹配是一种应当努力避免的现象：过配（Overfitting） 避免过配的方法 避免过于复杂的决策面 两难 复杂的决策面？ 简单的决策面？ 东南大学计算机科学与工程学院 根据具体应用设计专门的分类器 相关领域 假设检验（Hypothesis testing） H0 vs. H1 图像处理（Image processing） 图像 图像 回归（Regression） 为输入数据找到合适的函数表示 插值（Interpolation） 已知一定范围内的输入数据对应的函数值，求输入点之间的数据点对应的函数值 概率密度估计（Density estimation） 估计产生给定样本集的概率密度函数 东南大学计算机科学与工程学院 模式识别系统 输入 传感器 预处理 分割 特征提取 分类 后处理 决策 模式识别系统设计 评价分类器 训练分类器 选择模型 选择特征 采集数据 开始 结束 先验知识 模式识别中的重要问题 噪声 分割 数据采集 领域知识 特征抽取 模式表示 缺失特征 东南大学计算机科学与工程学院 模型选择 过配 上下文 分类器集成 代价与风险 计算复杂度 噪声（noise） Various types of noise (e.g., shadows, conveyor belt might shake, etc.) Noise can reduce the reliability of the feature values measured. Knowledge of the noise process can help improve performance. 东南大学计算机科学与工程学院 分割（Segmentation） Individual patterns have to be segmented. How can we segment without having categorized them first ? How can we categorize them without having segmented them first ? How do we group together the proper number of elements ? 东南大学计算机科学与工程学院 数据采集（Data Collection） How do we know that we have collected an adequately large and representative set of examples for training/testing the system? The cost of data collection could be prohibitively high 东南大学计算机科学与工程学院 领域知识（Domain Knowledge） When there is not sufficient training data, incorporate domain knowledge: Model how each pattern is generated - this is difficult !! (e.g., recognize all types of chairs). Incorporate some knowledge about the pattern generation method. (e.g.,optical character recognition (OCR) assuming characters are sequences of strokes) 东南大学计算机科学与工程学院 特征抽取（Feature Extraction） It is a domain-specific problem which influences classifiers performance. Which features are most promising ? Are there