信息论课程论文.docVIP

目 录 TOC \o 1-3 \h \z \u 【摘要】 4 【关键词】 4 【前言】 5 一、信息熵的提出与发展 6 （一）信息熵的提出 6 （二）信息熵的发展 6 二、信息熵的应用 7 （一）信息熵在图像处理方面的应用 7 1．图像处理介绍 7 2. 信息熵的应用 7 （二）信息熵在广告活动中的应用 8 1.信息熵的引入 8 2.信息熵的应用 8 （三）信息熵在经济学领域的应用 8 （四）信息熵用于织物疵点的检测 9 结论 10 参考文献 10 ABSTRACT 11 KEY WORD 11 PAGE 1 浅析信息熵的发展以及在各学科中的应用 【摘要】信息熵是信息论中事件出现概率的不确定性的量度, 是信息活动的度量标准，它能有效反映事件包含的信息。随着信息技术的不断发展，信息理论在通信领域中发挥了越来越重要的作用，本文利用信息熵理论对图像处理、广告活动、人工智能、神经网络、遗传算法、模糊理论等方面进行了论证，指出了信息活动的规律，进一步阐明了信息熵在各个学科中的实际应用。 【关键词】信息熵 信息量 信噪比 局部熵 单点噪声 【前言】 正因为我们数学领域的大数定理原理，赌场才永不停息，根据前人的一些理论，只要有可能出现的一定会出现。从大数定理的角度来看，这条法则千真万确，只是它需要一个条件：这件事重复的次数足够多。如果将这个大数引入价值，就会出现大的麻烦，所以概率和个数有关，在时间和空间合成的历史中，该发生的事情都让它发生。只有等到足够多的事件，才是真正的平等，而博弈的赌场游戏则是永不停息。大数定理告诉人们，在大量的随机事件的重复中，会出现多次的均衡，也会出现必然的规律，因此，我们也开始了对信息熵的探讨。对一个混沌系统的杂乱现象，形态上的期望和试验上的观察，会发现不同的结果，而且，这种让人类产生兴趣的问题极大地推动了信息论的发展，也引起了人们对信息熵更深入的研究。 一、信息熵的提出与发展 （一）信息熵的提出 1948年，美国科学家香农发表了一篇著名的论文《通信的数学理论》。他从研究通信系统传输的实质出发，对信息做了科学的定义，并进行了定性和定量的描述。他指出信息是事物运动状态或存在方式的不确定性的描述。通信系统的模型为信息熵描述的是信源的不确定性，是信源中所有目标的平均信息量。信息量是信息论的中心概念，把熵作为一个随机事件的不确定性或信息量的量度，它奠定了现代信息论的科学理论基础，大大地促进了信息论的发展。 （二）信息熵的发展 正如科学家爱因斯坦的评价那样：“熵理论对于整个科学来说是第一法则”。熵表示的是系统固有的、规律性的本质，在没有外界作用下，一个系统的熵越增，不可用能就越大，动力越小。一个孤立系统的熵永不减少，这叫做熵增原理，根据这一原理，以熵变为判据，不仅可以判断过程进行的方向，而且还能给出孤立系统达到平衡的条件。熵增原理揭示了一切自发过程都是不可逆的这一共同本质。为了打破平衡，必须与外部系统交换熵，即负熵，目的是使本系统的熵值减少，更有活力。 　　根据信息熵理论的基本观点，信息的价值取决于信息不确定性减少量。这个量是由信源和接受者之间的相关性决定的。一般情况下，获得信息的多少取决于接受者的知识背景和社会背景，由于接受者支付信息的成本不同和知识背景不同，导致接受者处理信息存在差异。 二、信息熵的应用 （一）信息熵在图像处理方面的应用 1．图像处理介绍 所谓计算机图像处理是指将图像信号转换成数字格式，并利用计算机对其进行处理的过程。近10年来，数字图像处理技术的发展进一步深入、广泛和迅速，人们已充分认识到图像处理技术是认识世界、改造世界的重要手段之一。图像处理和分析过程主要包括图像变换、图像编码、边缘检测、图像分割、目标表达、描述和测量等。人们为了得到感兴趣的目标，用各种方法来处理和分析图像。例如在灰度共生矩阵法中，用于测量灰度级分布随机性的一种特征参数就叫做熵。 2. 信息熵的应用 图像分割是图像处理和分析的关键步骤，也是一种基本的计算机视觉技术。当今信息熵主要应用在图像分割技术中。为了识别和分析目标，图像分割把图像分成各具特性的区域。这些特性可以是灰度、颜色、纹理等，目标可以对应单个区域，也可以对应多个区域。如黄春艳[1]等提出的图像的分割方法有最大熵法和最小交叉熵法。最大熵法和最小交叉熵法的基本思想都是利用图像的灰度分布密度函数定义图像的信息熵,根据假设的不同提出不同的熵准则,最后通过优化该准则得到阈值.最大熵准则强调系统内部的均匀性,应用于阈值化分割中就是搜索使目标或背景内部的灰度分布尽可能均匀的最优阈值。 图像处理中噪声的干扰是不可避免的，因此去除噪声也是图像处理中的问题之一，目前祛除噪声的方法主要是利用