资讯理论基本概念.PPT

資訊理論 授課老師: 陳建源 Email:cychen07@.tw 研究室:法401 網站 .tw/~cychen/ 教科書 Elementary Information Theory by D. S. Jones 楔子 資訊理論是運用機率論與數理統計的方法研究資訊、資訊熵、通訊系統、資訊傳輸、密碼學、資料壓縮等問題的應用數學學科。因此，修習資訊理論可以對資訊分析奠立紮實的基礎。 內容 1. Elements of probability (基本機率) probability, conditional probability,independence, the law of large numbers 2. Basic concepts (資訊理論基本概念) self-information,mutual information, uniqueness theorem 3. Coding theory (編碼理論) memoryless sources, fixed-length codes, variable-length codes, optimal coding, sources with memory 4. Channel (通道) capacity of a memoryless channel, convexity, uniqueness, transmission properties, channel in cascade 5. Error correction(糾錯) block codes, error correcting codes, Hamming codes 進度 1 週 Introduction 2 週 Elements of probability ， 3 週 Basic concepts 4 週 Basic concepts 5 週 Basic concepts 6 週 Basic concepts 7 週 Coding theory 8 週 Coding theory 9 週 期中考 10 週 Coding theory 11 週 Coding theory 12 週 Channel 13 週 Channel 14 週 Channel 15 週 Error correction 16 週 Error correction 17-18週 期末考(口試) 成績評量 期中考 35% 期末考 40% (其中口試5%) 平時(含作業,小考) 25% 資訊與熵（Information and entropy） 何謂資訊? 資訊是消息（knowledge）量的一種測量；它並不是指消息本身。因此資訊比較像是能量（energy）的概念， 資訊與熵（Information and entropy） Shannon 熵 設想我們有兩枚十元硬幣，一枚硬幣表面光滑，材料均勻，而另一枚硬幣則表面粗糙，奇形怪狀。我們把硬幣上有人頭的那面叫正面，另一面稱反面。 然後在一個光滑的桌面上旋轉硬幣，等它停下來後，看是正面或是反面。這是一個不確定性的問題：可能是正面，可能是反面。 第一枚硬幣，由於正面和反面的對稱性，正面或反面朝上的機率各為一半。但對第二枚硬幣來說，由於材料磨損，正面和反面不再對稱。可能正面朝上的機率為 70%，反面朝上的機率為 30%。 對「究竟會是正面？或會是反面？」這一不確定性問題來說，第一枚硬幣「不確定」的程度顯然比第二枚硬幣要大了許多。 * * 統一發票 請問中特獎和六獎，哪一個資訊比較多? The requirements of information security within an organization have undergone two major changes in the last several decades. Before the widespread use of data processing equipment,the security of information felt to be valuable to an organization was provided primarily by physical (eg. rugged filing cabinets with locks) and administrative mechanisms (eg. Personnel screening procedures during hiring process). Growing computer use implies a need for automated tools