2014.信息论.第6章有噪信道编码.pdfVIP

n对 于 ? 噪 ? 损 信 道 对 信 源 进 ? 适 当 的 编 码 , 可 以 信 道 容 量 ? 差 错 的 传 递 信 息 . n 但 是 ? 般 信 道 总 会 存 在 噪 声 和 干 扰 , 那 么 在 有 噪 信 道 中 进 ? ? 错 传 输 可 以 达 到 的 最 ? 信 息 传 输 率 是 多 少 呢 ？ 这 就 是 本 章 所 要 讨 论 的 问 题 . 1 第 六 章 有 噪 信 道 编 码 第 6.1节 错 误 概 率 与 译 码 规 则 有 噪 信 道 传 输 消 息 是 会 发 ? 错 误 的 . 为 了 减 少 错 误 , 提 ? 通 信 可 靠 性 , 就 必 须 1) 分 析 错 误 概 率 与 哪 些 因 素 有 关 ？ 2) 有 没 有 办 法 控 制 , 如 何 控 制 ？ 3) 能 控 制 到 什 么 程 度 ？ 2 错 误 概 率 与 信 道 的 统 计 特 性 有 关 , 但 并 不 是 唯 ? 相 关 的 因 素 , 译 码 ? 法 的 选 择 也 会 影 响 错 误 率 。 ? 信信 道道 统统 计计 特特 性性 信 道 统 计 特 性 ? 信 道 传 递 矩 阵 来 描 述 , 该 矩 阵 确 定 了 哪 些 是 正 确 传 递 概 率 , 哪 些 是 错 误 传 递 概 率 . ? 译译 码码 规规 则则 通 信 过 程 并 ? 到 信 道 输 出 端 就 结 束 , 还 要 经 过 译 码 过 程 (或 判 决 过 程 )才 到 达 消 息 的 终 端 (收 信 者 ). 3 1/3 0 0 例 : 有 ? 个 BSC信 道 , 如 图 2/3 2/3 1 1 1/3 若 收 到 “0”译 作 “0”, 收 到 “1”译 作 “1”, 则 平 均 错 误 概 率 为 : 若 收 到 “0”译 作 “1”, 收 到 “1”译 作 “0”, 则 错 误 概 率 与 译 码 准 则 有 关 . 4 译 码 规 则 输 ? 符 号 集 : A={ai}, i=1,2,…,r; 输 出 符 号 集 : B={bj}, j=1,2,…,s; 设 计 函 数 F(bj), 它 对 每 个 输 出 符 号 bj确 定 ? 个 唯 ? 的 输 ? 符 号 ai与 其 对 应 (单 值 函 数 )。 这 样 的 函 数 称 为 译 码 规 则 ，， 即 F(bj)=ai 5 例 6: 译 码 准 则 可 以 为 : A: 和 B: 由 于 任 何 输 出 符 号 bj都 可 以 译 成 任 何 输 ? 符 号 ai, 所 以 有 rs种 译 码 规 则 。 译 码 规 则 的 选 择 依 据 : 使 平 均 错 误 概 率 最 ? 。 6 有 了 译 码 规 则 F(bj)=ai以 后 , 条 件 正 确 概 率 : p[F(bj)|bj]=p(ai|bj) 条 件 错 误 概 率 : p(e|bj)=1-p(ai|bj)=1-p[F(bj)|bj] 平 均 错 误 译 码 概 率 : 7 最 ? 错 误 概 率 准 则 问 题 : 如 何 选 择 p(ai|bj)? 使 p(e|bj)最 ? ？ 应 选 择 p[F(bj)|bj]为 最 ? 。 * 即 选 择 译 码 函 数 F(bj)=a 并