信息论与编码理论

目录 1

第1章 引论 1

1.1 通信系统模型 1

1.2 Shannon信息论的中心问题 4

1.3 Shannon信息论的局限性 5

1.4 信息的广义性 7

第2章 信息量和熵 9

2.1 离散变量的非平均信息量 9

2.1.1 非平均互信息 10

2.1.2 条件互信息与联合事件的互信息 14

2.1.3 离散变量的非平均自信息量 16

2.2 离散集的平均自信息量——熵 18

2.2.1 熵和条件熵 18

2.2.2 熵的性质 21

2.3 熵的唯一性定理 25

2.4 离散集的平均互信息量 28

2.5 连续随机变量的互信息和微分熵 32

2.5.1 连续随机变量的互信息 32

2.5.2 连续随机变量的熵 34

2.5.3 微分熵的极大化 37

2.6 凸函数与互信息的凸性 39

2.6.1 凸函数概念及其性质 39

2.6.2 信息的凸性 43

2.7 随机过程的信息量和熵 45

小结 48

习题 48

第3章 信源编码——离散信源无失真编码 53

3.1 信源及其分类 53

3.2 离散无记忆信源的等长编码 55

3.3 离散无记忆信源的不等长编码 62

3.4 最佳不等长编码 69

3.4.1 Huffman编码 69

3.4.2 算术编码 73

3.4.3 LZ编码 76

3.5 平稳源编码 79

3.6 马尔可夫源 87

小结 96

习题 97

4.1 信道分类 102

第4章 信道及其容量 102

4 2 离散无记忆信道 103

4.2.1 有关DMC的容量定理 104

4.2.2 对称DMC容量的计算 107

4.2.3 一般DMC容量的计算 112

4.3 离散无记忆信道容量的迭代算法 113

4.4 离散有记忆信道 117

4.5 信道的组合 121

4.6 时间离散的无记忆连续信道 125

4.6.1 可加噪声信道 126

4.6.2 平均功率受限可加噪声信道 127

4.6.3 平行可加高斯噪声信道 129

4.7 波形信道 131

小结 134

习题 135

第5章 信道编码定理 139

5.1 信道编码和译码 139

5.1.1 信道编码 139

5.1.2 译码准则 140

5.1.3 离散序列的译码 141

5.1.4 连续序列的译码 143

5.2 Fano不等式和信道编码逆定理 146

5.3 联合典型序列及信道编码定理 149

5.4 错误概率上限 153

5.4.1 并集限 153

5.4.2 Bhattacharyya（巴塔恰亚）限 154

5.4.3 Gallager（加拉格）限 155

5.4.4 随机码集合平均错误概率上限 156

5.4.5 DMC的译码错误概率上限 158

5.4.6 时间离散连续信道错误概率上限 160

5.5 等能量正交编码信号 162

小结 165

习题 167

第6章 线性分组码 171

6.1 Galois域 171

6.1.1 域运算 171

6.1.2 GF（pm）的构造 172

6.1.3 有限域的特征和元素的级 175

6.2 线性分组码 176

6.1.4 最小多项式 176

6.3.1 生成矩阵 177

6.3 线性分组码的生成矩阵和校验矩阵 177

6.3.2 校验矩阵 179

6.3.3 码的扩展和缩短 180

6.4 一些特殊的线性分组码 181

6.4.1 Hamming（汉明）码 181

6.4.2 Hadamard码 181

6.4 3 Golay码 182

6.5.1 分组码的标准阵译码 183

6.5 伴随式和最小汉明距离译码 183

6.5.2 最小距离与纠错能力 186

6.6 循环码 188

6.6.1 循环码的数学描述 188

6.6.2 循环码的译码 194

6.7 BCH码 197

6.7.1 BCH码的定义和性质 197

6.7.2 BCH码的译码 198

6.8 Reed-Solomon码 202

6.9 分组码的性能限 203

6.10 线性分组码的性能限 207

小结 208

习题 209

第7章 卷积码 212

7.1 卷积码的基本概念 212

7.2 Viterbi译码 229

7.3 序列译码 241

7.4 卷积码集合平均错误概率限 247

7.5 级联码 253

小结 256

习题 256

第8章 接近Shannon极限的编码 258

8.1 Turbo码的构造 258

8.1.1 递归系统卷积码（RSC） 260

8.1.2 Turbo码的距离谱 260

8.1.3 Turbo码交织器的设计 263

8.2 Turbo码的译码 265

8.2.2 MAP译码算法 267

8.2.1 APP译码器 267

8.2.3 SOVA译码算法 274

8.2.4 Turbo码的迭代译码特性 276

8.3 Turbo码的性能限 279

8.4 低密度校验码的定义 281

8.4.1 LDPC码的定义 281

8.4.2 LDPC码的Tanner图表示 281

8.4.3 LDPC码的构造 283

8.5.1 硬判决译码 284

8.5 低密度校验码的译码 284

8.5.2 最佳APP译码 285

8.5.3 LDPC译码的和积算法 289

8.5.4 对数域和积算法 291

8.5.5 最小和算法 293

8.6 低密度校验码的性能 294

小结 297

习题 298

第9章 信源编码——无记忆信源的有失真编码 300

9.1 一般概念与定义 300

9.2.1 基本性质 303

9.2 率失真函数的基本性质与有失真时的逆信源编码定理 303

9.2.2 有失真时的逆信源编码定理 306

9.3 无记忆信源R（D）的计算 306

9.4 R（D）上、下限的估计 313

9.4.1 R（D）的下限 313

9.4.2 R（D）的上限 316

9.5 有失真时的离散无记忆信源编码定理 318

9.6 连续幅度无记忆信源 325

习题 328

小结 328

第10章 多用户信息论 331

10.1 多用户通信及多用户信道的分类 331

10.2 相关信源独立编码 335

10.3 相关源协同编码 341

10.4 多元接入信道（MAC） 348

10.5 广播信道 355

小结 363

习题 364

参考文献 367