信息论与编码理论 第2版

第1章 引论 1

1.1通信系统模型 1

1.2 Shannon信息论的中心问题 3

1.3 Shannon信息论的局限性 4

1.4信息的广义性 6

第2章 信息量和熵 8

2.1离散变量的非平均信息量 8

2.1.1非平均互信息量 9

2.1.2条件互信息与联合事件的互信息量 12

2.1.3离散变量的非平均自信息量 14

2.2离散集的平均自信息量——熵 16

2.2.1熵和条件熵 16

2.2.2熵的性质 18

2.2.3相对熵和条件相对熵 20

2.3熵的唯一性定理 20

2.4离散集的平均互信息量 23

2.5信息不等式 25

2.5.1凸函数及其性质 25

2.5.2 K-T条件 26

2.5.3信息不等式 28

2.6相对熵、熵和互信息量的凸性 33

2.6.1相对熵和熵的凸性 33

2.6.2互信息量的凸性 33

2.7连续随机变量的互信息量和微分熵 34

2.7.1连续随机变量的互信息量 34

2.7.2连续随机变量的熵 37

2.7.3微分熵的极大化 39

2.8随机过程的信息量和熵 41

小结 43

习题 43

第3章 信源编码——离散信源无失真编码 47

3.1信源及其分类 47

3.2离散无记忆信源的等长编码 49

3.3离散无记忆信源的不等长编码 54

3.4最佳不等长编码 60

3.4.1 Huffman编码 60

3.4.2算术编码 64

3.4.3 LZ编码 66

3.5平稳源编码 69

3.6马尔可夫源 73

小结 81

习题 82

第4章 信道及其容量 87

4.1信道分类 87

4.2离散无记忆信道 88

4.2.1有关DMC的容量定理 89

4.2.2对称DMC容量的计算 91

4.2.3一般DMC容量的计算 95

4.3离散无记忆信道容量的迭代算法 96

4.3.1交替优化 96

4.3.2信道容量算法 96

4.4离散有记忆信道 101

4.5信道的组合 104

4.6时间离散的无记忆连续信道 107

4.6.1可加噪声信道 108

4.6.2平均功率受限可加噪声信道 109

4.6.3平行可加高斯噪声信道 111

4.7波形信道 112

小结 115

习题 115

第5章 信道编码定理 119

5.1信道编码和译码 119

5.1.1信道编码 119

5.1.2译码准则 120

5.1.3离散序列的译码 120

5.1.4连续序列的译码 122

5.2联合典型序列 125

5.3信道编码定理 126

5.4错误概率上限 128

5.4.1并集限 128

5.4.2 Bhattacharyya（巴塔恰亚）限 129

5.4.3 Gallager（加拉格）限 130

5.4.4随机码集合平均错误概率上限 131

5.4.5 DMC的译码错误概率上限 132

5.4.6时间离散连续信道错误概率上限 134

5.5等能量正交编码信号 136

小结 138

习题 140

第6章 线性分组码 143

6.1 Galois域 143

6.1.1域运算 143

6.1.2 GF（pm）的构造 144

6.1.3有限域的特征和元素的级 146

6.1.4最小多项式 147

6.2线性分组码 147

6.3线性分组码的生成矩阵和校验矩阵 148

6.3.1生成矩阵 148

6.3.2校验矩阵 150

6.3.3码的扩展和缩短 151

6.4一些特殊的线性分组码 151

6.4.1 Hamming（汉明）码 151

6.4.2 Hadamard码 151

6.4.3 Golay码 152

6.5伴随式和最小汉明距离译码 153

6.5.1分组码的标准阵译码 153

6.5.2最小距离与纠错能力 156

6.6循环码 157

6.6.1循环码的数学描述 157

6.6.2循环码的译码 163

6.7 BCH码 165

6.7.1 BCH码的定义和性质 165

6.7.2 BCH码的译码 166

6.8 Reed-Solomon码 169

6.9分组码的性能限 169

6.10线性分组码的性能限 173

小结 174

习题 175

第7章 卷积码 177

7.1卷积码的基本概念 177

7.2 Viterbi译码 191

7.3序列译码 201

7.4卷积码集合平均错误概率限 206

7.5级联码 210

小结 213

习题 213

第8章 接近Shannon极限的编码 215

8.1 Turbo码的构造 215

8.1.1递归系统卷积码（RSC） 216

8.1.2 Turbo码的距离谱 217

8.1.3 Turbo码交织器的设计 219

8.2 Turbo码的译码 221

8.2.1 APP译码器 222

8.2.2 MAP译码算法 222

8.2.3 SOVA译码算法 228

8.2.4 Turbo码的迭代译码特性 230

8.3 Turbo码的性能限 232

8.4低密度校验码的定义 233

8.4.1 LDPC码的定义 233

8.4.2 LDPC码的Tanner图表示 234

8.4.3 LDPC码的构造 235

8.5低密度校验码的译码 236

8.5.1硬判决译码 236

8.5.2最佳APP译码 237

8.5.3 LDPC译码的和积算法 240

8.5.4对数域和积算法 242

8.5.5最小和算法 244

8.6低密度校验码的性能 245

小结 247

习题 247

第9章 信源编码——无记忆信源的有失真编码 249

9.1一般概念与定义 249

9.2率失真函数的基本性质与有失真时的逆信源编码定理 252

9.2.1基本性质 252

9.2.2有失真时的逆信源编码定理 254

9.3无记忆信源R（D）的计算 255

9.4率失真函数的迭代计算 262

9.5率失真函数的可达性 263

9.6 R（D）上、下限的估计 266

9.6.1 R （D）的下限 266

9.6.2 R （D）的上限 269

9.7有失真时的离散无记忆信源编码定理 271

9.8连续幅度无记忆信源 276

小结 278

习题 279

第10章 多用户信息论 281

10.1多用户通信及多用户信道的分类 281

10.2相关信源独立编码 284

10.3相关源协同编码 289

10.4多元接入信道（MAC） 295

10.4.1多元接入信道的容量区域及可达性 295

10.4.2多元信道容量域的凸性 300

10.4.3多发送端的多元接入信道容量区域 300

10.4.4高斯多元接入信道 300

10.5广播信道 302

10.6中继信道 309

10.6.1一般中继信道 309

10.6.2退化中继信道 310

10.6.3反向退化中继信道 312

10.6.4带反馈的一般中继信道 312

10.6.5高斯退化信道 313

小结 314

习题 315

参考文献 318