信息理论基础

目录 1

前言…………………………………………………………………………… ⅲ第一章 概论 1

1.1 信息理论的基本内容 1

1.2 信息理论的发展简史 3

1.3 控制论、信息论与系统论 7

1.4 信息理论的应用 9

1.5 本书的结构 12

第二章 有关信息的基本概念与问题 13

2.1 引言 13

2.2 自信息与熵 14

2.3 互信息 17

2.4 多系统 22

2.5 凸性定理 24

2.6 唯一性定理 25

2.7 马科夫过程与马科夫熵 29

2.8 热熵与信息熵 31

3.1 引言 33

第三章 信源及其编码的一些基本概念和理论 33

3.2 自然语言和文字作为信源 35

3.3 信源熵 35

3.4 信源编码 37

3.5 无记忆信源 38

3.6 定长码 39

3.7 变长码 42

3.8 码字的平均长度 45

3.9 最优编码 47

3.10 记忆信源 49

3.11 平稳信源 51

3.12 遍历性信源 53

第四章 信道及其编码的一些基本概念和基本理论 59

4.1 引言 59

4.2 信道理论 59

4.3 信道编码 60

4.4 信道容量 60

4.5 通信系统 61

4.6 无记忆信道容量 62

4.7 凸性 66

4.8 信道容量方程的解 69

4.9 唯一性 70

4.10 传输特性 73

4.11 仙农定理 73

4.12 级联信道 74

4.13 无限级联问题 75

4.14 并联信道 81

附录 82

习题 83

第五章 连续信源与连续信道 86

5.1 连续随机变量的熵 86

5.2 连续信源与连续信道 86

5.3 连续随机变量的微熵 87

5.4 高斯信号的信息度量 88

5.5 无记忆的高斯信道和高斯信源 92

5.6 有记忆的高斯信道和信源 97

5.7 抽样定理 99

5.8 高斯波形信道与信源 100

5.9 比特能量与比特误差率 104

5.10 具有频带限制的信号 106

5.11 无频带制约的信号 110

5.12 熵功率不等式 112

5.13 中心极限定理 117

习题 120

6.2 变长码 124

6.1 引言 124

第六章 有关编码的一些基本概念 124

6.3 变长码定理 125

6.4 克拉夫特定理 126

6.5 最优码 127

6.6 检错码 129

6.7 纠错码 130

6.8 汉明码 130

6.9 加权码 131

7.1 引言 133

7.2 离散含噪信道 133

第七章 数据传输码 133

7.3 距离与分量的表示方法 135

7.4 互信息函数 136

7.5 数据传输的块码 139

习题 140

第八章 数据译码与紧缩码 145

8.1 数据译码 145

8.2 数据紧缩码 149

8.3 离散信源的信息容量 150

8.4 熵函数 151

8.5 为数据紧缩的前束码 157

习题 159

第九章 数据压缩码 165

9.1 引言 165

9.2 大于信道容量的传输速率 165

9.3 信息的压缩 166

9.4 压缩数据的信息容量 167

9.5 信息传输定理 170

习题 172

第十章 试验假设 175

10.1 引言 175

10.2 曼-皮尔逊定理 175

10.3 诺思滤波器 177

10.4 判别函数 181

10.5 在性能上的初步极限 186

10.6 在性能上的渐近界限 187

10.7 误差-指数函数 191

10.8 逆定理 196

10.9 切尔诺夫界限 197

习题 200

第十一章 估计理论 205

11.1 引言 205

11.2 参数的估计 205

11.3 费希尔（Fisher）信息矩阵 208

11.4 多重并行估计 210

11.5 脉冲到达时间的估计 212

11.6 脉冲到达频率的估计 216

11.7 推理原理 218

11.8 谱估计 220

习题 221

第十二章 多端信息网络 224

12.1 引言 224

12.2 反馈信道 224

12.3 多用户信道 226

12.4 广播信道 230

12.5 双向信道 232

12.6 相关数据的远程紧缩 237

12.7 具有旁信息的数据紧缩 241

12.8 具有旁信息的数据压缩 247

12.9 分布系统的数据压缩 250

第十三章 检错码与纠错码 256

13.1 引言 256

13.2 定长码与变长码 257

13.3 最优码 260

13.4 纠错码 261

13.5 线性误差纠错码——二进对称信道 262

13.6 卷积编码器 274

13.7 状态图与梯形图 275

13.8 最大相似解码与Viterbi算法 276

第十四章 信息率失真理论 278

14.1 引言 278

14.2 根据真实度准则的信源编码 278

14.3 信息率失真函数及其特性 281

14.4 信息率失真理论的基本定理 282

14.5 逆定理 284

习题 285

第十五章 条形码 287

15.1 引言 287

15.2 通用生产码符号的特性与可解码性 289

15.3 条形码的可靠性 300

附录A 凸函数的最小化 307

附录B K-L展开式 310

附录C Toeplitz分布定理 313

后记 314