信息论基础与应用

第1章 绪论 1

1.1什么是信息 1

1.2什么是信息论 3

1.2.1信息论的早期酝酿 4

1.2.2信息论的建立与发展 5

1.2.3信息论的近期发展 6

1.3通信系统的基本模型 7

1.4信息论的应用及成果 8

1.5信息论研究范畴 10

习题1 11

第2章 信源与信息熵 12

2.1预备知识 12

2.1.1概率 12

2.1.2古典概型 14

2.1.3概率性质 16

2.2信源的描述和分类 16

2.2.1离散单符号信源 17

2.2.2离散无记忆序列信源 18

2.2.3离散有记忆序列信源 20

2.2.4连续信源 20

2.3离散单符号信源的熵与互信息 23

2.3.1自信息量 23

2.3.2离散单符号信源熵 25

2.3.3信息熵的基本性质 28

2.3.4互信息量 31

2.3.5平均互信息量 36

2.3.6平均互信息量的性质 39

2.4离散序列信源的熵与互信息 46

2.4.1离散平稳信源的序列熵和熵率 46

2.4.2马尔可夫信源及其极限熵 50

2.5信源的相关性和冗余度 58

2.6连续信源的熵与互信息 61

2.6.1连续信源的相对熵 61

2.6.2连续信源最大熵定理 63

2.6.3连续信源的互信息 66

2.7熵计算及熵应用 67

2.7.1熵计算 67

2.7.2熵信息应用 71

习题2 74

第3章 信道与信道容量 78

3.1信道分类和参数表示 78

3.2离散单符号信道及其容量 83

3.2.1信道容量定义 83

3.2.2离散单符号无噪信道及其容量 85

3.2.3离散单符号有噪信道及其容量 87

3.3离散序列信道及其容量 97

3.3.1并联信道 97

3.3.2和信道 98

3.3.3扩展信道 99

3.4连续信道及其容量 100

3.4.1时间离散信道及其容量 100

3.4.2时间连续信道及其容量 103

3.5信道容量计算及MATLAB程序实现 107

3.5.1信道容量的MATLAB计算 107

3.5.2 MIMO信道容量 110

习题3 117

第4章 无噪信道编码理论 121

4.1信源编码的基本概念 121

4.1.1编码的定义 121

4.1.2码的分类 123

4.1.3码树 124

4.2无失真信源编码定理 126

4.2.1典型序列和ε典型序列 126

4.2.2无失真定长编码定理 127

4.2.3无失真变长编码定理 130

4.3限失真信源编码定理 133

4.3.1失真测度 133

4.3.2信息率失真函数R（D） 135

4.3.3离散信源和连续信源的R（D）计算 139

4.3.4限失真信源编码定理 142

4.4信源编码方法 143

4.4.1无失真信源编码方法 143

4.4.2限失真信源编码方法 152

4.5无噪信道编码MATLAB计算实现 155

4.5.1率失真函数的MATLAB计算实现 155

4.5.2编码方法的MATLAB实现 159

习题4 162

第5章 含噪信道编码理论 166

5.1最佳译码准则 166

5.2信道编码基本概念 171

5.2.1错误图样 172

5.2.2矢量空间和码矢量 172

5.2.3码距与纠检错能力 174

5.3含噪离散信道编码定理 175

5.3.1有噪信道编码定理 175

5.3.2有噪信道编码逆定理 177

5.4信道编码方法 178

5.4.1线性分组码 179

5.4.2循环码 185

5.4.3卷积码 188

5.5信道编码MATLAB计算实现 191

5.5.1 RS码 191

5.5.2 Turbo码 193

5.5.3 LDPC码 196

习题5 200

第6章 网络信息理论 202

6.1相关信源及可达速率区 202

6.2多址接入信道及其容量 207

6.2.1离散二址接入信道及其容量 207

6.2.2高斯加性二址接入信道及其容量区域 215

6.2.3离散多址接入信道及其容量区域 219

6.3广播信道及其容量 220

6.3.1退化离散广播信道的容量界限 222

6.3.2退化连续高斯广播信道的容量界限 225

习题6 228

第7章 量子信息理论 230

7.1量子信息基本概念 230

7.1.1量子比特 230

7.1.2量子信息熵 231

7.2量子信源编码理论 235

7.3量子信道编码理论 239

7.3.1量子信道 239

7.3.2量子信道容量 240

7.3.3 Holevo信息 242

7.3.4量子信道编码理论 244

习题7 247

附录 习题参考答案 249

参考文献 258