信息论基础

1 绪论 1

1.1 信息、信息科学和信息论 1

1.2 信息论研究的对象、目的和内容 2

2 随机变量的信息度量 5

2.1 自(互)信息和条件自(互)信息 5

2.1.1 自信息 5

2.1.2 条件自信息 7

2.1.3 互信息 8

2.1.4 条件互信息 9

2.2 离散随机变量的平均自信息(熵) 9

2.2.1 离散随机变量平均自信息的定义 9

2.2.2 离散随机变量熵的性质 11

2.2.3 熵函数形式的惟一性 13

2.2.4 离散随机变量的条件熵与联合熵 14

2.3 离散随机变量的平均互信息 20

2.3.1 离散随机变量平均互信息的定义 20

2.3.2 离散随机变量平均互信息的性质 21

2.3.3 马尔可夫链和数据处理不等式 22

2.4 离散随机变量熵和互信息的凸性 23

2.4.1 凸函数的概念和性质 23

2.4.2 熵函数的凸性 25

2.4.3 互信息的凸性 26

2.5 连续随机变量的互信息和微分熵 27

2.5.1 连续随机变量的互信息 28

2.5.2 连续随机变量的微分熵 29

2.5.3 微分熵的极大化 30

2.5.4 随机变量函数的微分熵 32

习题2 33

3 离散信源及其信息度量 37

3.1 信源的数学模型及分类 37

3.2 离散无记忆信源的扩展信源 41

3.3 离散平稳有记忆信源 43

3.3.1 离散平稳有记忆信源的数学定义 43

3.3.2 离散平稳有记忆信源的熵 44

3.3.3 离散平稳有记忆信源的极限熵 47

3.4 马尔可夫信源 50

3.4.1 马尔可夫信源的定义 50

3.4.2 马尔可夫信源熵的计算 54

3.5 信源的相关性和剩余度 62

习题3 64

4 离散信源的无失真编码 67

4.1 信源编码的概念 67

4.2 离散无记忆信源的渐近等同分割性和等长编码定理 68

4.2.1 等长码 68

4.2.2 渐近等同分割性 69

4.2.3 等长编码定理 72

4.3 离散无记忆信源的不等长编码定理 75

4.3.1 惟一可译码、即时码和前缀码 75

4.3.2 克拉夫特不等式 78

4.3.3 不等长编码定理 81

4.4.1 霍夫曼编码 84

4.4 离散无记忆信源的不等长编码方法 84

4.4.2 香农编码 88

4.4.3 费诺编码 89

4.4.4 香农-费诺-埃利斯编码 90

4.4.5 算术编码 92

4.5 离散平稳信源和马尔可夫信源的编码定理 94

4.5.1 离散平稳信源的编码定理 94

4.5.2 马尔可夫信源的编码定理 95

习题4 98

5 信道及信道容量 101

5.1 信道的数学模型及分类 101

5.2 离散无记忆信道及其容量 102

5.3.1 离散无记忆信道的容量定理 111

5.3 离散无记忆信道容量的计算方法 111

5.3.2 对称和准对称信道容量的计算 114

5.3.3 转移概率矩阵可逆的信道容量的计算 118

5.3.4 信道容量的迭代解法 122

5.4 信道的组合 123

5.4.1 积信道(平行组合信道) 124

5.4.2 和信道 125

5.4.3 级联信道(串联信道) 127

5.5 达到信道容量时输入输出字母概率分布的惟一性 130

5.6 连续信道及其容量 133

习题5 137

6.1 错误概率和译码规则 141

6 有噪信道编码 141

6.2 错误概率与编码方法 146

6.2.1 重复编码对错误概率的影响 146

6.2.2 输入符号个数对错误概率的影响 148

6.2.3 汉明距离 149

6.3 有噪信道编码定理 151

6.3.1 联合典型序列 151

6.3.2 有噪信道编码定理 155

6.3.3 有噪信道编码逆定理 157

6.3.4 信源信道联合编码 160

习题6 161

7.1.1 失真度和平均失真度 164

7.1 离散无记忆信源的信息率失真函数 164

7 信息率失真函数和限失真信源编码 164

7.1.2 信息率失真函数的定义 166

7.1.3 信息率失真函数的性质 170

7.2 离散无记忆信源信息率失真函数的计算 173

7.2.1 互信息达到信息率失真函数的充分必要条件 173

7.2.2 信息率失真函数的参数表示及计算 177

7.2.3 信息率失真函数的迭代算法 184

7.3 连续信源的信息率失真函数 185

7.3.1 连续信源信息率失真函数的定义及计算 185

7.3.2 差值失真准则下信息率失真函数的计算 187

7.4 限失真信源编码定理 194

习题7 198

参考文献 200