计算语言学

第1章 计算语言学简介 1

1.1 什么是计算语言学？ 1

1.2 计算语言学与自然语言处理 4

第2章 计算语言学基础 7

2.1 概率论与信息论 7

2.1.1 概率论基础知识 8

2.1.2 信息论基础知识 19

2.2 形式语言理论与自动机 24

2.2.1 形式语法理论 25

2.2.2 自动机理论 31

第3章 词处理 35

3.1 词与词处理 35

3.1.1 什么是“词”？ 35

3.1.2 词性 36

3.1.3 词处理 37

3.2 汉语的自动分词 39

3.2.1 现代汉语分词规范 39

3.2.2 汉语自动分词方法 40

3.3 英语形态分析 53

3.4 词性标注方法 55

3.4.1 词性标记集 55

3.4.2 词性标注方法 58

第4章 短语处理 66

4.1 短语结构语法 66

4.1.1 名词短语 67

4.1.2 动词短语 69

4.1.3 并列结构 69

4.1.4 短语结构语法实例 70

4.2 格语法 71

4.2.1 经典格语法 71

4.2.2 改进的格语法 73

4.3 部分句法分析 81

4.3.1 浅层分析 81

4.3.2 骨架分析 84

4.4 HNC理论与机器翻译调序 86

第5章 句处理 90

5.1 语法理论 90

5.1.1 转换 91

5.1.2 生成 94

5.2 句法分析 96

5.2.1 自顶向下的分析 96

5.2.2 自底向上的分析 99

5.2.3 左角分析法 100

5.2.4 CYK算法 104

5.2.5 Earley算法 106

5.2.6 概率上下文无关语法 110

5.3 句法生成实例 111

5.3.1 译词生成 112

5.3.2 个案实现 115

第6章 机器翻译 121

6.1 机器翻译概述 121

6.1.1 机器翻译历史 121

6.1.2 机器翻译现状 125

6.1.3 机器翻译应用 127

6.2 机器翻译方法 130

6.2.1 基于理性的方法 130

6.2.2 基于经验的方法 132

6.2.3 基于混合的方法 135

6.2.4 机器翻译的难点 135

6.3 机器翻译评测 137

6.3.1 机器翻译评测分类 137

6.3.2 人工评测与自动评测 138

6.3.3 翻译质量量化评测研究综述 139

6.3.4 NIST 2005机器翻译（MT-05）评测 145

第7章 信息检索 148

7.1 单语信息检索 149

7.1.1 检索策略与方法 149

7.1.2 搜索引擎 152

7.1.3 检索效果评测 158

7.2 跨语言信息检索 160

7.2.1 多语言信息系统 161

7.2.2 主要的问题 162

7.2.3 基本方法 163

7.2.4 其他方法 167

7.2.5 跨语言信息检索评测 170

参考文献 174

附录1：Viterbi算法实例 181

1．C语言代码 181

2．Java语言代码 184

附录2：词性标记集 188

词性标记集1：北京大学计算语言学研究所的词性标记集 188

词性标记集2：中科院计算所的词性标记集 188

词性标记集3：教育部语言文字应用研究所的词性标记集 189

词性标记集4：清华大学计算机系的词性标记集 189

词性标记集5：Brown语料库的词性标记集 190

词性标记集6：Penn Treebank词性标记集 193

词性标记集7：C5词性标记集 195

后记 197