语言模型

来自中文百科,文化平台
跳转至: 导航搜索

语言模型( language model),数理语言学中模拟语言客观事实的抽象的数学模型。它不完全等同于语言客观事实,只是语言客观事实的某种近似物。在语言模型与语言客观事实之间,可以建立某种对应关系,但语言模型不能完全充分地描写语言客观事实,它只抽象描写语言中个别成分(词、句子等等)的性质及关系(句法、形态等等)。语言模型与语言客观事实之间的关系,如同数学上抽象直线与具体直线之间的关系。语言模型是一个单纯的、统一的、抽象的形式系统,语言客观事实经过语言模型的描述,比较适合于电子计算机进行自动处理,因而语言模型对于自然语言的信息处理具有重大的意义。

语言模型主要有生成性模型、分析性模型、辨识性模型三种类型。生成性模型从一个形式语言系统出发,生成语言的某一集合,如N.乔姆斯基的形式语言理论和转换语法。分析性模型从语言的某一集合开始,根据对这个集合中各个元素的性质的分析,阐明这些元素之间的关系,并在此基础上用演绎的方法建立语言的规则系统,如苏联数学家O.C.库拉金娜和罗马尼亚数学家S.马尔库斯用集合论方法提出的语言模型。在生成性模型和分析性模型的基础上,把二者结合起来,便产生了一种很有实用价值的辨识性模型。它可以从语言元素的某一集合及规则系统出发,通过有限步骤的运算,识别这些元素是一堆词还是语言中合格的句子。