标签:数学之美

自然语言处理

数学之美 之二–中文分词

admin阅读(43)评论(0)

此节介绍了中文分词技术的发展,以及在其他方面的应用。本质上,如今流行的分词方法仍然是以最大匹配算法为基础(梁南元 书面汉语自动分词系统)的,并且加入了统计模型,对所有可能的分词结果依次计算其通顺性,并选择最可能为句子的分词结果。 作者着重讲...

自然语言处理

自然语言处理:概念

admin阅读(54)评论(0)

NLP: 两问 通信的原理和信息传播的模型 (信源)编码和最短编码 解码的规则,语法 聚类 校验位 双语对照文本、语料库和机器翻译 多义性和利用上下文消除歧义性

数学之美 之一 --两问-OpenSL
自然语言处理

数学之美 之一 –两问

admin阅读(65)评论(0)

1.信息的冗余是信息安全的保障。同一信息重复三次,只要有一份内容保存下来,原来的信息就不会丢失,这对信道编码有指导意义。 2.语言的数据,我们称之为语料。尤其是双语或者多余的对照语料翻译至关重要,它是我们从事机器翻译研究的基础。 语言 OR...