TypechoJoeTheme

IT技术分享

统计
搜索到 23 篇与 的结果
2017-09-14

韦特比(Viterbi)算法与解码问题——隐马尔可夫疑难问题二

韦特比(Viterbi)算法与解码问题——隐马尔可夫疑难问题二
解码问题如果对隐马尔科夫模型不了解,请点这里问题描述给定隐马尔科夫模型 $h = ( A, B, \pi )$ 给定观察序列 $O = ( o_1 o_2 o_3 … o_T )$ 寻找一个状态转换序列 $q = (q_1 q_2 q_3 … q_T )$,使得该状态转...
顿搜
2017-09-14

NLP

1,371 阅读
0 评论
2017年09月14日
1,371 阅读
0 评论
2017-09-14

向前向后算法解决估算问题——隐马尔可夫疑难问题一

向前向后算法解决估算问题——隐马尔可夫疑难问题一
估算问题如果对隐马尔科夫模型不了解,请点这里问题描述给定隐马尔科夫模型 $h = ( A, B, \pi )$ 给定观察序列 $O = ( o_1 o_2 o_3 … o_T )$ 如何有效地计算出观察序列的概率,即 $P(O|h)$ ?计算公式给定 h,以及状态转换序...
顿搜
2017-09-14

NLP

1,256 阅读
0 评论
2017年09月14日
1,256 阅读
0 评论
2017-09-10

数据平滑 (Smooth) 技术详解——解决 NLP 中稀疏矩阵问题

数据平滑 (Smooth) 技术详解——解决 NLP 中稀疏矩阵问题
对语言模型而言,由于数据稀疏的存在,可以使用平滑技术来解决什么是平滑技术把在训练样本中出现过的事件的概率适当减小,把减小得到的概率密度分配给训练语料中没有出现过的事件,这个过程有时也称为 discounting(减值)Add-one 平滑规定任何一个 N 元组在训练语料中至...
顿搜
2017-09-10

NLP

1,478 阅读
0 评论
2017年09月10日
1,478 阅读
0 评论
2017-09-09

N 元组 (N-Gram) 及语言建模——自然语言处理之统计分析

N 元组 (N-Gram) 及语言建模——自然语言处理之统计分析
语言建模英文名:Language Modeling从统计角度看,自然语言中的一个句子 s 可以由任何词串构成。不过概率 $P(s)$ 有大有小。$s_1$= 我 刚 吃 过 晚饭 $s_2$= 刚 我 过 晚饭 吃 $P(s_1) > P(s_2)$对于给定的自...
顿搜
2017-09-09

NLP

1,589 阅读
0 评论
2017年09月09日
1,589 阅读
0 评论
2017-09-09

未登录词 (OOV) 的精确识别——自然语言处理分词难点二

未登录词 (OOV) 的精确识别——自然语言处理分词难点二
未登录词类别中国人名李素丽 老张 李四 王二麻子中国地名定福庄 白沟 三义庙 韩村河 马甸翻译人名乔治·布什 叶利钦 包法利夫人 酒井法子翻译地名阿尔卑斯山 新奥尔良 约克郡机构名方正公司 联想集团 国际卫生组织 外贸部商标字号非常可乐 乐凯 波导 杉杉 同仁堂专业术语万维...
顿搜
2017-09-09

NLP

1,312 阅读
0 评论
2017年09月09日
1,312 阅读
0 评论
2017-09-09

歧义(Ambiguity)现象及其消解——自然语言处理分词难点一

歧义(Ambiguity)现象及其消解——自然语言处理分词难点一
歧义的类型交集型歧义字串 AJB 中,若AJ $\in$ D、 JB $\in$ D、 A $\in$ D、 B $\in$ D , 则 AJB 为交集型歧义字段。D 代表词表此时, AJB 有 AJ/B、 A/JB 两种切分形式。其中 J 为交集字段。从小/学/电脑 从...
顿搜
2017-09-09

NLP

1,293 阅读
0 评论
2017年09月09日
1,293 阅读
0 评论
2017-09-09

中文分词 (Segmentation) 详解——自然语言处理的关键

中文分词 (Segmentation) 详解——自然语言处理的关键
什么是分词通过计算机把组成文本的字串自动转换为词串的过程被称为分词中文分词英文名:Segmentation中文通常需要分词英文分词英文名:Tokenization英语通常不需要分词分词的方法基于词表的方法需要配备词表最大匹配法正向最大匹配法(MM)逆向最大匹配法(RMM)全...
顿搜
2017-09-09

NLP

1,210 阅读
0 评论
2017年09月09日
1,210 阅读
0 评论
2017-09-09

自然语言处理 (NLP) 入门简介——计算语言学在 AI 中的应用

自然语言处理 (NLP) 入门简介——计算语言学在 AI 中的应用
什么是计算语言学计算语言学是通过建立形式化的计算模型来分析、理解和处理自然语言的学科。计算语言学研究的目标当前目标研制出具有一定人类语言能力的计算机文本或语音处理系统终极目标研制能理解并生成人类语言的计算机系统。计算语言学研究的类别音韵学形态学句法学语义学语用学计算语言学研...
顿搜
2017-09-09

NLP

1,220 阅读
0 评论
2017年09月09日
1,220 阅读
0 评论