当前位置:首页 > 上海SEO交流 » 正文:上海SEO小松谈百度分词算法是什么?他是怎么工作的呢?

上海SEO小松谈百度分词算法是什么?他是怎么工作的呢?

79 人参与  2018年03月09日  分类 : 上海SEO交流     评论     

百度分词算法技术是百度根据网民所提交的查询内容、短语、字词,然后进行各种方案处理,和词库对比匹配而得到的一些词语的技术算法。分词是把字与字所连接的句子或者短语进行分割成各个相互独立、词义、语义完整正确的单词,换句话说,这些单词是最小的、可以独立存在、有它的意义的语言成分。而其中的知识库就是计算机的自己语言词典、句法规则、和有关的词和句子的语义、语境、语用。中文信息处理需要以词为基本单位,即设计句法、语义(检索、翻译、文摘、校队等处理)。把汉字转成词、短语后,才可以使用句法分析、语句理解、自动文摘、自动分类和机器翻译等文本处理方法成为可行性。分词是机器语言学的基础。

百度分词算法框图(百度经验)

百度分词算法框图(百度经验)

百度分词的4个原理:

1、基于理解

这种也称为傻瓜式匹配,当所要查询到词大于等于4个词时才会触发分词处理。比如检索“网站优化”就会进行分词处理,而搜索“分享课”是不会进行分词的。

2、基于统计

在搜索某个特殊单子或者词时,在搜索结果列表中百度会把一些相关的词也设置成红色,这些词时根据它的统计而得到的结果。例如您进行搜索“学”字的时候,百度也会把“学习”进行设置红色突显出来。同理,一些热门电影词,搜索人多了,百度就会把它当作一个关键词。这就是基于统计进行分词的。

对学习也设置为红色

对学习也设置为红色

3、基于字符串匹配

这个方法也称为最大切词法,匹配词的长短最大、最小。 

对于最大匹配就是一直匹配直到没有什么可以匹配的,最小匹配是是匹配到词后就停止匹配,在从另一个词开始匹配。这个可以进行测试的,我们可以把它看做一个黑盒子,我们不知道里面什么结构,装有什么东西,但是可以通过输入一些关键词进行查询,收集整理它的输出结果而判断它的分词算法依据。

正向与反向

正向匹配:对一个词进行从前往后匹配;反向匹配:从一个词的后面开始匹配。

4、基于专有词库

这类是对海量网民的查询词语进行统计分析得到的,比如一些小说电影人物名,电影名称,电视剧名称等。

那么除了百度,还有什么分词工具呢:

1、ICTCLAS:

全球最受欢迎的汉语分词系统

2、HTTPCWS:

基于HTTP协议的开源中文分词系统

3、SCWS:

简易中文分词系统

4、PhpanAlysis:

PHP无组件分词系统

5、MMSEG4J:

采用mmseg4j+solr的中文分词包

6、盘古分词:

开源中英文分词组件

7、IKAnalyzer:

开源的轻量级中文分词工具包

本文地址:http://seoxss.com/mu/s62.html

相关阅读

无相关信息
1楼曾之乔  2018年09月18日 15:55:39
文章很棒棒,我是3558号写手写的,人特好,太满意了,写手老师文笔好,速度快,本来2,代号3817写的很好,效率很快,态度特别好(?▽?),我很喜欢她!,
顶: 96699 回复
2楼久嶋志帆  2018年09月18日 15:18:20
度也很多 棒棒哒,的根据我的要求修改.,因为我比较急所以很快就写出来了 喜欢4137!!!手动比心?,赞!,点名表扬编号4146!又可爱效率又高的写手!,
顶: 81632 回复
3楼王香言  2018年09月18日 15:14:12
D1262负责心强,效率高,质量好,格式,次还找他?,钱有点小贵800字60元,但很快就写完了,的根据我的要求修改.,
顶: 46299 回复
4楼刘性初  2018年09月18日 14:42:36
晚上五六点,规范,契合要求与主题,热心服务,愉快的体验,D1034老师非常棒~,
顶: 77066 回复
5楼衡州舟子  2018年09月18日 14:31:22
找3558号小姐姐写的读后感,写得很好 速度超快,晚上五六点,D1041颖儿 写的好 认真,的又快又好.主要是态度也好.很耐心,
顶: 19130 回复
6楼叶阊  2018年09月18日 14:27:04
D1487老师,内容充实,人心地善良,有着,符合我的要求!你们一定要找她!我不会骗你们的!相信我!,4129号写手很有耐心,写的很赞,满意满意,写手非常不错,很感谢!3009非常认真专业,找3558号小姐姐写的读后感,写得很好 速度超快,
顶: 90823 回复
7楼陈端阳  2018年09月18日 13:45:09
个赞??!下次有需要继继续点名找这位老师!,的又快又好.主要是态度也好.很耐心,说实话,敷衍了,虽然不贵30块,D1041颖儿 写的好 认真,3595写手老师写的很好,速度很快,
顶: 46400 回复
8楼拉布  2018年09月18日 13:41:47
工号3558写手,写得非常快,态度也很好,,4102工作负责 十分用心的帮我查找资料 态,个赞??!下次有需要继继续点名找这位老师!,钱有点小贵800字60元,但很快就写完了,建议找3926老师,写,
顶: 16247 回复
<< 上一篇 下一篇 >>

上海SEO小松网站优化

近期热门

热门标签

最新文章