网创优客建站品牌官网
为成都网站建设公司企业提供高品质网站建设
热线:028-86922220
成都专业网站建设公司

定制建站费用3500元

符合中小企业对网站设计、功能常规化式的企业展示型网站建设

成都品牌网站建设

品牌网站建设费用6000元

本套餐主要针对企业品牌型网站、中高端设计、前端互动体验...

成都商城网站建设

商城网站建设费用8000元

商城网站建设因基本功能的需求不同费用上面也有很大的差别...

成都微信网站建设

手机微信网站建站3000元

手机微信网站开发、微信官网、微信商城网站...

建站知识

当前位置:首页 > 建站知识

基于hanlp的es分词插件

摘要: elasticsearch是使用比较广泛的分布式搜索引擎,es提供了一个的单字分词工具,还有一个分词插件ik使用比较广泛,hanlp是一个自然语言处理包,能更好的根据上下文的语义,人名,地名,组织机构名等来切分词

目前创新互联已为上1000家的企业提供了网站建设、域名、网页空间、网站托管维护、企业网站设计、连城网站维护等服务,公司将坚持客户导向、应用为本的策略,正道将秉承"和谐、参与、激情"的文化,与客户和合作伙伴齐心协力一起成长,共同发展。

Elasticsearch

默认分词

  基于hanlp的es分词插件

输出:  

  基于hanlp的es分词插件

IK分词  

  基于hanlp的es分词插件

输出:  

  基于hanlp的es分词插件

hanlp分词

  基于hanlp的es分词插件

输出:

  基于hanlp的es分词插件

ik分词没有根据句子的含义来分词,hanlp能根据语义正确的切分出词

安装步骤:  

1、进入https://github.com/pengcong90/elasticsearch-analysis-hanlp,下载插件并解压到es的plugins目录下,修改analysis-hanlp目录下的hanlp.properties文件,修改root的属性,值为analysis-hanlp下的data

目录的地址

2、修改es config目录下的jvm.options文件,最后一行添加

-Djava.security.policy=../plugins/analysis-hanlp/plugin-security.policy

 

重启 es

GET /_analyze?analyzer=hanlp-index&pretty=true

{

“text”:”张柏芝士蛋糕店”

}

测试是否安装成功

analyzer有hanlp-index(索引模式)和hanlp-smart(智能模式)

自定义词典

修改 plugins/analysis-hanlp/data/dictionary/custom下的 我的词典.txt文件

格式遵从 [单词] [词性A] [A的频次]

修改完后删除同目录下的 CustomDictionary.txt.bin文件

重启 es服务

 


文章标题:基于hanlp的es分词插件
分享URL:http://bjjierui.cn/article/pdiioi.html

其他资讯