大家好我是小蝌蚪，分词器，关于分词器的基本详情介绍很多人还不知道，那么现在让我们一起来看看吧！

1、庖丁系统是个完全基于lucene的中文分词系统，它就是重新建了一个analyzer，叫做PaodingAnalyzer。

2、这个analyer的核心任务就是生成一个可以切词TokenStream。

本文关于分词器的基本详情介绍就讲解完毕，希望对大家有所帮助。