回复内容:
“结巴”中文分词:做最好的python中文分词组件 “jieba” (chinese for “to stutter”) chinese text segmentation: built to be the best python chinese word segmentation module.https://github.com/fxsjy/jieba
pynlpir,对ictclas的封装,最近做毕设正在用,速度和准确率都很好~
闲来无事,写了两个分词程序,一个是基于mmseg的另一个是基于crf的,目前已经上传pypi.pip install scsegpip install genius
其实我没有用过python或其他任何语言的分词库,不过恰好在oschina上看到了几个python的中文分词库,有几个也是前面一些知友提到的,我把链接转过来吧:http://www.oschina.net/project/tag/264/segment?sort=view&lang=25&os=0
python调用c库,可以使用中科院的分词,感觉还行,就是导入用户自定义的词库存在失败率,然后还无法调试出原因今天刚给四款python中文分词的做了简单测试http://hi.baidu.com/fooying/item/6ae7a0e26087e8d7eb34c9e8
smallseg ; 轻量级,容易使用。
jieba 路过。。。
中科院和哈工大的两个分词包就挺好网上有人做了总结,发来给大家参考几种开源分词工具的比较
有个 mmseg for python 分词
我没用过python语言写的分词程序。分词这种功能属于计算密集型功能,需要大量计算,python不适合这种场合,可以考虑python调用c库。