您好 如何自定义分词的词汇？

[YahuiWong]

提问之前先看一下：#87
我试着在jieba的文件夹下定义词汇，但是没有生效，自定义分词如何使用？

[wangfenjin]

改 user.dict.utf8 那个文件

[wangfenjin]

https://github.com/yanyiwu/cppjieba?tab=readme-ov-file#%E8%87%AA%E5%AE%9A%E4%B9%89%E7%94%A8%E6%88%B7%E8%AF%8D%E5%85%B8

用的是这个库，按照他里面写的方法就会生效

[YahuiWong]

dict/user.dict.utf8 文件里面 的
文字 数字 nz 分别代表什么？

[wangfenjin]

读 cppjieba 那个库的说明吧

[sjtuross]

这个貌似是不起作用，或者我的理解有问题。我在user.dict.utf8添加了如下词条：

黑豹 10 nz

按我的理解，jieba_query不应该返回结果，因为"黑豹"作为一个完整分词，不应该匹配上"豹黑"，望解惑。

sqlite> CREATE VIRTUAL TABLE t1 USING fts5(text, tokenize = 'simple');
sqlite> INSERT INTO t1 VALUES ('黑豹');
sqlite> select simple_highlight(t1, 0, '[', ']') as text from t1 where text match simple_query('豹黑');
[黑豹]
sqlite> select simple_highlight(t1, 0, '[', ']') as text from t1 where text match jieba_query('豹黑');
[黑豹]

这个是非自定义词，就是符合预期的

sqlite> INSERT INTO t1 VALUES ('白银');
sqlite> select simple_highlight(t1, 0, '[', ']') as text from t1 where text match simple_query('银白');
[白银]
sqlite> select simple_highlight(t1, 0, '[', ']') as text from t1 where text match jieba_query('银白');
sqlite>

[wangfenjin]

@sjtuross 你是不是改了文件之后没有重启，我这试了一下是生效的

sqlite> .load libsimple
sqlite> select jieba_query('豹黑');
"豹黑"
sqlite> CREATE VIRTUAL TABLE t1 USING fts5(text, tokenize = 'simple');
sqlite> INSERT INTO t1 VALUES ('黑豹');
sqlite> select simple_highlight(t1, 0, '[', ']') as text from t1 where text match jieba_query('豹黑');
sqlite> select simple_highlight(t1, 0, '[', ']') as text from t1 where text match simple_query('豹黑');
[黑豹]
sqlite>

[sjtuross]

感谢回复！我感觉不是重启的问题，之前在win上测试的，现在换到linux下测试。以下是完整的操作记录，跟你提供的输出不一样。linux上的sqlite3版本老了点3.37.2，win上的版本是3.50.1，输出是一致的。用的是项目发布页面提供的二进制，反复检查user.dict.utf8确实改了保存了，然后再启动sqlite3测试的。

➜  sqlite3 sqlite3
SQLite version 3.37.2 2022-01-06 13:25:41
Enter ".help" for usage hints.
Connected to a transient in-memory database.
Use ".open FILENAME" to reopen on a persistent database.
sqlite> .load /home/sjtuross/sqlite3/libsimple.so
sqlite> select jieba_dict('/home/sjtuross/sqlite3/dict');
/home/sjtuross/sqlite3/dict/
sqlite> select jieba_query('豹黑');
"豹" AND "黑"
sqlite> CREATE VIRTUAL TABLE t1 USING fts5(text, tokenize = 'simple');
sqlite> INSERT INTO t1 VALUES ('黑豹');
sqlite> select simple_highlight(t1, 0, '[', ']') as text from t1 where text match jieba_query('豹黑');
[黑豹]
sqlite> select simple_highlight(t1, 0, '[', ']') as text from t1 where text match simple_query('豹黑');
[黑豹]
sqlite>

C:\Tools\sqlite-tools>sqlite3.exe
SQLite version 3.50.1 2025-06-06 14:52:32
Enter ".help" for usage hints.
Connected to a transient in-memory database.
Use ".open FILENAME" to reopen on a persistent database.
sqlite> .load "C:/Tools/sqlite-tools/libsimple-windows-x64/simple.dll"
sqlite> select jieba_dict('C:\Tools\sqlite-tools\libsimple-windows-x64\dict');
C:\Tools\sqlite-tools\libsimple-windows-x64\dict\
sqlite> select jieba_query('豹黑');
"豹" AND "黑"
sqlite> CREATE VIRTUAL TABLE t1 USING fts5(text, tokenize = 'simple');
sqlite> INSERT INTO t1 VALUES ('黑豹');
sqlite> select simple_highlight(t1, 0, '[', ']') as text from t1 where text match jieba_query('豹黑');
[黑豹]
sqlite> select simple_highlight(t1, 0, '[', ']') as text from t1 where text match simple_query('豹黑');
[黑豹]
sqlite>

user.dict.utf8就一行内容，其他默认的我去掉了

黑豹 10 nz

[wangfenjin]

看出来了。。

你词典里放的黑豹，jieba_query 里是 '豹黑' 啊

[sjtuross]

哦，那其实是我对分词的处理逻辑理解反了。我之所以放了'黑豹'，是希望下面这个查询没有结果，但其实jieba_query是拿'豹黑'做分词，如果没有自定义，就被单字分词了，所以黑豹的结果就出来了。之前另外一个例子，“白银”和“银白”，之所以符合预期，是因为它们都在默认的字典里。

sqlite> select simple_highlight(t1, 0, '[', ']') as text from t1 where text match jieba_query('豹黑');
[黑豹]

那你觉得我这个需求libsimple现在能实现吗？就是查询分词和结果分词有匹配才出结果。

[wangfenjin]

查询分词和结果分词 这是什么意思？

我们会做两次分词

• insert 的时候会对内容做分词，这个分词是固定的单字分词
• select 的时候对 query 做分词，比如 jieba_query 或者 simple_query，或者其实你也可以自己做任何 query 的逻辑，实现你想要的结果

[sjtuross]

无视我这个"结果分词"的说法吧。比如下面这些查询例子，query都是杂乱无章的字，应该都被单字分词后出结果，但我不能理解为啥有些组合就没有输出呢？

sqlite> CREATE VIRTUAL TABLE t1 USING fts5(text, tokenize = 'simple');
sqlite> INSERT INTO t1 VALUES ('黑豹很好看');
sqlite> select simple_highlight(t1, 0, '[', ']') as text from t1 where text match jieba_query('黑看');
sqlite> select simple_highlight(t1, 0, '[', ']') as text from t1 where text match jieba_query('黑很');
[黑]豹[很]好看
sqlite> select simple_highlight(t1, 0, '[', ']') as text from t1 where text match jieba_query('豹黑');
[黑豹]很好看
sqlite> select simple_highlight(t1, 0, '[', ']') as text from t1 where text match jieba_query('看黑');
[黑]豹很好[看]
sqlite> select simple_highlight(t1, 0, '[', ']') as text from t1 where text match jieba_query('很豹');
sqlite>

[wangfenjin]

原因是因为如果你 select jieba_query('很豹'); 会看到 很豹 被分成一个词了，而 豹黑 被分成两个单字，其他的也样

至于为什么会这样，那就要问 cppjieba 这个库里，我这里只是调了他的接口，没有去细看分词的合理性

[sjtuross]

了解了，感谢作者耐心解答！