MeiliSearch設定されたサーバーの検索で外部サーバーの投稿が結果に出ない場合がある

[tkmrgit]

💡 Summary

MeiliSearch設定されたサーバーの検索で外部サーバーの投稿が結果に出てこないワード？がある

🥰 Expected Behavior

外部サーバーの投稿を含めた結果が返される

🤬 Actual Behavior

外部サーバーの投稿が含まれていない結果が返される

📝 Steps to Reproduce

1.ioで「Misskey」または「Misskey しゅいろ」と検索
2.「Misskey」の場合は外部サーバーが出てくるが、「Misskey しゅいろ」の場合に出てこない

📌 Environment

Misskey version:13.12.2

[syuilo]

ioは昔の投稿についてはローカルしか取り込まなかったはず

[tkmrgit]

ioのインデックスが原因か。
しかしMeiliSearchだと何か以前にも増して元の投稿の文に近いワードじゃないとヒットしないわね

もし別の原因あったらreopenしてください

[syuilo]

以前というと？

[syuilo]

ElasticSearch時代のことなのかPostgreSQL時代のことなのか

[syuilo]

PostgreSQLの方は単純な部分一致検索なのでMeilisearchよりも精度という意味では高い

[tkmrgit]

以前というと？

DB検索だった頃と比べて極端にヒットが少ない。p1.a9z.dev(未導入?)で「Misskey しゅいろ」検索すると他にもいろんなioを含む投稿がヒットするが、ioだと直近でも3ヶ月前だったりしにゃい

[syuilo]

「しゅいろさん」とかが含まれる文章はMeilisearchでは「しゅいろ」ではヒットしないわね

[syuilo]

形態素解析の限界そう

[tkmrgit]

😭

[tamaina]

p1.a9z.devはPGroongaなんだけど、（日本語では）PGroongaのほうがいいらしい？

[miiton]

いきなり失礼します。Twitterで見かけて気になったのでコメントしにきました。

しゅいろ という文字列が、 し と ゅいろ に分割されてしまうので起きる問題かなと推察します。

Ref: https://www.atilika.com/ja/kuromoji/

実際に手元でやってみたところ結果は返ってはくるのですが、やはり し と ゅいろ に分かれてしまうので、ランキング的に下の方に行ってしまっているのかも？（ MeiliSearch v1.1.1 です）

TypoToleranceを今は無効にしておられる のでそれを有効にしたらまた違った結果が返ってくるかもしれません（手元の少ないデータでは違いは無かったです）

ちなみに manticore search だと綺麗にヒットしました。

（追記）manticore-searchが単純にハイライト部分をマージして結果を出しているだけかもしれないのでこの部分は訂正します。すいません。

MeiliSearchの改善ポイントかなと思いますので、時間作ってIssue立ててみます。

[syuilo]

@miiton

しゅいろ という文字列が、 し と ゅいろ に分割されてしまうので起きる問題かなと推察します。
Ref: https://www.atilika.com/ja/kuromoji/

Meilisearchは内部的に日本語の形態素解析にkuromojiを使用している感じですかね？そういうわけではない？

MeiliSearchの改善ポイントかなと思いますので、時間作ってIssue立ててみます。

ありがとうございます！！！

[acid-chicken]

Meilisearchは内部的に日本語の形態素解析にkuromojiを使用している感じですかね？そういうわけではない？

kuromoji をベースに開発された kuromoji-rs の fork である lindera を使用している