SSブログ

類似文検索 [科学、数学]

いずみ野から見た富士山(いずみ野から見た富士山)

Ubiquitous Knowledge Processing LabのSentence BERTが、いつの間にかセンテンスのペアとコサイン類似度で学習できるようになっていたので、類似文検索とかできるのかなと思ってやってみました。
Sentence Transformers: Multilingual Sentence Embeddings using BERT / RoBERTa / XLM-RoBERTa & Co. with PyTorch
https://github.com/UKPLab/sentence-transformers

e-Gov 法令検索
https://elaws.e-gov.go.jp/document?lawid=340AC0000000033
から、「所得税法」のテキストをダウンロードして、scikit-learnのTfidfVectorizerとk-meansを使って、似ている文と似てない文のペアを作ってSentence BERTで学習させます。

sbert_traindata.jpg

ノートパソコンのGPU GeForce GTX 1650 Ti のcpu が98%、メモリ使用量が3.8GB、温度72℃になって大活躍(ちょっと非力かな)

sBERT_train.jpg


検索例
保険の控除について
類似度 テキスト
0.6734283 (13)「生命保険料の控除額」の項には、法第190条第2号の規定によりその年分の給与所得控除後...
0.61133957 (新規則第七十五条(給与所得者の保険料控除申告書の記載事項)の規定は、施行日以後に提出する新法第百九十六条第三項...
0.59923416 (10)「(源泉)控除対象配偶者の有無等」及び「控除対象扶養親族の数」の「従」と記載されている項には、従たる給与についての扶養控除等申告書を...


国外投資信託の配当金の課税について
類似度 テキスト
0.88332444 (13)「4) 非課税適用分及び上場株式等の配当等の支払の取扱者への支払分の欄の「支払額」の項には、法又は租税特別措置法により所得税が課せられない国外投資信託等...
0.8652865 ((5)「課税」の各欄には、その月において、交付をした国外投資信託等の配当等、国外株式の配当等又は上場株式等の配当等で源泉徴収を...
0.86452144 「配当等の金額」の項には、その年中に支払を受けるべき国外投資信託等の配当等又は国外株式の配当等の金額を記載すること。


なんとなく、できているようだけど、もうひと工夫必要かな。


nice!(9)  コメント(0) 

nice! 9

コメント 0

コメントを書く

お名前:
URL:
コメント:
画像認証:
下の画像に表示されている文字を入力してください。