文章詳情頁

django - python實現兩篇文章相似度分析

瀏覽：100日期：2022-08-08 10:30:47

問題描述

如題，最近有需求要做文章相似度分析，需求很簡單，具體就是對比兩篇分別300字左右的文章的相似度情況，目前查到的方法，需要先中文分詞（jieba），然后對比相似度，時間緊任務重，不知道有沒有做過類似功能的大神可以指點一二的

問題解答

回答1：

第一步你已經給出了，首先對文章進行中文分詞，然后計算每個詞在兩篇文章中的tf-idf值。然后計算兩個文章的余弦相似度，可以用Python中的gensim實現。

有疑問請繼續提問。

回答2：

補一下一樓的答案在食用余弦相似性或TF-IDF，應該首先去掉停止詞。

停止詞，是由英文單詞:stopword翻譯過來的，原來在英語里面會遇到很多a，the，or等使用頻率很多的字或詞，常為冠詞、介詞、副詞或連詞等。因為副詞，連詞這類詞語并不會十分影響我們對語義的判斷。

但是單純的余弦相似性和TF-IDF某種情況下并不能十分的可靠。推一波自己的鏈接2333這里

建議使用textrank和以上算法進行結合

Python 編程

上一條：python - 為什么感覺 pyspider 爬取的速度好慢下一條：python - 標簽樹的下行遍歷如何跳過第一個標簽

相關文章：

1. MySQL數據庫中文亂碼的原因2. 在windows下安裝docker Toolbox 啟動Docker Quickstart Terminal 失敗！3. docker gitlab 如何git clone？4. angular.js - 關于$apply()5. angular.js - angularjs的自定義過濾器如何給文字加顏色？6. docker-compose 為何找不到配置文件？7. docker api 開發的端口怎么獲?。?/a>8. dockerfile - 我用docker build的時候出現下邊問題麻煩幫我看一下9. angular.js - Ionic 集成crosswalk后生成的apk在android4.4.2上安裝失??？？？10. dockerfile - 為什么docker容器啟動不了？