文章詳情頁
django - python實現兩篇文章相似度分析
瀏覽:105日期:2022-08-08 10:30:47
問題描述
如題,最近有需求要做文章相似度分析,需求很簡單,具體就是對比兩篇分別300字左右的文章的相似度情況,目前查到的方法,需要先中文分詞(jieba),然后對比相似度,時間緊任務重,不知道有沒有做過類似功能的大神可以指點一二的
問題解答
回答1:第一步你已經給出了,首先對文章進行中文分詞,然后計算每個詞在兩篇文章中的tf-idf值。然后計算兩個文章的余弦相似度,可以用Python中的gensim實現。
有疑問請繼續提問。
回答2:補一下一樓的答案在食用余弦相似性或TF-IDF,應該首先去掉停止詞。
停止詞,是由英文單詞:stopword翻譯過來的,原來在英語里面會遇到很多a,the,or等使用頻率很多的字或詞,常為冠詞、介詞、副詞或連詞等。因為副詞,連詞這類詞語并不會十分影響我們對語義的判斷。
但是單純的余弦相似性和TF-IDF某種情況下并不能十分的可靠。推一波自己的鏈接2333這里
建議使用textrank和以上算法進行結合
相關文章:
1. [前端求職必看]前端開發面試題與答案精選_擴展問題2. javascript - 在top.jsp點擊退出按鈕后,right.jsp進行頁面跳轉,跳轉到login.jsp3. javascript - 下面的這段算法代碼求解釋4. mac連接阿里云docker集群,已經卡了2天了,求問?5. css3 - 在sublime text里, 如何讓emmet生成的帶前綴css屬性垂直對齊?6. javascript - js 有什么優雅的辦法實現在同時打開的兩個標簽頁間相互通信?7. java - spring-data Jpa 不需要執行save 語句,Set字段就可以自動執行保存的方法?求解8. android - 哪位大神知道java后臺的api接口的對象傳到前端后輸入日期報錯,是什么情況?求大神指點9. javascript - angular中如何創建一個能被不同模塊中組件都能訪問其屬性和方法的對象10. 想找個php大神仿個網站。
排行榜
