文章詳情頁
python - mongodb去重
瀏覽：146日期：2022-10-14 09:36:55
問題描述
1.功能里需要根據有一個字段來判斷是否重復,比如叫做ownnerId,凡是存在的就丟棄.于是我用到了distinct這個方法,但是這段時間隨著數據量逐漸增大,出現了一個問題:
OperationFailure: distinct too big, 16mb cap
這是命令行里邊的錯誤,說distinct返回的結果太大了,超過了16M.請問各位高手能否貢獻一些方法.
需求:每次通過檢查數據庫中ownnerId這個字段是否出現了,其中數據庫是一直在更新的,而且這個不存在的ownnerId在一會處理后就會存到數據庫中去,所以要求每次判斷都要重新檢查一遍數據庫中這個ownner字段.因此對速度的要求也比較高.各位大神瞅瞅,求給個意見.
問題解答
回答1：如果我理解的對的話，是否考慮過Unique Indexes。
供參考。
Love MongoDB！ Have fun！
相關文章：
1. mysql儲存json錯誤2. mysql - 這種分級一對多，且分級不平衡的模型該怎么設計表？3. 在mybatis使用mysql的ON DUPLICATE KEY UPDATE語法實現存在即更新應該使用哪個標簽?4. mac OSX10.12.4 (16E195)下Mysql 5.7.18找不到配置文件my.cnf5. Navicat for mysql 中以json格式儲存的數據存在大量反斜杠，如何去除？6. mysql - 表名稱前綴到底有啥用？7. mysql - 數據庫表中，兩個表互為外鍵參考如何解決8. mysql - 數據庫建字段，默認值空和empty string有什么區別 1109. mysql - 怎么生成這個sql表？10. php - 公眾號文章底部的小程序二維碼如何統計？
排行榜
網公網安備