python - mongodb去重
問(wèn)題描述
1.功能里需要根據(jù)有一個(gè)字段來(lái)判斷是否重復(fù),比如叫做ownnerId,凡是存在的就丟棄.于是我用到了distinct這個(gè)方法,但是這段時(shí)間隨著數(shù)據(jù)量逐漸增大,出現(xiàn)了一個(gè)問(wèn)題:
OperationFailure: distinct too big, 16mb cap
這是命令行里邊的錯(cuò)誤,說(shuō)distinct返回的結(jié)果太大了,超過(guò)了16M.請(qǐng)問(wèn)各位高手能否貢獻(xiàn)一些方法.
需求:每次通過(guò)檢查數(shù)據(jù)庫(kù)中ownnerId這個(gè)字段是否出現(xiàn)了,其中數(shù)據(jù)庫(kù)是一直在更新的,而且這個(gè)不存在的ownnerId在一會(huì)處理后就會(huì)存到數(shù)據(jù)庫(kù)中去,所以要求每次判斷都要重新檢查一遍數(shù)據(jù)庫(kù)中這個(gè)ownner字段.因此對(duì)速度的要求也比較高.各位大神瞅瞅,求給個(gè)意見(jiàn).
問(wèn)題解答
回答1:如果我理解的對(duì)的話,是否考慮過(guò)Unique Indexes。
供參考。
Love MongoDB! Have fun!
相關(guān)文章:
1. angular.js - angularjs如何傳遞id給另一個(gè)視圖 根據(jù)id獲取json數(shù)據(jù)?2. java - HashSet<int> 為何有錯(cuò)誤?3. mysql - 記得以前在哪里看過(guò)一個(gè)估算時(shí)間的網(wǎng)站4. 使用text-shadow可以給圖片加陰影嗎?5. docker start -a dockername 老是卡住,什么情況?6. nginx啟用gzip壓縮后,文件尺寸無(wú)變化.7. 在windows下安裝docker Toolbox 啟動(dòng)Docker Quickstart Terminal 失敗!8. 數(shù)據(jù)庫(kù)無(wú)法進(jìn)入9. docker images顯示的鏡像過(guò)多,狗眼被亮瞎了,怎么辦?10. boot2docker無(wú)法啟動(dòng)
