問題描述

pool = redis.ConnectionPool(host=host, port=port)client = redis.StrictRedis(connection_pool=pool)for i in range(10000): for j in range(30):client.lpush(IDLE_TASKS, json.dumps(args))

這種執(zhí)行效率低的可怕。需要等幾十秒，才能插入完成。請(qǐng)問有沒更高效率的處理手法？

args 只是以一個(gè)元組內(nèi)容隨意(1,2,'3')之類

問題解答

因?yàn)槲覀€(gè)人沒用過redis這個(gè)庫(kù), 所以只能嘗試從你給出的代碼去給些建議, 不喜勿噴:

1.不知道你的這個(gè)args是哪來的, 但是在這個(gè)循環(huán)體中, 似乎沒看到改變, 所以能否將這個(gè)json.dumps(args)放到循環(huán)體外面執(zhí)行:

args_dump = json.dumps(args)for i in range(10000): for j in range(30):client.lpush(IDLE_TASKS, args_dump)

2.看到你大概要生成30萬的同樣的數(shù)據(jù), 能否將這個(gè)數(shù)據(jù)先生成, 再一次性client.lpush? 因?yàn)楫吘箃cp也有自身的延遲因素

3.可以通過cProfile庫(kù)去找出耗時(shí)長(zhǎng)的地方, 也可以嘗試換別的庫(kù)去實(shí)現(xiàn)(這個(gè)具體得自己去google了)