文章詳情頁
python - celery工作流的問題
瀏覽：113日期：2022-09-12 10:43:10
問題描述
celery中,我做這樣的處理:一個url經過a, b, c三個的函數,分別獲得返回值,其中任意函數結果均與任意其他函數結果不相關,然后匯總起來,交給之后的流程.這樣,我自然想到并行運行三個函數來加快處理速度.然而由于一開始的設計問題, a函數式被設計成了一次可以處理多個url的形式,而一個一個的處理會非常慢.
@celery.taskdef a(url_list): ’...do something...’ for url in url_list:b.delay(url)
我嘗試這樣控制,然而任務似乎并不能嵌套.那么,如何設計可以比較好的滿足我這種比較奇怪的流程和要求呢?
問題解答
回答1：應該把a;b;c拆開，寫成3個task, 同時數據庫里要保存一個狀態值，用來表示3個任務的執行狀態，一個任務執行完成后，就修改狀態值，并檢查其他2個任務是否完成，如果都完成了，就匯總任務結果，再處理。
回答2：@xiaoboost 手工維護狀態可行，但有點費事。
Celery 是可以設計執行流程的，參考文檔:Designing Work-flows題主的需求可以用 chords 搞定，在 celery task 里返回值就行。
BTW: 注意一下 Celery 配置中與返回值相關的幾個選項，比如這個 task_ignore_result
相關文章：
1. android - 請問一下 類似QQ音樂底部播放 在每個頁面都顯示 是怎么做的？2. thinkPHP5中獲取數據庫數據后默認選中下拉框的值，傳遞到后臺消失不見。有圖有代碼，希望有人幫忙3. mysql主從 - 請教下mysql 主動-被動模式的雙主配置 和 主從配置在應用上有什么區別？4. 求救一下，用新版的phpstudy，數據庫過段時間會消失是什么情況？5. python小白 關于類里面的方法獲取變量失敗的問題6. Python2中code.co_kwonlyargcount的等效寫法7. django - Python error: [Errno 99] Cannot assign requested address8. python小白，關于函數問題9. [python2]local variable referenced before assignment問題10. python - vscode 如何在控制臺輸入
排行榜
網公網安備