Python中tqdm的使用和例子

2022-09-24 14:00:56

1. tqdm的介紹

有時候在使用Python處理比較耗時操作的時候，為了便於觀察處理進度，這時候就需要通過進度條將處理情況進行視覺化展示，以便我們能夠及時瞭解情況。

tqdm就能非常完美的支援和解決這些問題，可以實時輸出處理進度而且佔用的CPU資源非常少，支援windows、Linux、mac等系統，支援①迴圈處理、②多程序、③遞迴處理、還可以結合Linux的命令來檢視處理情況，等進度展示。

1.1 tqdm匯入

# 方法1
import tqdm

# 方法2
from tqdm import tqdm

建議使用方法1，因為方法1匯入的是一個lib，而方法2匯入的是tqdm.tqdm方法
使用方法2匯入就沒辦法使用tqdm.trange()等方法了

2. tqdm.tqdm()對可迭代物件進行封裝

2.1 語法

# 方法1
for i in tqdm.tqdm(可迭代物件):
	pass

# 方法2
for idx, i in enumerate(tqdm.tqdm(可迭代物件)):
	pass

對於可以迭代的物件都可以使用tqdm進行封裝實現視覺化進度，使用起來非常方便。

2.2 例子

import tqdm
import time

# 定義一個可迭代物件
a = [1, 2, 3, 4, 5, 6, 7, 8, 9, 10]

# 正常的遍歷（沒有進度條）
for idx, element in enumerate(a):
    print(f"No.{idx}: {element}")
    
# 使用tqdm對可迭代物件進行包裝，實現進度條視覺化
for idx, element in enumerate(tqdm.tqdm(a)):
    time.sleep(0.5)
    print(f"No.{idx}: {element}")

結果如下：

Q：為什麼結果會一直新建一行?

A：這是因為每次的print內容都不一樣，為了能夠顯示新的內容，所以會這樣。

我們看下面這個程式，它因為沒有控制檯輸出，所以進度條就很正常。

2.3 帶有引數的tqdm.tqdm()

Q：進度條可以加一些其他資訊嗎？

A：當然可以，需要對tqdm進行一些引數調整

@staticmethod
def format_meter(n, total, elapsed, ncols=None, prefix='', ascii=False, unit='it',
                 unit_scale=False, rate=None, bar_format=None, postfix=None,
                 unit_divisor=1000, initial=0, colour=None, **extra_kwargs):

iterable: 可迭代的物件, 在⼿動更新時不需要進⾏設定
desc: 字串, 左邊進度條描述⽂字
total: 總的項⽬數
leave: bool值, 迭代完成後是否保留進度條
file: 輸出指向位置, 預設是終端, ⼀般不需要設定
ncols: 調整進度條寬度, 預設是根據環境⾃動調節長度, 如果設定為0, 就沒有進度條, 只有輸出的資訊
unit: 描述處理項⽬的⽂字, 預設是it, 例如: 100 it/s, 處理照⽚的話設定為img ,則為 100 img/s
unit_scale: ⾃動根據國際標準進⾏項⽬處理速度單位的換算, 例如 100000 it/s >> 100k it/s
colour: 進度條顏色

2.3.1 例子1

import tqdm
import time
d = {'loss':0.2,'learn':0.8}

"""
    desc設定名稱
    ncols設定進度條長度 -> 建議設定在100以內
    postfix以字典形式傳入詳細資訊
"""
for i in tqdm.tqdm(range(50),desc='名稱',ncols=100,postfix=d):
    time.sleep(0.1)
    pass

其中xxxit/s表示每秒迭代的次數

2.3.2 例子2

import tqdm
import time

iter_object = range(10, 21)
pbar = tqdm.tqdm(iter_object, 
                 total=len(iter_object),
                 leave=True, 
                 ncols=100, 
                 unit="個", 
                 unit_scale=False, 
                 colour="red")

for idx, element in enumerate(pbar):
    time.sleep(0.5)
    pbar.set_description(f"No.{idx}")
    pbar.set_postfix({"正在處理的元素為": element})

3. 自定義進度條顯示資訊

Q：我就是想print一些東西，可以嗎？

A：當然可以，tqdm提供了兩個個方法：

set_description()
set_postfix()

這兩個方法就類似於print，可以在進度條中顯示一些變動的資訊

3.1 例子1

import tqdm
import time


# 在使用set_description時一般會建立一個tqdm.tqdm()物件
pbar = tqdm.tqdm(["a", "b", "c", "d", "e", "f", "g"])

for idx, element in enumerate(pbar):
    time.sleep(1)
    pbar.set_description(f"No.{idx}: {element}")

3.2 例子2

import tqdm
import time
import random

epochs = 150

# 在使用set_description()和set_postfix()時一般會建立一個tqdm.tqdm()物件
pbar = tqdm.tqdm(range(epochs), ncols=100)  # ncols設定進度條顯示的字元長度，小了就顯示不全了

for idx, element in enumerate(pbar):
    time.sleep(0.01)
    pbar.set_description(f"Epoch {idx}/{epochs}")
    pbar.set_postfix({"class": element}, loss=random.random(), cost_time = random.randrange(0, 100))

3.3 兩種方法傳參注意事項

set_description和set_postfix都用的kwargs傳參，所以我們可以：

用字典傳參 -> pbar.set_postfix({"key_1": "value_1", ...})
直接用關鍵字傳參 -> pbar.set_postfix(key_1 = value_1, key_2 = value_2, ...)
混著用 -> pbar.set_postfix({"key_1": value_1, "key_2": value_2, ...}, key_3 = value_3, ...)

4. tqdm內建生成可迭代物件方法 —— trange()

除了tqdm.tqdm(range(xxx))這樣的寫法外，tqdm也提供了類似的方法，即tqdm.trange(xxx)，例子如下：

import tqdm
import time

pbar = tqdm.trange(300, 400, 1)

for idx, element in enumerate(pbar):
    time.sleep(0.01)
    pbar.set_description(f"No.{idx} -> {element}")

5. 自定義方法更新進度

有時候我們不僅僅是通過一個for訓練來更新進度條，我們也希望在做完某些操作後更新一次進度條，程式碼如下：

import tqdm
import time

with tqdm.tqdm(total=10) as bar:  # total為進度條總的迭代次數
    # 操作1
    time.sleep(1)
    # 更新進度條
    bar.update(1)  # bar.update()裡面的數表示更新的次數，和optimizer.step方法類似
    
    # 操作2
    time.sleep(2)
    # 更新進度條
    bar.update(3)
    
    # 操作3
    time.sleep(1)
    # 更新進度條
    bar.update(6)  # 建議不要超過total