辨識是否戴口罩

這篇教學會使用 Teachable Machine 訓練「戴口罩」以及「沒戴口罩」的影像模型，再透過 OpenCV 搭配 tensorflow 讀取攝影鏡頭影像進行「是否有戴口罩」的影像辨識。

快速導覽：

• Teachable Machine 訓練戴口罩的模型
• 搭配 OpenCV 進行辨識，並加入文字

因為程式使用 Jupyter 搭配 Tensorflow 進行開發，所以請先閱讀「使用 Anaconda」和「Jupyter 安裝 Tensorflow」，安裝對應的套件。

安裝相關套件

因 Tensorflow 和 Python 版本更新的緣故 ( 原本 Jupyter 方式可能無法操作 )，建議參考「使用 Python 虛擬環境」，建立虛擬環境進行實作 ( 目前測試可運行的 Python 版本為 3.9.6 )，並使用下列指令安裝套件：

安裝 OpenCV，測試可運行版本為 4.9.0.80。

pip install opencv-python

安裝 Tensorflow，測試可運行版本為 2.15.0。

pip install tensorflow

Teachable Machine 訓練戴口罩的模型

開啟 Teachable Machine 網站後，點擊「開始使用」建立新專案 ( 最下方可以切換語系為繁體中文 )，選擇 「圖片專案 > 標準圖片模型」，進入圖片模型訓練流程。

準備 40～50 張人物戴戴口罩的圖片，圖片要求人物臉部清楚，背景從全白到複雜 ( 可以使用 Google 圖片搜尋一些名人戴口罩的照片 )。

再準備 40～50 張人物沒有戴口罩的圖片，圖片要求人物臉部清楚，背景從全白到複雜 ( 可以使用 Google 圖片搜尋一些名人沒有戴口罩的照片 )。

參考「使用 Teachable Machine」文章，使用「上傳圖片」的方式，建立「戴口罩」、「沒戴口罩」和「背景」共三個分類。

為什麼要訓練「背景」呢？因為如果沒有背景分類，會在沒有出拳的時候自動判斷最接近的分類，導致判斷出錯，所以建議一定要訓練一個背景的分類 ( 背景的分類除了單純的背景，也可以加入許多雜亂的圖片，增加背景的準確度 )。

分類建立後點擊「訓練模型」，等待訓練完成，可以從預覽區域測試模型。

確認辨識結果沒問題，就可以將模型匯出為 OpenCV Keras 類型，解壓縮後將 .h5 的模型檔案放到指定的資料夾裡。

搭配 OpenCV 進行辨識，並加入文字

下方的程式碼使用 OpenCV 讀取攝影鏡頭的影像，即時判斷現在出現的影像是什麼分類，並透過 putText() 方法，在影像中加入分類的名稱。

參考：影像加入文字 from keras.models import load_model # TensorFlow is required for Keras to work import cv2 # Install opencv-python import numpy as np

# Disable scientific notation for clarity
np.set_printoptions(suppress=True)

# Load the model
model = load_model("keras_Model.h5", compile=False)

def text(text):      # 建立顯示文字的函式
    global show_img       # 設定 img 為全域變數
    org = (0,50)     # 文字位置
    fontFace = cv2.FONT_HERSHEY_SIMPLEX  # 文字字型
    fontScale = 2.5                      # 文字尺寸
    color = (255,255,255)                # 顏色
    thickness = 5                        # 文字外框線條粗細
    lineType = cv2.LINE_AA               # 外框線條樣式
    cv2.putText(show_img, text, org, fontFace, fontScale, color, thickness, lineType) # 放入文字

cap = cv2.VideoCapture(0)
if not cap.isOpened():
    print("Cannot open camera")
    exit()
while True:
    ret, frame = cap.read()
    if not ret:
        print("Cannot receive frame")
        break
    img = cv2.resize(frame , (398, 224))
    show_img = img[0:224, 80:304]

    img = np.asarray(show_img, dtype=np.float32).reshape(1, 224, 224, 3)
    img = (img / 127.5) - 1

    prediction = model.predict(img)
    index = np.argmax(prediction)
    print(index)
    if index == 0:
        text('ok~')  # 使用 text() 函式，顯示文字
    if index == 1:
        text('no mask!!')
    cv2.imshow("Webcam Image", show_img)

    if cv2.waitKey(1) == ord('q'):
        break    # 按下 q 鍵停止
cap.release()
cv2.destroyAllWindows()

如果要加入中文，必須要使用 pillow 函式庫，開啟命令提示字元或終端機，啟動 tensorflow 虛擬環境安裝 pillow 函式庫，再使用下方的程式碼，就能夠加入中文的文字。

參考：建立 tensorflow 的虛擬環境、使用中文字型

from keras.models import load_model  # TensorFlow is required for Keras to work
import cv2  # Install opencv-python
import numpy as np
from PIL import ImageFont, ImageDraw, Image  # 載入 PIL 相關函式庫

fontpath = 'NotoSansTC-Regular.ttf'          # 設定字型路徑

# Disable scientific notation for clarity
np.set_printoptions(suppress=True)

# Load the model
model = load_model("keras_Model.h5", compile=False)

def text(text):                               # 建立顯示文字的函式
    global show_img                           # 設定 img 為全域變數
    org = (0,50)                              # 文字位置
    font = ImageFont.truetype(fontpath, 50)   # 設定字型與文字大小
    imgPil = Image.fromarray(show_img)        # 將 img 轉換成 PIL 影像
    draw = ImageDraw.Draw(imgPil)             # 準備開始畫畫
    draw.text((0, 0), text, fill=(255, 255, 255), font=font)  # 寫入文字
    show_img = np.array(imgPil)  

cap = cv2.VideoCapture(0)
if not cap.isOpened():
    print("Cannot open camera")
    exit()
while True:
    ret, frame = cap.read()
    if not ret:
        print("Cannot receive frame")
        break
    img = cv2.resize(frame , (398, 224))
    show_img = img[0:224, 80:304]

    img = np.asarray(show_img, dtype=np.float32).reshape(1, 224, 224, 3)
    img = (img / 127.5) - 1

    prediction = model.predict(img)
    index = np.argmax(prediction)
    print(index)
    if index == 0:
        text('很乖')  # 使用 text() 函式，顯示文字
    if index == 1:
        text('沒戴口罩!!')
    cv2.imshow("Webcam Image", show_img)

    if cv2.waitKey(1) == ord('q'):
        break    # 按下 q 鍵停止
cap.release()
cv2.destroyAllWindows()

意見回饋

如果有任何建議或問題，可傳送「意見表單」給我，謝謝～