博客

Python+Dlib+Opencv实现人脸采集并表情判别功能的代码

  • Post category:Python

下面是Python+Dlib+Opencv实现人脸采集并表情判别功能的完整攻略及示例。

1. 环境搭建

首先，需要安装Python、Dlib和Opencv。建议使用Anaconda来安装这些库，因为Anaconda已经为我们准备好了大量常用的Python库，安装起来也很简单。

安装Anaconda可以到官网下载对应的版本，安装Dlib和Opencv可以使用以下命令：

conda install -c conda-forge dlib
conda install opencv

2. 人脸采集

要实现人脸采集，需要使用Dlib来识别人脸并截取图像。Dlib的人脸检测功能使用了HoG特征和支持向量机（SVM）分类器，可以在不同角度和光照条件下准确地检测人脸。

以下是示例代码，其中包含了一个采集10张人脸图像的函数：

import cv2
import dlib

# 加载人脸检测器和关键点检测器
detector = dlib.get_frontal_face_detector()
predictor = dlib.shape_predictor("shape_predictor_68_face_landmarks.dat")

# 打开摄像头
cap = cv2.VideoCapture(0)

def collect_faces():
    count = 0
    while True:
        ret, frame = cap.read()
        gray = cv2.cvtColor(frame, cv2.COLOR_BGR2GRAY)
        faces = detector(gray)

        # 迭代每一张脸，保存图像
        for face in faces:
            x1 = face.left()
            y1 = face.top()
            x2 = face.right()
            y2 = face.bottom()
            cv2.rectangle(frame, (x1, y1), (x2, y2), (0, 255, 0), 2)

            landmarks = predictor(gray, face)
            x = [landmarks.part(i).x for i in range(48, 68)]
            y = [landmarks.part(i).y for i in range(48, 68)]

            # 保存脸部图像
            if count < 10:
                roi = frame[y1:y2, x1:x2]
                cv2.imwrite(f"face_{count}.jpg", roi)
                count += 1

                # 显示带关键点的脸部图像
                for i in range(20):
                    cv2.circle(frame, (x[i], y[i]), 2, (0, 0, 255), -1)
        cv2.imshow("collect", frame)

        if cv2.waitKey(1) & 0xFF == ord('q'):
            break

    cap.release()
    cv2.destroyAllWindows()

在此示例中，我们使用了标准的人脸检测器，该检测器返回一张靠前的人脸区域的矩形框。在每个矩形框中，我们使用Dlib的关键点检测器获取面部的68个关键点，其中包括嘴和眉毛的位置。

在每一个人脸区域内，我们保存了相应的图像，每张图像保存在以“face_”为前缀的一个文件名中。最后我们在视频窗口上展示了带关键点的脸部图像。

3. 表情识别

要实现表情识别，需要先通过深度学习训练模型。这里我们使用了KDEF和CK+等公开数据集训练了一个简单的卷积神经网络（CNN）模型，可以识别7种表情：愤怒、厌恶、恐惧、高兴、悲伤、惊讶和中性。

以下是示例代码，其中包含了一个测试表情的函数：

import numpy as np
from tensorflow.keras.models import load_model

# 导入模型
model = load_model("emotion_model.h5")

# 构建情绪字典
emotions = {
    0: "Angry",
    1: "Disgust",
    2: "Fear",
    3: "Happy",
    4: "Sad",
    5: "Surprise",
    6: "Neutral"
}

def detect_emotion(image):
    # 调整图像大小和颜色模式
    resized = cv2.resize(image, (48, 48), interpolation = cv2.INTER_AREA)
    gray = cv2.cvtColor(resized, cv2.COLOR_BGR2GRAY)

    # 归一化图像像素值
    normalized = gray / 255.0
    reshaped = np.reshape(normalized, (-1, 48, 48, 1))

    # 对图像进行预测
    result = model.predict(reshaped)[0]
    index = np.argmax(result)

    # 返回预测的情绪结果
    return emotions[index]

def test_emotion():
    capture = cv2.VideoCapture(0)
    font = cv2.FONT_HERSHEY_SIMPLEX

    while True:
        ret, frame = capture.read()
        gray = cv2.cvtColor(frame, cv2.COLOR_BGR2GRAY)
        faces = detector(gray)

        for face in faces:
            x1 = face.left()
            y1 = face.top()
            x2 = face.right()
            y2 = face.bottom()

            # 在脸部区域画一个矩形框
            cv2.rectangle(frame, (x1, y1), (x2, y2), (0, 255, 0), 2)

            # 在矩形框上显示预测情绪
            roi = gray[y1:y2, x1:x2]
            emotion = detect_emotion(cv2.cvtColor(roi, cv2.COLOR_GRAY2BGR))
            cv2.putText(frame, emotion, (x1, y1-10), font, 0.8, (0, 255, 0), 2, cv2.LINE_AA)

        cv2.imshow("test", frame)
        if cv2.waitKey(1) & 0xFF == ord('q'):
            break

    capture.release()
    cv2.destroyAllWindows()

在此示例中，我们首先加载了训练好的模型。对于每个人脸区域，我们调整其大小和颜色模式，然后使用模型对图像进行预测，返回预测的情绪结果。为了更好的展示表情结果，我们将其显示在视频窗口的矩形框上方。

4. 完整代码

以上就是Python+Dlib+Opencv实现人脸采集并表情判别功能的完整攻略和示例，下面是完整代码：

import cv2
import dlib
import numpy as np
from tensorflow.keras.models import load_model

# 加载人脸和关键点检测器
detector = dlib.get_frontal_face_detector()
predictor = dlib.shape_predictor("shape_predictor_68_face_landmarks.dat")

# 加载情绪分类器
model = load_model("emotion_model.h5")
emotions = {
    0: "Angry",
    1: "Disgust",
    2: "Fear",
    3: "Happy",
    4: "Sad",
    5: "Surprise",
    6: "Neutral"
}

# 采集10张人脸图像并保存到本地
def collect_faces():
    count = 1
    cap = cv2.VideoCapture(0)
    while count <= 10:
        ret, frame = cap.read()
        gray = cv2.cvtColor(frame, cv2.COLOR_BGR2GRAY)

        faces = detector(gray)
        for face in faces:
            x1 = face.left()
            y1 = face.top()
            x2 = face.right()
            y2 = face.bottom()
            cv2.rectangle(frame, (x1, y1), (x2, y2), (0, 255, 0), 2)

            landmarks = predictor(gray, face)
            x = [landmarks.part(i).x for i in range(48, 68)]
            y = [landmarks.part(i).y for i in range(48, 68)]

            # 保存脸部图像
            if count <= 10:
                roi = frame[y1:y2, x1:x2]
                cv2.imwrite(f"face_{count}.jpg", roi)
                count += 1

                # 显示带关键点的脸部图像
                # for i in range(20):
                #     cv2.circle(frame, (x[i], y[i]), 2, (0, 0, 255), -1)
        cv2.imshow("collect", frame)

        if cv2.waitKey(1) & 0xFF == ord('q'):
            break

    cap.release()
    cv2.destroyAllWindows()

# 测试表情
def detect_emotion(image):
    resized = cv2.resize(image, (48, 48), interpolation = cv2.INTER_AREA)
    gray = cv2.cvtColor(resized, cv2.COLOR_BGR2GRAY)

    # 归一化像素值
    normalized = gray / 255.0
    reshaped = np.reshape(normalized, (-1, 48, 48, 1))

    # 预测情绪
    result = model.predict(reshaped)[0]
    index = np.argmax(result)

    # 返回预测结果
    return emotions[index]

def test_emotion():
    capture = cv2.VideoCapture(0)
    font = cv2.FONT_HERSHEY_SIMPLEX

    while True:
        ret, frame = capture.read()
        gray = cv2.cvtColor(frame, cv2.COLOR_BGR2GRAY)
        faces = detector(gray)

        for face in faces:
            x1 = face.left()
            y1 = face.top()
            x2 = face.right()
            y2 = face.bottom()

            # 在矩形框上显示预测情绪
            roi = gray[y1:y2, x1:x2]
            emotion = detect_emotion(cv2.cvtColor(roi, cv2.COLOR_GRAY2BGR))
            cv2.putText(frame, emotion, (x1, y1-10), font, 0.8, (0, 255, 0), 2, cv2.LINE_AA)

            # 在脸部区域画一个矩形框
            cv2.rectangle(frame, (x1, y1), (x2, y2), (0, 255, 0), 2)

        cv2.imshow("test", frame)
        if cv2.waitKey(1) & 0xFF == ord('q'):
            break

    capture.release()
    cv2.destroyAllWindows()

# 主函数
if __name__ == '__main__':
    print("1. 采集人脸图像并保存到本地。\n2. 测试表情识别。\n请输入序号：")
    choice = input()

    if choice == '1':
        collect_faces()
    elif choice == '2':
        test_emotion()
    else:
        print("输入有误！")

可以根据自己的需求修改代码，实现更复杂的功能。

Tags: