在Raspberry Pi 4设计GUI介面，汇入机器学习模型实现人脸辨识篇

本文为前篇在"Raspberry Pi 4设计GUI介面来执行商品结账系统"的系列文章，将智能商店功能延伸，结合是否有人接近智慧商店，如果预测出人脸时则会播出欢迎光临的音频的功能，可使前篇文章更加完备。

全部源代码及设计文档，请点击 https://www.rs-online.com/designspark/raspberry-pi-4gui-3-cn

本文章先备知识教学文章

使用Google Teachable Machine来实现Raspberry Pi 4 的影像分类推论

在Raspberry Pi 4设计GUI接口，汇入机器学习模型实现商品结账应用

本篇文章完整范例程序请由本文最下方附件下载

笔者在使用Teachable Machine时，发现网站除了可以分辨对象的图像外，也能分辨人脸，故智能商店才将此功能结合进去。本主题会将焦点会放在脸部的图像分类，在Teachable Machine收集人脸资料后，导出人脸的模型档案后，再使用Tkinter 的图形化接口设计一套分辨人脸系统。

本文将分成下列几个步骤来完成此专题

1.在Teachable Machine 收集人脸数据，并可以在网站上实时推论人脸图像

2.将模型汇入到RPI4，并可执行人脸图像分类程序

3.设计人脸GUI图形化接口之程序说明，并执行智能商店人脸程序

1.在Teachable Machine 收集人脸数据，并可以在网站上实时推论人脸图像

先在Teachable Machine网页训练人脸模型，相关步骤可以参考"使用Google Teachable Machine 来实现Raspberry Pi 4 的影像分类推论"，考虑到一般的商店的结账系统，只要有人即可结账，并不会去纪录人名，所以在Teachable Machine 的模型卷标只有两种情形，有人和无人。

因为只要判别是否有人接近，所以笔者是到网络上收集男性和女性，东方人或西方人的脸孔图片约莫共120张，直接上传至"people"的标签中，读者也可以程序下载区Store-->face_dataset文件夹中找到图片，并且全选上传。另外当初也有想过拍照，但是拍的人数样本太少，不如直接上网收集人脸图片，也考虑到不同的肤色、年龄、地方相关的因素。

而收集没有人脸的图片则是可以直接设定用Webcam拍照即可。

设定计算机使用的摄影机，本次使用Webcam的是Logi C170

另外，建议可以在计算机外接一个Webcam，收集图片较为方便。

按下"Train Model" 即可开始训练模型。

因为在训练集中放入了相同两张有带口罩的人脸，所以即使戴着口罩，推论出来的结果也可以分类得出来是"people"。

无人脸接近则是"no_people"

但如果人脸太远离镜头，则也会被分类到"no_people"

输出模型

2.将模型汇入到RPI4，并可执行人脸图像分类程序

点选Tensorflow Lite -->Quantized-->Download my model

下载得到扩展名[专案名称]+.txt、.tflite的两个档案

请将下载的文件夹解压缩后，将两个档名分别改成"label_face.txt"和"model_face.tflite"，并传送数据到Rpi4 的"Store"文件夹中。

在"Store"文件夹中有"TM2_tflite_new.py"，可以执行程序，并将有无人脸的状态显示及预测值显示在窗口上面。

先移动文件夹位置到Store

$ cd Store/

执行程序

$ python3 TM2_tflite_new.py --model model_face.tflite --label labels_face.txt

在执行程序的窗口中，笔者有将结果显示在窗口上，"0"为标签、"people"为预测出人脸的名称、"0.9921875"为预测值，说明能分辨出人脸类别的预测值为99%。

3.设计人脸GUI图形化接口之程序说明，并执行智能商店人脸程序 3-1人脸GUI图形化接口程序说明

设定窗口大小 300*300像素

self.window.geometry('300x300') self.window.resizable(False, False)

开启Webcam摄影机

self.vid_0 = MyVideoCapture(self.video_source_0)

建立人脸尺寸为240*180像素的图像画布

self.canvas_face = tkinter.Canvas(window, width = 240, height = 180)

设置画布尺寸窗口中的于第0行第0列，在grid网格中使用"sticky"参数，是west向左对齐

self.canvas_face.grid(row=0, column=0, sticky="w")

建立具有拍照功能按钮，并名称为"Face"，排列在第1行第0列

tkinter.Button(window, text="Face", command=self.face).grid(row=1, column=0)

Webcam得到影像后，必须使用PIL套件，才能在Tkinter 画布中显示动态影像。

def face(self): ret_0, frame_0 = self.vid_0.get_frame() if (ret_0): Face_class(frame_0) def update(self): ret_0, frame_0 = self.vid_0.get_frame() #调整Webcam影像之画面大小，需和Tkinter画布同尺寸 frame_0_small=cv2.resize(frame_0,(240,180)) if ret_0: self.photo_2 = PIL.ImageTk.PhotoImage(image = PIL.Image.fromarray(frame_0_small)) self.canvas_face.create_image(241,0,image = self.photo_2, anchor="ne") self.window.after(self.delay, self.update)

Webcam影像画面相关尺寸大小设定

class MyVideoCapture: def __init__(self, video_source): #将原本Webcam影像画面大小设定为320X240 self.vid = cv2.VideoCapture(video_source) self.vid.set(cv2.CAP_PROP_FRAME_WIDTH,320) self.vid.set(cv2.CAP_PROP_FRAME_HEIGHT,240) if not self.vid.isOpened(): raise ValueError("Unable to open video source", video_source) # 设定视讯来源的尺寸 self.width = self.vid.get(cv2.CAP_PROP_FRAME_WIDTH) self.height = self.vid.get(cv2.CAP_PROP_FRAME_HEIGHT) def get_frame(self): if self.vid.isOpened(): ret, frame = self.vid.read() if ret: # 将影像画面转换成RGB格式 return (ret, cv2.cvtColor(frame, cv2.COLOR_BGR2RGB)) else: return (ret, None) else: return (ret, None) # 释放影像资源 def __del__(self): if self.vid.isOpened(): self.vid.release()

做人脸图像推论，若侦测到人脸时则显示"欢迎光临智能商店"，讯息会排序在第2行第0列中显示出来，并播放欢迎词音讯，也同时启动拍照功能。

class Face_class: def load_labels(self,path): with open(path, 'r') as f: return {i: line.strip() for i, line in enumerate(f.readlines())} def set_input_tensor(self, interpreter, image): tensor_index = interpreter.get_input_details()[0]['index'] input_tensor = interpreter.tensor(tensor_index)()[0] input_tensor[:, :] = image def classify_image(self, interpreter, image, top_k=1): self.set_input_tensor(interpreter, image) interpreter.invoke() output_details = interpreter.get_output_details()[0] output = np.squeeze(interpreter.get_tensor(output_details['index'])) # If the model is quantized (uint8 data), then dequantize the results if output_details['dtype'] == np.uint8: scale, zero_point = output_details['quantization'] output = scale * (output - zero_point) ordered = np.argpartition(-output, top_k) return [(i, output[i]) for i in ordered[:top_k]] def __init__(self,image_src): labels = self.load_labels('/home/pi/Store/labels_face.txt') interpreter = Interpreter('/home/pi/Store/model_face.tflite') interpreter.allocate_tensors() _, height, width, _ = interpreter.get_input_details()[0]['shape'] image=cv2.resize(image_src,(224,224)) results = self.classify_image(interpreter, image) label_id, prob = results[0] if (labels[label_id] == "1 no_people"): labelExample = tkinter.Label(text="____________________") labelExample.grid(row=2, column=0) else : labelExample = tkinter.Label(text="____________________") labelExample.grid(row=2, column=0) labelExample = tkinter.Label(text="欢迎光临智慧商店") labelExample.grid(row=2, column=0) #开启拍照功能并存在face_collect文件夹中 cv2.imwrite("face_collect/" + "face-" + time.strftime("%d-%m-%Y-%H-%M-%S") + ".jpg", cv2.cvtColor(image_src, cv2.COLOR_RGB2BGR)) #播放欢迎光临音讯文件 file=r'/home/pi/Store/welcome.mp3' while (pygame.mixer.music.get_busy()!=1): track = pygame.mixer.music.load(file) pygame.mixer.music.play()#窗口标题为"智能商店"App(tkinter.Tk(), "智慧商店")

3-2 执行程序画面及组件位置

执行Python程序

$python3 tk_cv_face.py

Tkinter排列的组件，分别为画布(Canvas)在第0行第0列、"Face"按钮(Button)在第1行第0列、文字卷标(Label)在第2行第0列。侦测到人脸时，除了可以播放音讯档案外，也同时会开启拍照功能，其目的在于收集使用者脸孔，可以达成两种目的，一、可以大致推论出性别或年龄，哪种族群较多人使用。二、可重新训练模型，虽然google taechable machine在一般的情况下已经可以侦测人脸，但数据集中却没有使用者的照片，会使得预测有稍微的偏差，若要符合真实情形，则需要将收集到的人脸照片到google taechable machine再做一次训练。