phpopenvc人脸采集技巧_基于OpenCv的人脸识别Python完整代码大年夜盘站

图1：人脸识别流程图

采集人脸图片的方法多种多样，可以直接从网高下载数据集，可以从视频中提取图片，还可以从摄像头实时的采集图片。

人脸检测在实际中紧张用于人脸识别的预处理，即在图像中准确标定出人脸的位置和大小。
人脸图像中包含的模式特色十分丰富，如直方图特色、颜色特色、模板特色、构造特色及Haar特色等。
人脸检测便是把这个中有用的信息挑出来，并利用这些特色实现人脸检测。

对付人脸的图像预处理是基于人脸检测结果，对图像进行处理并终极做事于特色提取的过程。
系统获取的原始图像由于受到各种条件的限定和随机 滋扰，每每不能直策应用，必须在图像处理的早期阶段对它进行灰度校正、噪声过滤等图像预处理。
对付人脸图像而言，其预处理过程紧张包括人脸图像的光芒补 偿、灰度变换、直方图均衡化、归一化、几何校正、滤波以及锐化等。

人脸识别系统可利用的特色常日分为视觉特色、像素统计特色、人脸图像变换系数特色、人脸图像代数 特色等。
人脸特色提取便是针对人脸的某些特色进行的。
人脸特色提取，也称人脸表征，它是对人脸进行特色建模的过程。
人脸特色提取的方法归纳起来分为两大 类：一种是基于知识的表征方法；其余一种是基于代数特色或统计学习的表征方法。

提取的人脸图像的特色数据与数据库中存储的特色模板进行搜索匹配，通过设定一个阈值，当相似度超过这一阈值，则把匹配得到的结果输 出。
人脸识别便是将待识别的人脸特色与已得到的人脸特色模板进行比较，根据相似程度对人脸的身份信息进行判断。
这一过程又分为两类：一类是确认，是一对一 进行图像比较的过程，另一类是辨认，是一对多进行图像匹配比拟的过程。

Opencv是一个开源的的跨平台打算机视觉库，内部实现了图像处理和打算机视觉方面的很多通用算法，对付python而言，在引用opencv库的时候须要写为import cv2。
个中，cv2是opencv的C++命名空间名称，利用它来表示调用的是C++开拓的opencv的接口

目前人脸识别有很多较为成熟的方法，这里调用OpenCv库，而OpenCV又供应了三种人脸识别方法，分别是LBPH方法、EigenFishfaces方法、Fisherfaces方法。
本文采取的是LBPH（Local Binary Patterns Histogram，局部二值模式直方图）方法。
在OpenCV中，可以用函数cv2.face.LBPHFaceRecognizer_create()天生LBPH识别器实例模型，然后运用cv2.face_FaceRecognizer.train()函数完成演习，末了用cv2.face_FaceRecognizer.predict()函数完成人脸识别。

CascadeClassifier，是Opencv中做人脸检测的时候的一个级联分类器。
并且既可以利用Haar，也可以利用LBP特色。
个中Haar特色是一种反响图像的灰度变革的，像素分模块求差值的一种特色。
它分为三类：边缘特色、线性特色、中央特色和对角线特色。

图2：人脸识别模块图

图3：准备阶段

首先读取config文件，文件中第一行代表当前已经储存的人名个数，接下来每一行是二元组（id，name）即标签和对应的人名 读取结果存到以下两个全局变量中。

id_dict = {} # 字典里存的是id——name键值对Total_face_num = 999 # 已经被识别有用户名的人脸个数,复制代码

def init(): # 将config文件内的信息读入到字典中

加载人脸检测分类器Haar，并准备好识别方法LBPH方法

# 加载OpenCV人脸检测分类器Haarface_cascade = cv2.CascadeClassifier("haarcascade_frontalface_default.xml")# 准备好识别方法LBPH方法recognizer = cv2.face.LBPHFaceRecognizer_create()复制代码

然后打开标号为0的摄像头

camera = cv2.VideoCapture(0) # 摄像头success, img = camera.read() # 从摄像头读取照片复制代码2.录入新脸庞

图4：录入人脸

创建文件夹data用于储存本次从摄像头采集到的照片，每次调用前先清空这个目录。

然后是一个循环，循环次数为须要采集的样本数，摄像头拍摄取样的数量,越多效果越好，但获取以及演习的越慢。

循环内调用camera.read()返回值赋给全局变量success,和img 用于在GUI中实时显示。

然后调用cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)用于将采集到的图片转为灰度图片减少打算量。

然后利用加载好的人脸分类器将每一帧摄像头记录的数据带入OpenCv中，让Classifier判断人脸。

# 个中gray为要检测的灰度图像，1.3为每次图像尺寸减小的比例，5为minNeighbors faces = face_cascade.detectMultiScale(gray, 1.3, 5)复制代码

faces为在img图像中检测到的人脸，然后利用cv2.rectangle在人脸一圈画个矩形。
并把含有人脸的区域储存进入data文件夹 把稳这里写入时，每个图片的标签时Total_face_num即当前共有多少个可识别用户（在录入之前加一），亦即当前用户的编号

cv2.rectangle(img, (x, y), (x + w, y + w), (255, 0, 0)) cv2.imwrite("./data/User." + str(T) + '.' + str(sample_num) + '.jpg', gray[y:y + h, x:x + w])复制代码

然后在循环末端末了打印一个进度条，用于提示采集图像的进度 紧张事理便是每次输出不换行并且将光标移动到当前行的开头，输出内容根据进度不断变革即可，同时在控件的提示框也输出进度信息

print("\r" + "%{:.1f}".format(sample_num / pictur_num 100) + "=" l + "->" + "_" r, end="")var.set("%{:.1f}".format(sample_num / pictur_num 100)) # 控件可视化进度信息window.update() # 刷新控件以实时显示进度复制代码2.2演习识别器

读取data文件夹，读取照片内的信息，得到两个数组，一个faces存的是所有脸部信息、一个ids存的是faces内每一个脸部对应的标签，然后将这两个数组传给 recog.train用于演习

# 演习模型 #将输入的所有图片转成四维数组 recog.train(faces, np.array(ids))复制代码

演习完毕后保存演习得到的识别器到.yml文件中，文件名为人脸编号+.yml

recog.save(str(Total_face_num) + ".yml")复制代码2.3修正配置文件

每一次演习结束都要修正配置文件，详细要修正的地方是第一行和末了一行。
第一行有一个整数代表当前系统已经录入的人脸的总数，每次修正都加一。
这里修正文件的办法是先读入内存，然后修正内存中的数据，末了写回文件。

f = open('config.txt', 'r+') flist = f.readlines() flist[0] = str(int(flist[0]) + 1) + " \n" f.close() f = open('config.txt', 'w+') f.writelines(flist) f.close()复制代码

还要在末了一行加入一个二元组用以标识用户。
格式为：标签+空格+用户名+空格，用户名默认为Userx（个中x标识用户编号）

f.write(str(T) + " User" + str(T) + " \n")复制代码3.人脸识别（刷脸）

图5：刷脸流程图

由于这里采取多个.yml文件来储存识别器（实际操作时储存在一个文件中识别出错以是采取这种办法），以是在识别时须要遍历所有的.yml文件，如果每一个都不能识别才得出无法识别的结果，相反只要有一个可以识别当前工具就返回可以识别的结果。
而对付每一个文件都识别十次人脸，若成功五次以上则表示终极结果为可以识别，否则表示当前文件无法识别这个人脸。

识别过程中在GUI的控件中实时显示拍摄到的内容，并在人脸周围画一个矩形框，并根据识别器返回的结果实时显示在矩形框附近。

idnum, confidence = recognizer.predict(gray[y:y + h, x:x + w])# 加载一个字体用于输出识别工具的信息font = cv2.FONT_HERSHEY_SIMPLEX# 输出考验结果以及用户名cv2.putText(img, str(user_name), (x + 5, y - 5), font, 1, (0, 0, 255), 1)cv2.putText(img, str(confidence), (x + 5, y + h - 5), font, 1, (0, 0, 0), 1)复制代码多线程：

程序的两个功能之间可以独立运行，就须要采取多线程的方法，但当碰着临界资源的利用时，多个进程/线程之间就要互斥的访问以免出错，本程序中详细的设计方法： 本程序采取多线程的方法实现并行。
程序的三个按钮对应着三个功能，分别是录入人脸、人脸检测、退出程序。
由于程序中的用户界面是利用python中的tkinter库做的，其按钮的相应函数用command指出，以是这里在每个command跳转到的函数中设置多线程，每敲击一次就用threading.Thread创建一个新的线程，然后在新的线程的处理函数target中实现按钮原来对应的功能。

p = threading.Thread(target=f_scan_face_thread)复制代码

在涉及到摄像头的访问时，线程之间须要互斥的访问，以是设置了一个全局的变量system_state_lock 来表示当前系统的状态，用以实现带有优先级的互斥锁的功能。
锁状态为0表示摄像头未被利用，1表示正在刷脸，2表示正在录入新脸庞。
程序在实际实行的过程中如果状态为0，则无论是刷脸还是录入都能顺利实行，如果状态为1表示正在刷脸，如果此时敲击刷脸按钮则，系统会提示正在刷脸并谢绝新的要求，如果此时敲击录入脸庞按钮，由于录入脸庞优先级比刷脸高，以是原刷脸线程会被壅塞，

global system_state_lockwhile system_state_lock == 2: # 如果正在录入新面孔就壅塞 pass复制代码

新的录入脸庞进程开始实行并修正系统状态为2，录入完成后状态变为原状态，被壅塞的刷脸进程连续实行，录入人脸线程刚实行完录入阶段现在正在演习，此时有两个线程并行，以此来担保演习数据的同时不影响系统的利用。

对付退出的功能，直接在函数内调用exit()，但是python的线程会默认等待子线程全部结束再退出，以是用p.setDaemon(True)将线程设置为守护线程，这样在主线程退出之后其它线程也都退出从而实现退出全体程序的功能。

程序采取python中的tkinter库做可视化，优点是占用资源小、轻量化、方便。

window.after(1, video_loop)# 这句的意思是一秒往后实行video_loop函数# 由于这一句是写在video_loop函数中的以是每过一秒函数实行一次。
复制代码运行测试解释

测试环境：python 3.6 + opencv-python 3.4.14.51 须要的包：

图6：须要的包

从数据集录入

从摄像头录入

人脸识别

代码实现：

# 实验环境：python 3.6 + opencv-python 3.4.14.51import cv2import numpy as npimport osimport shutilimport threadingimport tkinter as tkfrom PIL import Image, ImageTk# 首先读取config文件，第一行代表当前已经储存的人名个数，接下来每一行是（id，name）标签和对应的人名id_dict = {} # 字典里存的是id——name键值对Total_face_num = 999 # 已经被识别有用户名的人脸个数,def init(): # 将config文件内的信息读入到字典中 f = open('config.txt') global Total_face_num Total_face_num = int(f.readline()) for i in range(int(Total_face_num)): line = f.readline() id_name = line.split(' ') id_dict[int(id_name[0])] = id_name[1] f.close()init()# 加载OpenCV人脸检测分类器Haarface_cascade = cv2.CascadeClassifier("haarcascade_frontalface_default.xml")# 准备好识别方法LBPH方法recognizer = cv2.face.LBPHFaceRecognizer_create()# 打开标号为0的摄像头camera = cv2.VideoCapture(0) # 摄像头success, img = camera.read() # 从摄像头读取照片W_size = 0.1 camera.get(3)H_size = 0.1 camera.get(4)system_state_lock = 0 # 标志系统状态的量 0表示无子线程在运行 1表示正在刷脸 2表示正在录入新面孔。
# 相称于mutex锁，用于线程同步'''============================================================================================以上是初始化============================================================================================'''def Get_new_face(): print("正在从摄像头录入新人脸信息 \n") # 存在目录data就清空，不存在就创建，确保末了存在空的data目录 filepath = "data" if not os.path.exists(filepath): os.mkdir(filepath) else: shutil.rmtree(filepath) os.mkdir(filepath) sample_num = 0 # 已经得到的样本数 while True: # 从摄像头读取图片 global success global img # 由于要显示在可视化的控件内，以是要用全局的 success, img = camera.read() # 转为灰度图片 if success is True: gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY) else: break # 检测人脸，将每一帧摄像头记录的数据带入OpenCv中，让Classifier判断人脸 # 个中gray为要检测的灰度图像，1.3为每次图像尺寸减小的比例，5为minNeighbors face_detector = face_cascade faces = face_detector.detectMultiScale(gray, 1.3, 5) # 框选人脸，for循环担保一个能检测的实时动态视频流 for (x, y, w, h) in faces: # xy为左上角的坐标,w为宽，h为高，用rectangle为人脸标记画框 cv2.rectangle(img, (x, y), (x + w, y + w), (255, 0, 0)) # 样本数加1 sample_num += 1 # 保存图像，把灰度图片算作二维数组来检测人脸区域，这里是保存在data缓冲文件夹内 T = Total_face_num cv2.imwrite("./data/User." + str(T) + '.' + str(sample_num) + '.jpg', gray[y:y + h, x:x + w]) pictur_num = 30 # 表示摄像头拍摄取样的数量,越多效果越好，但获取以及演习的越慢 cv2.waitKey(1) if sample_num > pictur_num: break else: # 掌握台内输出进度条 l = int(sample_num / pictur_num 50) r = int((pictur_num - sample_num) / pictur_num 50) print("\r" + "%{:.1f}".format(sample_num / pictur_num 100) + "=" l + "->" + "_" r, end="") var.set("%{:.1f}".format(sample_num / pictur_num 100)) # 控件可视化进度信息 # tk.Tk().update() window.update() # 刷新控件以实时显示进度def Train_new_face(): print("\n正在演习") # cv2.destroyAllWindows() path = 'data' # 初始化识别的方法 recog = cv2.face.LBPHFaceRecognizer_create() # 调用函数并将数据喂给识别器演习 faces, ids = get_images_and_labels(path) print('本次用于演习的识别码为:') # 调试信息 print(ids) # 输出识别码 # 演习模型 #将输入的所有图片转成四维数组 recog.train(faces, np.array(ids)) # 保存模型 yml = str(Total_face_num) + ".yml" rec_f = open(yml, "w+") rec_f.close() recog.save(yml) # recog.save('aaa.yml')# 创建一个函数，用于从数据集文件夹中获取演习图片,并获取id# 把稳图片的命名格式为User.id.sampleNumdef get_images_and_labels(path): image_paths = [os.path.join(path, f) for f in os.listdir(path)] # 新建连个list用于存放 face_samples = [] ids = [] # 遍历图片路径，导入图片和id添加到list中 for image_path in image_paths: # 通过图片路径将其转换为灰度图片 img = Image.open(image_path).convert('L') # 将图片转化为数组 img_np = np.array(img, 'uint8') if os.path.split(image_path)[-1].split(".")[-1] != 'jpg': continue # 为了获取id，将图片和路径分裂并获取 id = int(os.path.split(image_path)[-1].split(".")[1]) # 调用熟习的人脸分类器 detector = cv2.CascadeClassifier('haarcascade_frontalface_default.xml') faces = detector.detectMultiScale(img_np) # 将获取的图片和id添加到list中 for (x, y, w, h) in faces: face_samples.append(img_np[y:y + h, x:x + w]) ids.append(id) return face_samples, idsdef write_config(): print("新人脸演习结束") f = open('config.txt', "a") T = Total_face_num f.write(str(T) + " User" + str(T) + " \n") f.close() id_dict[T] = "User" + str(T) # 这里修正文件的办法是先读入内存，然后修正内存中的数据，末了写回文件 f = open('config.txt', 'r+') flist = f.readlines() flist[0] = str(int(flist[0]) + 1) + " \n" f.close() f = open('config.txt', 'w+') f.writelines(flist) f.close()'''============================================================================================以上是录入新人脸信息功能的实现============================================================================================'''def scan_face(): # 利用之前演习好的模型 for i in range(Total_face_num): # 每个识别器都要用 i += 1 yml = str(i) + ".yml" print("\n本次:" + yml) # 调试信息 recognizer.read(yml) ave_poss = 0 for times in range(10): # 每个识别器扫描十遍 times += 1 cur_poss = 0 global success global img global system_state_lock while system_state_lock == 2: # 如果正在录入新面孔就壅塞 print("\r刷脸被录入脸庞壅塞", end="") pass success, img = camera.read() gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY) # 识别人脸 faces = face_cascade.detectMultiScale( gray, scaleFactor=1.2, minNeighbors=5, minSize=(int(W_size), int(H_size)) ) # 进行校验 for (x, y, w, h) in faces: # global system_state_lock while system_state_lock == 2: # 如果正在录入新面孔就壅塞 print("\r刷脸被录入脸庞壅塞", end="") pass # 这里调用Cv2中的rectangle函数 在人脸周围画一个矩形 cv2.rectangle(img, (x, y), (x + w, y + h), (0, 255, 0), 2) # 调用分类器的预测函数，吸收返回值标签和置信度 idnum, confidence = recognizer.predict(gray[y:y + h, x:x + w]) conf = confidence # 打算出一个考验结果 if confidence < 100: # 可以识别出已经演习的工具——直接输出姓名在屏幕上 if idnum in id_dict: user_name = id_dict[idnum] else: # print("无法识别的ID:{}\t".format(idnum), end="") user_name = "Untagged user:" + str(idnum) confidence = "{0}%", format(round(100 - confidence)) else: # 无法识别此工具，那么就开始演习 user_name = "unknown" # print("检测到陌生人脸\n") # cv2.destroyAllWindows() # global Total_face_num # Total_face_num += 1 # Get_new_face() # 采集新人脸 # Train_new_face() # 演习采集到的新人脸 # write_config() # 修正配置文件 # recognizer.read('aaa.yml') # 读取新识别器 # 加载一个字体用于输出识别工具的信息 font = cv2.FONT_HERSHEY_SIMPLEX # 输出考验结果以及用户名 cv2.putText(img, str(user_name), (x + 5, y - 5), font, 1, (0, 0, 255), 1) cv2.putText(img, str(confidence), (x + 5, y + h - 5), font, 1, (0, 0, 0), 1) # 展示结果 # cv2.imshow('camera', img) print("conf=" + str(conf), end="\t") if 15 > conf > 0: cur_poss = 1 # 表示可以识别 elif 60 > conf > 35: cur_poss = 1 # 表示可以识别 else: cur_poss = 0 # 表示不可以识别 k = cv2.waitKey(1) if k == 27: # cam.release() # 开释资源 cv2.destroyAllWindows() break ave_poss += cur_poss if ave_poss >= 5: # 有一半以上识别解释可行则返回 return i return 0 # 全部过一遍还没识别出解释无法识别'''============================================================================================以上是关于刷脸功能的设计============================================================================================'''def f_scan_face_thread(): # 利用之前演习好的模型 # recognizer.read('aaa.yml') var.set('刷脸') ans = scan_face() if ans == 0: print("终极结果：无法识别") var.set("终极结果：无法识别") else: ans_name = "终极结果：" + str(ans) + id_dict[ans] print(ans_name) var.set(ans_name) global system_state_lock print("锁被开释0") system_state_lock = 0 # 修正system_state_lock,开释资源def f_scan_face(): global system_state_lock print("\n当前锁的值为：" + str(system_state_lock)) if system_state_lock == 1: print("壅塞，由于正在刷脸") return 0 elif system_state_lock == 2: # 如果正在录入新面孔就壅塞 print("\n刷脸被录入脸庞壅塞\n" "") return 0 system_state_lock = 1 p = threading.Thread(target=f_scan_face_thread) p.setDaemon(True) # 把线程P设置为守护线程 若主线程退出 P也随着退出 p.start()def f_rec_face_thread(): var.set('录入') cv2.destroyAllWindows() global Total_face_num Total_face_num += 1 Get_new_face() # 采集新人脸 print("采集完毕，开始演习") global system_state_lock # 采集完就可以解开锁 print("锁被开释0") system_state_lock = 0 Train_new_face() # 演习采集到的新人脸 write_config() # 修正配置文件# recognizer.read('aaa.yml') # 读取新识别器# global system_state_lock# print("锁被开释0")# system_state_lock = 0 # 修正system_state_lock,开释资源def f_rec_face(): global system_state_lock print("当前锁的值为：" + str(system_state_lock)) if system_state_lock == 2: print("壅塞，由于正在录入脸庞") return 0 else: system_state_lock = 2 # 修正system_state_lock print("改为2", end="") print("当前锁的值为：" + str(system_state_lock)) p = threading.Thread(target=f_rec_face_thread) p.setDaemon(True) # 把线程P设置为守护线程 若主线程退出 P也随着退出 p.start() # tk.Tk().update()# system_state_lock = 0 # 修正system_state_lock,开释资源def f_exit(): # 退出按钮 exit()'''============================================================================================以上是关于多线程的设计============================================================================================'''window = tk.Tk()window.title('Cheney\' Face_rec 3.0') # 窗口标题window.geometry('1000x500') # 这里的乘是小x# 在图形界面上设定标签，类似于一个提示窗口的浸染var = tk.StringVar()l = tk.Label(window, textvariable=var, bg='green', fg='white', font=('Arial', 12), width=50, height=4)# 解释： bg为背景，fg为字体颜色，font为字体，width为长，height为高，这里的长和高是字符的长和高，比如height=2,便是标签有2个字符这么高l.pack() # 放置l控件# 在窗口界面设置放置Button按键并绑定处理函数button_a = tk.Button(window, text='开始刷脸', font=('Arial', 12), width=10, height=2, command=f_scan_face)button_a.place(x=800, y=120)button_b = tk.Button(window, text='录入人脸', font=('Arial', 12), width=10, height=2, command=f_rec_face)button_b.place(x=800, y=220)button_b = tk.Button(window, text='退出', font=('Arial', 12), width=10, height=2, command=f_exit)button_b.place(x=800, y=320)panel = tk.Label(window, width=500, height=350) # 摄像头模块大小panel.place(x=10, y=100) # 摄像头模块的位置window.config(cursor="arrow")def video_loop(): # 用于在label内动态展示摄像头内容（摄像头嵌入控件） # success, img = camera.read() # 从摄像头读取照片 global success global img if success: cv2.waitKey(1) cv2image = cv2.cvtColor(img, cv2.COLOR_BGR2RGBA) # 转换颜色从BGR到RGBA current_image = Image.fromarray(cv2image) # 将图像转换成Image工具 imgtk = ImageTk.PhotoImage(image=current_image) panel.imgtk = imgtk panel.config(image=imgtk) window.after(1, video_loop)video_loop()# 窗口循环，用于显示window.mainloop()'''============================================================================================以上是关于界面的设计============================================================================================'''复制代码