JavaCV的攝像頭實戰之十四：口罩檢測
2023-07-05 06:02:14
歡迎存取我的GitHub
這裡分類和彙總了欣宸的全部原創(含配套原始碼)：https://github.com/zq2599/blog_demos
本篇概覽
- 本文是《JavaCV的攝像頭實戰》系列的第十四篇，如標題所說，今天的功能是檢測攝像頭內的人是否帶了口罩，把檢測結果實時標註在預覽視窗，如下圖所示：
- 整個處理流程如下，實現口罩檢測的關鍵是將圖片提交到百度AI開放平臺，然後根據平臺返回的結果在本地預覽視窗標識出人臉位置，以及此人是否帶了口罩：
問題提前告知
- 依賴雲平臺處理業務的一個典型問題，就是處理速度受限
- 首先，如果您在百度AI開放平臺註冊的賬號是個人型別，那麼免費的介面呼叫會被限制到一秒鐘兩次，如果是企業型別賬號，該限制是十次
- 其次，經過實測，一次人臉檢測介面耗時300ms以上
- 最終，實際上一秒鐘只能處理兩幀，這樣的效果在預覽視窗展現出來，就只能是幻燈片效果了（低於每秒十五幀就能感受到明顯的卡頓）
- 因此，本文只適合基本功能展示，無法作為實際場景的解決方案
關於百度AI開放平臺
- 為了正常使用百度AI開放平臺的服務，您需要完成一些註冊和申請操作，詳情請參考《最簡單的人臉檢測（免費呼叫百度AI開放平臺介面）》
- 現在，如果您完成了百度AI開放平臺的註冊和申請，那麼，現在手裡應該有可用的access_token，那麼現在可以開始編碼了
編碼：新增依賴庫
- 本文繼續使用《JavaCV的攝像頭實戰之一：基礎》建立的simple-grab-push工程
- 首先是在pom.xml中增加okhttp和jackson依賴，分別用於網路請求和JSON解析：
<dependency>
<groupId>com.squareup.okhttp3</groupId>
<artifactId>okhttp</artifactId>
<version>3.10.0</version>
</dependency>
<dependency>
<groupId>com.fasterxml.jackson.core</groupId>
<artifactId>jackson-databind</artifactId>
<version>2.11.0</version>
</dependency>
編碼：封裝請求和響應百度AI開放平臺的程式碼
- 接下來要開發一個服務類，這個服務類封裝了所有和百度AI開放平臺相關的程式碼
- 首先，定義web請求的request物件FaceDetectRequest.java：
package com.bolingcavalry.grabpush.bean.request;
import com.fasterxml.jackson.annotation.JsonProperty;
import lombok.Data;
/**
* @author willzhao
* @version 1.0
* @description 請求物件
* @date 2022/1/1 16:21
*/
@Data
public class FaceDetectRequest {
// 圖片資訊(總資料大小應小於10M)，圖片上傳方式根據image_type來判斷
String image;
// 圖片型別
// BASE64:圖片的base64值，base64編碼後的圖片資料，編碼後的圖片大小不超過2M；
// URL:圖片的 URL地址( 可能由於網路等原因導致下載圖片時間過長)；
// FACE_TOKEN: 人臉圖片的唯一標識，呼叫人臉檢測介面時，會為每個人臉圖片賦予一個唯一的FACE_TOKEN，同一張圖片多次檢測得到的FACE_TOKEN是同一個。
@JsonProperty("image_type")
String imageType;
// 包括age,expression,face_shape,gender,glasses,landmark,landmark150,quality,eye_status,emotion,face_type,mask,spoofing資訊
//逗號分隔. 預設只返回face_token、人臉框、概率和旋轉角度
@JsonProperty("face_field")
String faceField;
// 最多處理人臉的數目，預設值為1，根據人臉檢測排序型別檢測圖片中排序第一的人臉（預設為人臉面積最大的人臉），最大值120
@JsonProperty("max_face_num")
int maxFaceNum;
// 人臉的型別
// LIVE表示生活照：通常為手機、相機拍攝的人像圖片、或從網路獲取的人像圖片等
// IDCARD表示身份證晶片照：二代身份證內建晶片中的人像照片
// WATERMARK表示帶水印證件照：一般為帶水印的小圖，如公安網小圖
// CERT表示證件照片：如拍攝的身份證、工卡、護照、學生證等證件圖片
// 預設LIVE
@JsonProperty("face_type")
String faceType;
// 活體控制 檢測結果中不符合要求的人臉會被過濾
// NONE: 不進行控制
// LOW:較低的活體要求(高通過率 低攻擊拒絕率)
// NORMAL: 一般的活體要求(平衡的攻擊拒絕率, 通過率)
// HIGH: 較高的活體要求(高攻擊拒絕率 低通過率)
// 預設NONE
@JsonProperty("liveness_control")
String livenessControl;
// 人臉檢測排序型別
// 0:代表檢測出的人臉按照人臉面積從大到小排列
// 1:代表檢測出的人臉按照距離圖片中心從近到遠排列
// 預設為0
@JsonProperty("face_sort_type")
int faceSortType;
}
- 其次，定義web響應物件FaceDetectResponse.java：
package com.bolingcavalry.grabpush.bean.response;
import com.fasterxml.jackson.annotation.JsonProperty;
import lombok.Data;
import lombok.ToString;
import java.io.Serializable;
import java.util.List;
@Data
@ToString
public class FaceDetectResponse implements Serializable {
// 返回碼
@JsonProperty("error_code")
String errorCode;
// 描述資訊
@JsonProperty("error_msg")
String errorMsg;
// 返回的具體內容
Result result;
@Data
public static class Result {
// 人臉數量
@JsonProperty("face_num")
private int faceNum;
// 每個人臉的資訊
@JsonProperty("face_list")
List<Face> faceList;
/**
* @author willzhao
* @version 1.0
* @description 檢測出來的人臉物件
* @date 2022/1/1 16:03
*/
@Data
public static class Face {
// 位置
Location location;
// 是人臉的置信度
@JsonProperty("face_probability")
double face_probability;
// 口罩
Mask mask;
/**
* @author willzhao
* @version 1.0
* @description 人臉在圖片中的位置
* @date 2022/1/1 16:04
*/
@Data
public static class Location {
double left;
double top;
double width;
double height;
double rotation;
}
/**
* @author willzhao
* @version 1.0
* @description 口罩物件
* @date 2022/1/1 16:11
*/
@Data
public static class Mask {
int type;
double probability;
}
}
}
}
- 然後是服務類BaiduCloudService.java，把請求和響應百度AI開放平臺的邏輯全部集中在這裡，可見其實很簡單：根據圖片的base64字串構造請求物件、發POST請求（path是人臉檢測服務）、收到響應後用Jackson反序列化成FaceDetectResponse物件：
package com.bolingcavalry.grabpush.extend;
import com.bolingcavalry.grabpush.bean.request.FaceDetectRequest;
import com.bolingcavalry.grabpush.bean.response.FaceDetectResponse;
import com.fasterxml.jackson.databind.DeserializationFeature;
import com.fasterxml.jackson.databind.ObjectMapper;
import okhttp3.*;
import java.io.IOException;
/**
* @author willzhao
* @version 1.0
* @description 百度雲服務的呼叫
* @date 2022/1/1 11:06
*/
public class BaiduCloudService {
OkHttpClient client = new OkHttpClient();
static final MediaType JSON = MediaType.parse("application/json; charset=utf-8");
static final String URL_TEMPLATE = "https://aip.baidubce.com/rest/2.0/face/v3/detect?access_token=%s";
String token;
ObjectMapper mapper = new ObjectMapper();
public BaiduCloudService(String token) {
this.token = token;
// 重要：反序列化的時候，字元的欄位如果比類的欄位多，下面這個設定可以確保反序列化成功
mapper.disable(DeserializationFeature.FAIL_ON_UNKNOWN_PROPERTIES);
}
/**
* 檢測指定的圖片
* @param imageBase64
* @return
*/
public FaceDetectResponse detect(String imageBase64) {
// 請求物件
FaceDetectRequest faceDetectRequest = new FaceDetectRequest();
faceDetectRequest.setImageType("BASE64");
faceDetectRequest.setFaceField("mask");
faceDetectRequest.setMaxFaceNum(6);
faceDetectRequest.setFaceType("LIVE");
faceDetectRequest.setLivenessControl("NONE");
faceDetectRequest.setFaceSortType(0);
faceDetectRequest.setImage(imageBase64);
FaceDetectResponse faceDetectResponse = null;
try {
// 用Jackson將請求物件序列化成字串
String jsonContent = mapper.writeValueAsString(faceDetectRequest);
//
RequestBody requestBody = RequestBody.create(JSON, jsonContent);
Request request = new Request
.Builder()
.url(String.format(URL_TEMPLATE, token))
.post(requestBody)
.build();
Response response = client.newCall(request).execute();
String rawRlt = response.body().string();
faceDetectResponse = mapper.readValue(rawRlt, FaceDetectResponse.class);
} catch (IOException ioException) {
ioException.printStackTrace();
}
return faceDetectResponse;
}
}
- 服務類寫完了，接下來是主程式把整個邏輯串起來
DetectService介面的實現
- 熟悉《JavaCV的攝像頭實戰》系列的讀者應該對DetectService介面不陌生了，為了在整個系列的諸多實戰中以統一的風格實現抓取幀-->處理幀-->輸出處理結果這樣的流程，咱們定義了一個DetectService介面，每種不同幀處理業務按照自己的特點來實現此介面即可（例如人臉檢測、年齡檢測、性別檢測等）
- 先來回顧DetectService介面：
package com.bolingcavalry.grabpush.extend;
import org.bytedeco.javacv.Frame;
import org.bytedeco.javacv.OpenCVFrameConverter;
import org.bytedeco.opencv.opencv_core.*;
import org.bytedeco.opencv.opencv_objdetect.CascadeClassifier;
import static org.bytedeco.opencv.global.opencv_core.CV_8UC1;
import static org.bytedeco.opencv.global.opencv_imgproc.*;
/**
* @author willzhao
* @version 1.0
* @description 檢測工具的通用介面
* @date 2021/12/5 10:57
*/
public interface DetectService {
/**
* 根據傳入的MAT構造相同尺寸的MAT，存放灰度圖片用於以後的檢測
* @param src 原始圖片的MAT物件
* @return 相同尺寸的灰度圖片的MAT物件
*/
static Mat buildGrayImage(Mat src) {
return new Mat(src.rows(), src.cols(), CV_8UC1);
}
/**
* 檢測圖片，將檢測結果用矩形標註在原始圖片上
* @param classifier 分類器
* @param converter Frame和mat的轉換器
* @param rawFrame 原始視訊幀
* @param grabbedImage 原始視訊幀對應的mat
* @param grayImage 存放灰度圖片的mat
* @return 標註了識別結果的視訊幀
*/
static Frame detect(CascadeClassifier classifier,
OpenCVFrameConverter.ToMat converter,
Frame rawFrame,
Mat grabbedImage,
Mat grayImage) {
// 當前圖片轉為灰度圖片
cvtColor(grabbedImage, grayImage, CV_BGR2GRAY);
// 存放檢測結果的容器
RectVector objects = new RectVector();
// 開始檢測
classifier.detectMultiScale(grayImage, objects);
// 檢測結果總數
long total = objects.size();
// 如果沒有檢測到結果，就用原始幀返回
if (total<1) {
return rawFrame;
}
// 如果有檢測結果，就根據結果的資料構造矩形框，畫在原圖上
for (long i = 0; i < total; i++) {
Rect r = objects.get(i);
int x = r.x(), y = r.y(), w = r.width(), h = r.height();
rectangle(grabbedImage, new Point(x, y), new Point(x + w, y + h), Scalar.RED, 1, CV_AA, 0);
}
// 釋放檢測結果資源
objects.close();
// 將標註過的圖片轉為幀，返回
return converter.convert(grabbedImage);
}
/**
* 初始化操作，例如模型下載
* @throws Exception
*/
void init() throws Exception;
/**
* 得到原始幀，做識別，新增框選
* @param frame
* @return
*/
Frame convert(Frame frame);
/**
* 釋放資源
*/
void releaseOutputResource();
}
- 再來看看本次實戰中DetectService介面的實現類BaiduCloudDetectService.java，有幾處要注意的地方稍後會提到：
package com.bolingcavalry.grabpush.extend;
import com.bolingcavalry.grabpush.bean.response.FaceDetectResponse;
import lombok.extern.slf4j.Slf4j;
import org.bytedeco.javacpp.Loader;
import org.bytedeco.javacv.Frame;
import org.bytedeco.javacv.Java2DFrameConverter;
import org.bytedeco.javacv.OpenCVFrameConverter;
import org.bytedeco.opencv.opencv_core.Mat;
import org.bytedeco.opencv.opencv_core.Point;
import org.bytedeco.opencv.opencv_core.Rect;
import org.bytedeco.opencv.opencv_core.Scalar;
import org.bytedeco.opencv.opencv_objdetect.CascadeClassifier;
import org.opencv.face.Face;
import sun.misc.BASE64Encoder;
import javax.imageio.ImageIO;
import java.awt.image.BufferedImage;
import java.io.ByteArrayOutputStream;
import java.io.File;
import java.io.IOException;
import java.net.URL;
import java.util.List;
import static org.bytedeco.opencv.global.opencv_imgproc.*;
import static org.bytedeco.opencv.global.opencv_imgproc.CV_AA;
/**
* @author willzhao
* @version 1.0
* @description 音訊相關的服務
* @date 2021/12/3 8:09
*/
@Slf4j
public class BaiduCloudDetectService implements DetectService {
/**
* 每一幀原始圖片的物件
*/
private Mat grabbedImage = null;
/**
* 百度雲的token
*/
private String token;
/**
* 圖片的base64字串
*/
private String base64Str;
/**
* 百度雲服務
*/
private BaiduCloudService baiduCloudService;
private OpenCVFrameConverter.ToMat openCVConverter = new OpenCVFrameConverter.ToMat();
private Java2DFrameConverter java2DConverter = new Java2DFrameConverter();
private OpenCVFrameConverter.ToMat converter = new OpenCVFrameConverter.ToMat();
private BASE64Encoder encoder = new BASE64Encoder();
/**
* 構造方法，在此指定模型檔案的下載地址
* @param token
*/
public BaiduCloudDetectService(String token) {
this.token = token;
}
/**
* 百度雲服務物件的初始化
* @throws Exception
*/
@Override
public void init() throws Exception {
baiduCloudService = new BaiduCloudService(token);
}
@Override
public Frame convert(Frame frame) {
// 將原始幀轉成base64字串
base64Str = frame2Base64(frame);
// 記錄請求開始的時間
long startTime = System.currentTimeMillis();
// 交給百度雲進行人臉和口罩檢測
FaceDetectResponse faceDetectResponse = baiduCloudService.detect(base64Str);
// 如果檢測失敗，就提前返回了
if (null==faceDetectResponse
|| null==faceDetectResponse.getErrorCode()
|| !"0".equals(faceDetectResponse.getErrorCode())) {
String desc = "";
if (null!=faceDetectResponse) {
desc = String.format("，錯誤碼[%s]，錯誤資訊[%s]", faceDetectResponse.getErrorCode(), faceDetectResponse.getErrorMsg());
}
log.error("檢測人臉失敗", desc);
// 提前返回
return frame;
}
log.info("檢測耗時[{}]ms，結果：{}", (System.currentTimeMillis()-startTime), faceDetectResponse);
// 如果拿不到檢測結果，就返回原始幀
if (null==faceDetectResponse.getResult()
|| null==faceDetectResponse.getResult().getFaceList()) {
log.info("未檢測到人臉");
return frame;
}
// 取出百度雲的檢測結果，後面會逐個處理
List<FaceDetectResponse.Result.Face> list = faceDetectResponse.getResult().getFaceList();
FaceDetectResponse.Result.Face face;
FaceDetectResponse.Result.Face.Location location;
String desc;
Scalar color;
int pos_x;
int pos_y;
// 如果有檢測結果，就根據結果的資料構造矩形框，畫在原圖上
for (int i = 0; i < list.size(); i++) {
face = list.get(i);
// 每張人臉的位置
location = face.getLocation();
int x = (int)location.getLeft();
int y = (int)location.getHeight();
int w = (int)location.getWidth();
int h = (int)location.getHeight();
// 口罩欄位的type等於1表示帶口罩，0表示未帶口罩
if (1==face.getMask().getType()) {
desc = "Mask";
color = Scalar.GREEN;
} else {
desc = "No mask";
color = Scalar.RED;
}
// 在圖片上框出人臉
rectangle(grabbedImage, new Point(x, y), new Point(x + w, y + h), color, 1, CV_AA, 0);
// 人臉標註的橫座標
pos_x = Math.max(x-10, 0);
// 人臉標註的縱座標
pos_y = Math.max(y-10, 0);
// 給人臉做標註，標註是否佩戴口罩
putText(grabbedImage, desc, new Point(pos_x, pos_y), FONT_HERSHEY_PLAIN, 1.5, color);
}
// 將標註過的圖片轉為幀，返回
return converter.convert(grabbedImage);
}
/**
* 程式結束前，釋放臉部辨識的資源
*/
@Override
public void releaseOutputResource() {
if (null!=grabbedImage) {
grabbedImage.release();
}
}
private String frame2Base64(Frame frame) {
grabbedImage = converter.convert(frame);
BufferedImage bufferedImage = java2DConverter.convert(openCVConverter.convert(grabbedImage));
ByteArrayOutputStream bStream = new ByteArrayOutputStream();
try {
ImageIO.write(bufferedImage, "png", bStream);
} catch (IOException e) {
throw new RuntimeException("bugImg讀取失敗:"+e.getMessage(),e);
}
return encoder.encode(bStream.toByteArray());
}
}
- 上述程式碼有以下幾點要注意：
- 整個BaiduCloudDetectService類，主要是對前面BaiduCloudService類的使用
- convert方法中，拿到frame範例後會轉為base64字串，用於提交到百度AI開放平臺做人臉檢測
- 百度AI開放平臺的檢測結果中有多個人臉檢測結果，這裡要逐個處理：取出每個人臉的位置，以此位置在原圖畫矩形框，然後根據是否戴口罩在人臉上做標記，戴口罩的是綠色標記（包括矩形框），不戴口罩的是紅色矩形框
主程式
- 最後是主程式了，還是《JavaCV的攝像頭實戰》系列的套路，咱們來看看主程式的服務類定義好的框架
- 《JavaCV的攝像頭實戰之一：基礎》建立的simple-grab-push工程中已經準備好了父類別AbstractCameraApplication，所以本篇繼續使用該工程，建立子類實現那些抽象方法即可
- 編碼前先回顧父類別的基礎結構，如下圖，粗體是父類別定義的各個方法，紅色塊都是需要子類來實現抽象方法，所以接下來，咱們以本地視窗預覽為目標實現這三個紅色方法即可：
- 新建檔案PreviewCameraWithBaiduCloud.java，這是AbstractCameraApplication的子類，其程式碼很簡單，接下來按上圖順序依次說明
- 先定義CanvasFrame型別的成員變數previewCanvas，這是展示視訊幀的本地視窗：
protected CanvasFrame previewCanvas
- 把前面建立的DetectService作為成員變數，後面檢測的時候會用到：
/**
* 檢測工具介面
*/
private DetectService detectService;
- PreviewCameraWithBaiduCloud的構造方法，接受DetectService的範例：
/**
* 不同的檢測工具，可以通過構造方法傳入
* @param detectService
*/
public PreviewCameraWithBaiduCloud(DetectService detectService) {
this.detectService = detectService;
}
- 然後是初始化操作，可見是previewCanvas的範例化和引數設定，還有檢測、識別的初始化操作：
@Override
protected void initOutput() throws Exception {
previewCanvas = new CanvasFrame("攝像頭預覽", CanvasFrame.getDefaultGamma() / grabber.getGamma());
previewCanvas.setDefaultCloseOperation(JFrame.EXIT_ON_CLOSE);
previewCanvas.setAlwaysOnTop(true);
// 檢測服務的初始化操作
detectService.init();
}
- 接下來是output方法，定義了拿到每一幀視訊資料後做什麼事情，這裡呼叫了detectService.convert檢測人臉並識別性別，然後在本地視窗顯示：
@Override
protected void output(Frame frame) {
// 原始幀先交給檢測服務處理，這個處理包括物體檢測，再將檢測結果標註在原始圖片上，
// 然後轉換為幀返回
Frame detectedFrame = detectService.convert(frame);
// 預覽視窗上顯示的幀是標註了檢測結果的幀
previewCanvas.showImage(detectedFrame);
}
- 最後是處理視訊的迴圈結束後，程式退出前要做的事情，先關閉本地視窗，再釋放檢測服務的資源：
@Override
protected void releaseOutputResource() {
if (null!= previewCanvas) {
previewCanvas.dispose();
}
// 檢測工具也要釋放資源
detectService.releaseOutputResource();
}
- 每一幀耗時太多，所以兩幀之間就不再額外間隔了：
@Override
protected int getInterval() {
return 0;
}
- 至此，功能已開發完成，再寫上main方法，程式碼如下，請注意token的值是前面在百度AI開放平臺取得的access_token：
public static void main(String[] args) {
String token = "21.xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx.xxxxxxx.xxxxxxxxxx.xxxxxx-xxxxxxxx";
new PreviewCameraWithBaiduCloud(new BaiduCloudDetectService(token)).action(1000);
}
- 至此，程式碼寫完了，準備好攝像頭開始驗證，群眾演員為了免費盒飯已經在寒風中等了很久啦
驗證
-
執行PreviewCameraWithBaiduCloud的main方法，請群眾演員出現在攝像頭前面，此時不戴口罩，可見人臉上是紅色字型和矩形框：
-
讓群眾演員戴上口罩，再次出現在攝像頭前面，這次檢測到了口罩，顯示了綠色標註和矩形框：
-
實際體驗中，由於一秒鐘最多隻有兩幀，在預覽視窗展示時完全是幻燈片效果，慘不忍睹...
-
本篇部落格使用了群眾演員兩張照片，所以被他領走了兩份盒飯，欣宸很心疼...
-
至此，基於JavaCV和百度AI開放平臺實現的口罩檢測功能已完成，希望您繼續關注《JavaCV的攝像頭實戰》系列，之後的實戰更精彩