視訊結構化 AI 推理流程

2022-09-24 06:02:42

「視訊結構化」是一種 AI 落地的工程化實現,目的是把 AI 模型推理流程能夠一般化。它輸入視訊,輸出結構化資料,將結果給到業務系統去形成某些行業的解決方案。

換個角度,如果你想用攝像頭來實現某些智慧化監控、預警等,那麼「視訊結構化」可能就是你要用到的技術方案。

不過,也不一定需要自己去實現,因為各個晶片廠商可能都提供了類似的流程框架:

以上個人沒用過,簡單看了下,都受限於只能用廠商自家的晶片。個人經驗來說,一般硬體還是需要多家可選的,自己實現一套「視訊結構化」還是有必要的。

本文將介紹「視訊結構化」的實現思路、技術架構,以及衍生的一些工作。

實現思路

有一個 AI 模型與一段視訊,如何進行推理呢?

  • 視訊流:OpenCV 開啟視訊流,獲取影象幀
  • 前處理:影象 Resize 成模型輸入的 Shape
  • 模型推理:AI 框架進行模型推理,得到輸出
  • 後處理:將輸出處理成期望的資訊
    • 例如,目標檢測:解析框的位置和類別,再 NMS 篩選

以上是最基礎的推理流程,完成得不錯