圖片標籤及應用探索
部落格：https://wenjie.blog.csdn.net/
作者：走在前方
介紹：計算機碩士，多年工作經驗，技術和產品負責人。 多年推薦系統/NLP/巨量資料工作經驗。 負責公司多個AI專案產品落地，包括文字分類、關鍵詞抽取、命名實體識別、對話系統中語意理解、FAQ智慧問答、知識圖譜、圖搜、推薦系統等
本文主要分享核心要點
- 圖片標籤問題
- 什麼是多標籤影象分類
- 多標籤影象分類與多類影象分類有何不同
- 構建多標籤影象分類模型的步驟
- 你瞭解哪些多標籤影象分類模型結構
- 多分類和多標籤分類器和損失函數選擇
- 圖片標籤在推薦和搜尋系統應用
- 不同圖片業務應用
- 二分類
- 多分類
- 多目標任務
- 多標籤
- 以圖搜圖
- 多目標輸出圖片分類應用
- 背景和資料介紹
- 自定義資料集合網路模型設計
- 模型載入預測
- 線上預測以及資料視覺化
- 多標籤圖片分類應用
- 多標籤和多分類區別
- 二分類和多分類以及損失函數
- 網路模型設計
- 多標籤預測
- 以圖搜圖應用
- 圖搜應用場景和原理
- 開源向量檢索引擎
- 系統架構
- 圖片特徵抽取和線上實時檢索
圖片標籤問題
- 什麼是多標籤影象分類
- 多標籤影象分類與多類影象分類有何不同
- 構建多標籤影象分類模型的步驟
- 你瞭解哪些多標籤影象分類模型結構
- 多分類和多標籤分類器和損失函數選擇
- 圖片標籤在推薦和搜尋系統應用
不同圖片標籤差異
圖片分類：二分類（binary-class classification）場景
圖片分類：多分類（Multi-class classification）場景
以4類(貓、狗、兔子和鸚鵡)看下多分類特點：
每張圖片只能被分類為貓、狗、鸚鵡或兔子。沒有任何一個影象屬於多個類別的情況
圖片分類：多輸出分類（Multi-output classification）場景
3類（電商時尚類）：性別+顏色+型別（ 每張圖片都有3個固定的標籤 ），固定輸出圖片多標籤
圖片分類：多標籤圖片分類（Multi-label classification）場景
多標籤圖片分類
①每個影象都屬於一個以上的類
②每個圖片出現的標籤並不是固定的
③標籤獲取從標籤池中選擇最可能標籤展示
以圖搜圖
- 基於圖片標籤搜尋
- 基於圖片特徵搜尋
多目標輸出圖片分類
背景介紹
隨著電子商務產業快速發展，有大量的資料集等待著我們去搜集和研究。除了專業拍攝高品質產品影象，商品本身還擁有多個標籤屬性，用於描述商品各種特徵。另外，還提供了關於商品特性的描述性文字
資料介紹：每個商品都有一個唯一編碼（例如：ID =15970) ，商品資訊主要欄位資訊如下所示
資料分析
自定義資料集**+**模型定義和設計
自定義資料集
①載入指定的標籤資料
②計算標籤種類和數量統計
③構建標籤字典
④自定義資料集工具類
模型定義和設計
①載入預訓練的網路（例如：mobilenet_v2,resnet,resnext. 使用者可以自己選擇進行實驗）
②修改基礎網路結構，原來網路最後一層僅支援一個分類標籤輸入
③每個標籤屬性損失函數選擇cross-entropy loss （採用聯合訓練求loss）
模型資料驗證混淆矩陣視覺化
模型載入
model = MultiOutputModel(n_color_classes,
n_gender_classes,
n_article_classes)
model.to(device)
checkpoint = 「./checkpoints/2020-09-21_15-59/checkpoint-000049.pth」
model.load_state_dict(torch.load(checkpoint,map_location=‘cpu’))
model.eval()
圖片多標籤預測
多分類輸出多標籤案例演示
多標籤圖片分類
多標籤和多分類應用
- 不同任務的圖片分類應用
- 針對一張圖片，強制只能一種數位，可以使用softmax分類器
- 胸部X光片：一次胸部X光片可以同時顯示多種不同的醫療狀況。如果我們為胸部x光片構建一個分類器，我們希望該分類器能夠指示存在多種情況。這是一張同時顯示肺炎和膿腫的胸部x光照片，以及相應的標籤。
- 入院：根據患者的健康記錄，我們可能需要預測該患者將來是否會入院。我們可以將其定義為一個分類問題：根據患者未來的入院診斷（如果有的話）對患者過去的健康記錄進行分類。患者可能因多種疾病入院，因此可能有多個正確答案
介紹兩個重要的分類器
Sigmoid和Softmax對比
資料介紹
分類器**+**損失函數
網路模型設計
多標籤分類模型**-**效果視覺化
多標籤圖片分類功能演示
以圖搜圖
圖搜競品分析
以圖搜圖，在指定相簿中搜尋出相同或相似的圖片，適用於圖片精確查詢、相似素材搜尋、拍照搜同款商。
品、相似商品推薦等場景
例如：百度影象搜尋-基於深度學習的以圖搜圖，我們來看看具體場景應用。
https://cloud.baidu.com/product/imagesearch
相似圖片搜尋
在自建相簿中找到與檢索圖片語意相似的圖片集，並給出相似度打分（綜合圖片型別、顏色、內容、佈局等特徵）；適用於各種相似圖片查詢、相關內容推薦場景
- 設計素材查詢
基於拍攝照片查詢相似或相同的圖片作品，滿足設計師人群、工作人員更快捷高效查詢原版大圖或相似作品的需求
- 商品搜尋及推薦
將使用者拍攝的圖片在商品庫中搜尋，找到同款或相似的商品，進行商品銷售或者相關商品推薦，提升搜尋查詢的便捷性，優化使用者體驗
- 相關內容推薦
將文章內容或者產品服務中的圖片入庫，通過比對使用者上傳的圖片，查詢相似圖片，從而找到相關的內容資訊，實現相關內容搜尋、推薦
相同圖片搜尋
在自建相簿中找到與檢索圖相同的圖片，支援找到區域性內容相同的大圖，或適度調整背景和角度的相同圖片；可用於圖片精確查詢、重複圖片過濾等場景
應用場景
- 重複圖片過濾
搜尋相簿中是否有相同或高度相似的圖片，實現系統內圖片去重或過濾，避免重複內容引起的資源浪費、體驗下降等問題
- 圖片精確查詢
在圖片庫中找到主體相同的圖片，結合相似度分值，判斷圖片內容是否嚴格相同，可用於特定圖片查詢、圖片內容精準關聯等場景
商品圖片搜尋
針對商品類圖片，專項訓練檢索模型，在自建相簿中搜尋相同及相似的商品圖片集，可找到不同顏色、背景、角度的同款商品；適用於電商平臺拍照搜商品等場景
- 商品搜尋及推薦
將使用者拍攝的圖片在商品庫中搜尋，找到同款或相似的商品，進行商品銷售或者相關商品推薦，提升商品搜尋查詢的便捷性，優化使用者購買體驗
- 商品識別
將商品名稱與圖片相匹配一起入庫，通過圖片相似度判斷實現指定集合內的商品識別，可用於戶外廣告拍照下單、供應鏈系統拍圖找貨等場景
接下來我們就針對圖搜場景進一步探索。
以圖搜圖介紹
以圖搜圖應用場景
現在大火的人工智慧主要是：語音識別，自然語言處理，計算機視覺，推薦系統等等。
人工智慧技術應用：
n語音識別+自然語言處理：amazon echo，google assistant/home，siri，國內一大票智慧音箱
n計算機視覺：微博面孔專輯（商湯提供的cv能力），海康威視/格林深瞳的安防，**拍立淘（手機淘寶裡面的相機入口），百度識圖（百度app裡面的相機入口），**Google Photo
n推薦系統：手機淘寶主頁往下翻有個欄目叫猜你喜歡，qq/網易音樂的每日推薦歌曲等
圖片搜尋的主要應用是二維條碼掃描、以圖搜圖、拍照搜題、拍照翻譯、AR翻譯、以圖搜劇等
以圖搜圖基本原理
Faiss 開源向量檢索引擎
Faiss是Facebook AI團隊開源的針對聚類和相似性搜尋庫，為稠密向量提供高效相似度搜尋和聚類，支援十億級別向量的搜尋，是目前最為成熟的近似近鄰搜尋庫。它包含多種搜尋任意大小向量集（備註：向量集大小由RAM記憶體決定）的演演算法，以及用於演演算法評估和引數調整的支援程式碼。Faiss用C++編寫，並提供與Numpy完美銜接的Python介面
Faiss不同類別索引
Faiss索引構建原始碼解讀
演示資料介紹（資料來源+索引構建）
資料集介紹
圖片集包含 17125 張圖片，涵蓋 20 個目錄。
n人類；
n動物（鳥、貓、牛、狗、馬、羊）；
n交通工具（飛機、自行車、船、公共汽車、小轎車、摩托車、火車）；
n室內（瓶子、椅子、餐桌、盆栽植物、沙發、電視）
資料集大小：~2GB
說明：您也可以使用其他的圖片資料進行圖片索引構建和檢索。
索引構建壓縮
嘗試20萬照片構建圖片索引生成439M索引檔案
索引降維壓縮後，最後生成32M索引檔案，效果基本不受影響
以圖搜圖系統架構
圖片特徵抽取
線上實時檢索演示
- 第一張照片：使用者檢索照片，後面相似照片推薦（相似得分：從左到右、從上到下排序）
- 索引庫取樣降維壓縮，壓縮前後減少1/4
- 圖片檢索速度在毫秒級別
更多學習資料請參考
[1]深度學習之多目標輸出圖片分類
https://edu.csdn.net/course/detail/30928
[2]深度學習之多標籤圖片分類
https://edu.csdn.net/course/detail/30188
[3]圖搜競品分析
https://cloud.baidu.com/product/imagesearch
[4]圖片垃圾分類
https://edu.csdn.net/course/detail/26983
[5]圖片貓狗分類
https://edu.csdn.net/course/detail/25802