技術文章 » 表面缺陷檢測資料集彙總及其相關專案推薦 | Github開源

表面缺陷檢測資料集彙總及其相關專案推薦 | Github開源

2020-09-29 11:00:41

Surface-Defect-Detection

🐎📈 collect Surface-Defect-Detection paper and dataset 🐋


原文連結，參看我的Github：https://github.com/Charmve/Surface-Defect-Detection

目前, 基於機器視覺的表面缺陷裝備已經在各工業領域廣泛替代人工肉眼檢測，包括3C、汽車、家電、機械製造、半導體及電子、化工、醫藥、航空航天、輕工等行業。傳統的基於機器 視覺的表面缺陷檢測方法，往往採用常規影象處理 演演算法或人工設計特徵加分類器方式。一般來說，通常利用被檢表面或缺陷的不同性質進行成像方案的設計，合理的成像方案有助於獲得光照均勻的影象，並將物體表面缺陷明顯的體現出來。近年來，不少基於深度學習的缺陷檢測方法也被廣泛應用在各種工業場景中。

對比計算機視覺中明確的分 類、檢測和分割任務, 缺陷檢測的需求非常籠統. 實 際上, 其需求可以劃分為三個不同的層次: 「缺陷是什麼」（分類）、「缺陷在哪裡」（定位）和「缺陷是多少」（分割）。

一、表面缺陷檢測關鍵問題

1、小樣本問題

目前深度學習方法廣泛應用在各種計算機視覺 任務中, 表面缺陷檢測一般被看作是其在工業領域的具體應用。在傳統的認識中, 深度學習方法無法直接應用在表面缺陷檢測中的原因是因為在真實的 工業環境中, 所能提供的工業缺陷樣本太少。

相比於ImageNet資料集中1400多萬張樣本資料, 表面缺陷檢測中面臨的最關鍵的問題是小樣本問題, 在很多真實的工業場景下甚至只有幾張或幾十張缺陷圖片。 實際上, 針對於工業表面缺陷檢測中關鍵問題之 一的小樣本問題, 目前有4種不同的解決方式:

1）資料擴增、生成

最常用的缺陷影象擴 增方法是對原始缺陷樣本採用映象、旋轉、平移、扭曲、濾波、對比度調整等多種影象處理操作來獲取 更多的樣本。另外一種較為 常見方法是資料合成, 常常將單獨缺陷融合疊加到 正常(無缺陷)樣本上構成缺陷樣本。

2）網路預訓練與遷移學習

一般來說,，採用小樣本來訓練深度學習網路很容易導致過擬合, 因此 基於預訓練網路或遷移學習的方法是目前針對樣 本中最常用的方法之一。

3）合理的網路結構設計

通過設計合理的網路 結構也可以大大減少樣本的需求。基於壓縮取樣定理來壓縮和擴充小樣本資料, 使 用CNN直接對壓縮取樣的資料特徵進行分類. 相比 於原始的影象輸入, 通過對輸入進行壓縮取樣能大 大降低網路對樣本的需求. 此外, 基於孿生網路的表 面缺陷檢測方法也可以看作是一種特殊的網路設計, 能夠大幅減少樣本需求。

4）無監督或半監督

在無監督模型中, 只利用正 常樣本進行訓練, 因此不需要缺陷樣本. 半監督方法 可以利用沒有標註的樣本來解決小樣本情況下的網路訓練難題。

2、實時性問題

基於深度學習的缺陷檢測方法在工業應用中包括三個主要環節: 資料標註、模型訓練與模型推斷. 在實際工業應用中的實時性更關注模型推斷這一環節. 目前大多數缺陷檢測方法都集中在分類或 識別的準確性上, 而很少關注模型推斷的效率。有不少方法用於加速模型, 例如模型權重量化和模型剪枝等。另外，雖然現有深度學習模型 使用GPU作為通用計算單元, 但隨著技術發展, 相信FPGA會成為一個具有吸引力的替代方案。

二、工業表面缺陷檢測常用資料集

1）鋼材表面：NEU-CLS（可用於分類、定位任務）

地址：http://faculty.neu.edu.cn/yunhyan/NEU_surface_defect_database.html

在這裡插入圖片描述

由東北大學（NEU）釋出的表面缺陷資料庫，收集了熱軋鋼帶的六種典型表面缺陷，即軋製氧化皮（RS），斑塊（Pa），開裂（Cr），點蝕表面（ PS），內含物（In）和劃痕（Sc）。該資料庫包括1,800個灰度影象：六種不同型別的典型表面缺陷，每一類缺陷包含300個樣本。對於缺陷檢測任務，資料集提供了註釋，指示每個影象中缺陷的類別和位置。對於每個缺陷，黃色框是指示其位置的邊框，綠色標籤是類別分數。

在這裡插入圖片描述


2）太陽能板：elpv-dataset

地址：https://github.com/zae-bayern/elpv-dataset


3）金屬表面：KolektorSDD

The dataset is constructed from images of defected electrical commutators that were provided and annotated by Kolektor Group d.o.o… Specifically, microscopic fractions or cracks were observed on the surface of the plastic embedding in electrical commutators. The surface area of each commutator was captured in eight non-overlapping images. The images were captured in a controlled environment.


offical link: https://www.vicos.si/Downloads/KolektorSDD

百度網路硬碟連結：https://pan.baidu.com/share/init?surl=HSzHC1ltHvt1hSJh_IY4Jg

提取碼：1zlb

The dataset consists of:

  • 50 physical items (defected electrical commutators)
  • 8 surfaces per item
  • Altogether 399 images:
    – 52 images of visible defect
    – 347 images without any defect
  • Original images of sizes:
    – width: 500 px
    – height: from 1240 to 1270 px
  • For training and evaluation images should be resized to 512 x 1408 px

For each item the defect is only visible in at least one image, while two items have defects on two images, which means there were 52 images where the defects are visible. The remaining 347 images serve as negative examples with non-defective surfaces.


4）PCB板檢測：DeepPCB

地址：https://github.com/Charmve/Surface-Defect-Detection/tree/master/DeepPCB

在這裡插入圖片描述


5）AITEX資料集（面料缺陷）

資料集下載連結：

https://pan.baidu.com/s/1cfC4Ll5QlnwN5RTuSZ6b7w

提取碼：b9uy

該資料庫由七個不同織物結構的245張4096 x 256畫素影象組成。資料庫中有140個無缺陷影象，每種型別的織物20個，除此之外，有105幅紡織行業中常見的不同型別的織物缺陷（12種缺陷）影象。影象的大尺寸允許使用者使用不同的視窗尺寸，從而增加了樣本數量。Internet上的資料庫還包含所有具有缺陷的影象的分割mask，使得白色畫素表示缺陷區域，其餘畫素為黑色。


6）天池布匹缺陷資料（競賽）

資料下載連結：

https://pan.baidu.com/s/1LMbujxvr5iB3SwjFGYHspA

提取碼：gat2

在布匹的實際生產過程中，由於各方面因素的影響，會產生汙漬、破洞、毛粒等瑕疵，為保證產品品質，需要對布匹進行瑕疵檢測。布匹疵點檢驗是紡織行業生產和品質管理的重要環節，目前人工檢測易受主觀因素影響，缺乏一致性；並且檢測人員在強光下長時間工作對視力影響極大。由於布匹疵點種類繁多、形態變化多樣、觀察識別難道大，導致布匹疵點智慧檢測是困擾行業多年的技術瓶頸。本資料涵蓋了紡織業中布匹的各類重要瑕疵，每張圖片含一個或多種瑕疵。資料包括包括素色布和花色布兩類，其中，素色布資料約8000張，用於初賽；花色布資料約12000張，用於複賽。


7）天池鋁型材表面瑕疵資料集（競賽）

資料集下載連結：

https://tianchi.aliyun.com/competition/entrance/231682/information

資料介紹：在鋁型材的實際生產過程中，由於各方面因素的影響，鋁型材表面會產生裂紋、起皮、劃傷等瑕疵，這些瑕疵會嚴重影響鋁型材的品質。為保證產品品質，需要人工進行肉眼目測。然而，鋁型材的表面自身會含有紋路，與瑕疵的區分度不高。傳統人工肉眼檢查十分費力，不能及時準確的判斷出表面瑕疵，質檢的效率難以把控。近年來，深度學習在影象識別等領域取得了突飛猛進的成果。鋁型材製造商迫切希望採用最新的AI技術來革新現有質檢流程，自動完成質檢任務，減少漏檢發生率，提高產品的品質，使鋁型材產品的生產管理者徹底擺脫了無法全面掌握產品表面品質的狀態。大賽資料集裡有1萬份來自實際生產中有瑕疵的鋁型材監測影像資料，每個影像包含一個或多種瑕疵。供機器學習的樣圖會明確標識影像中所包含的瑕疵型別。

在這裡插入圖片描述


8）弱監督學習下的工業光學檢測（DAGM 2007） Weakly Supervised Learning for Industrial Optical Inspection

資料下載連結：

https://hci.iwr.uni-heidelberg.de/node/3616

在這裡插入圖片描述


資料集介紹：

  • 主要針對紋理背景上的雜項缺陷。

  • 較弱監督的訓練資料。

  • 包含是個資料集，前六個為訓練資料集，後四個為測試資料集。

  • 每個資料集均包含以灰度8位元PNG格式儲存的1000個「無缺陷」影象和150個「有缺陷」影象。每個資料集由不同的紋理模型和缺陷模型生成。

  • 「無缺陷」影象顯示的背景紋理沒有缺陷，「無缺陷」影象的背景紋理上恰好有一個標記的缺陷。

  • 所有資料集已隨機分為大小相等的訓練和測試子資料集。

  • 弱標籤以橢圓形表示，大致表示缺陷區域。


9）基建表面裂紋檢測資料 Cracks on the surface of the construction.

資料集是github上的一個專案，主要是一些基建（水泥表面裂紋），可以存取專案連線：https://github.com/cuilimeng/CrackForest-dataset 或者百度雲連結：https://pan.baidu.com/s/1108j5QbDr7T3XQvDxAzVpg

提取碼：jajn

在這裡插入圖片描述


Cracks on the bridge(left) and crack on the road surface.

10）磁瓦缺陷資料集 Magnetic tile dataset

Magnetic tile dataset by ourselves. Can be downloaded from https://github.com/Charmve/Surface-Defect-Detection/tree/master/Magnetic-Tile-Defect, which was used in our paper 「Surface defect saliency of magnetic tile」, the paper can be reach by here or here

在這裡插入圖片描述

Figure 1. An overview of our dataset.

This is the datasets of the paper 「Saliency of magnetic tile surface defects」
The images of 6 common magnetic tile defects were collected, and their pixel level ground-truth were labeled.

11）鐵軌表面缺陷資料集 RSDDs dataset

RSDDs資料集包含兩種型別的資料集：第一種是從快車道捕獲的I型RSDDs資料集，其中包含67個具有挑戰性的影象。第二個是從普通/重型運輸軌道捕獲的II型RSDDs資料集，其中包含128個具有挑戰性的影象。

兩個資料集的每幅影象至少包含一個缺陷，並且背景複雜且噪聲很大。

RSDDs資料集中的這些缺陷已由一些專業的人類觀察員在軌道表面檢查領域進行了標記。

在這裡插入圖片描述


官方連結：http://icn.bjtu.edu.cn/Visint/resources/RSDDs.aspx

連結：https://pan.baidu.com/share/init?surl=svsnqL0r1kasVDNjppkEwg

提取碼：nanr


12）Kylberg Texture Dataset v. 1.0

Figure 2. Example patches from each one of the 28 texture classes.

Short description

  • 28 texture classes, see Figure 2.
  • 160 unique texture patches per class. (Alternative dataset with 12 rotations per each original patch, 160*12=1920 texture patches per class).
  • Texture patch size: 576x576 pixels.
  • File format: Lossless compressed 8 bit PNG.
  • All patches are normalized with a mean value of 127 and a standard deviation of 40.
  • One directory per texture class.
  • Files are named as follows: blanket1-d-p011-r180.png, where blanket1 is the class name, d original image sample number (possible values are a, b, c, or d), p011 is patch number 11, r180 patch rotated 180 degrees.

offical link:http://www.cb.uu.se/~gustaf/texture/


更多資料集可參考：

https://github.com/abin24/Surface-Inspection-defect-detection-dataset

三、Surface Defect Detection Papers

收集一些表面缺陷檢測的文章，主要檢測物件是：金屬表面、LCD屏、建築、輸電線等缺陷或異常檢物。方法以分類方法、檢測方法、重構方法、生成方法為主。電子版論文放在了paper檔案的對應日期檔案下。

詳見本倉庫 Papers


* Update by Sep.27 2020 ©Charmve