SLBR通過自校準的定位和背景細化來去除可見的水印

一、簡要介紹

本文簡要介紹了論文「Visible Watermark Removal via Self-calibrated Localization and Background Refinement 」的相關工作。在影象上疊加可見的水印，為解決版權問題提供了一種強大的武器。現代的水印去除方法可以同時進行水印定位和背景恢復，這可以看作是一個多工學習問題。然而，現有的方法存在水印檢測不完整和恢復背景的紋理質量下降的問題。因此，作者設計了一個雙階段多工網路來解決上述問題。粗度階段由水印分支和背景分支組成，其中水印分支對粗略估算的掩膜進行自校準，並將校準後的掩膜傳遞給背景分支，重建水印區域。在細化階段，作者整合了多層次的特徵來提高水印區域的紋理質量。在兩個資料集上的大量實驗證明了作者所提出的方法的有效性。

二、研究背景

隨著社交媒體的激增，影象成為最流行的記錄和傳遞資訊的載體。為了保護版權或主張所有權，各種型別的可見水印被設計並通過alpha混合疊加在背景影象上。疊加可見水印被認為是對抗攻擊者的一種有效的方法。然而，利用現代水印去除技術，水印影象很可能被轉換為無水印影象。

水印去除基於水印影象的背景影象，是一個開放且具有挑戰性的問題。水印可以覆蓋在具有不同大小、形狀、顏色和透明度的背景影象的任何位置。此外，水印通常包含複雜的圖案，如扭曲的符號、細線、陰影效果等。上述原因使得在沒有提供先驗知識的情況下，水印去除任務非常困難。圖1顯示了帶水印、無水標記影象和帶水印影象的一個範例。在本文的其餘部分中，作者交替使用兩個術語「背景影象」和「無水印影象」。

在一些前沿工作中，需要定位水印區域的位置。在水印掩膜的指導下，水印去除類似於影象inpainting或特徵匹配問題。然而，手動註釋每個影象的水印掩膜是非常耗時和成本昂貴的。最近，研究人員嘗試通過深度學習方法以端到端方式解決盲水印去除問題。一些工作人員將水印去除問題表述為一個不定位水印的image-to-image的轉換任務。相反，其他一些工作認為水印應該區域性化，依次或同時去除。儘管這些新興的方法取得了巨大的成功，但它們仍在努力精確和完全地定位水印，特別是當水印具有複雜的圖案、不同的顏色或孤立的片段時。不準確的水印掩膜會干擾背景影象的重建。此外，重建後的影象還存在模糊、偽影、結構扭曲等質量問題，有待進一步改進。

本文提出了一種新的基於自校準定位和背景細化的水印去除網路（SLBR），該網路包括一個粗度階段和一個細化階段。在粗度階段，作者將水印定位和水印去除作為多工學習框架中的兩個任務。具體來說，作者採用了一個U-Net結構，其中兩個任務共用相同的編碼器，但有兩個獨立的解碼器。掩膜解碼器分支預測多尺度水印掩膜，通過掩膜引導的背景增強（MBE）模組為背景解碼器分支提供指導，以更好地重建無水印影象。考慮到不同影象中的水印在許多方面存在很大的差異，作者設計了一個自校準掩膜細化（SMR）模組，將水印特徵傳播到整個特徵圖中，以更好地處理特定於影象的水印。在細化階段，作者以預測的水印掩膜和粗度階段的無水印影象作為輸入，生成一個細化的無水印影象。為了充分利用粗度階段的有用資訊，作者在粗度階段的後臺解碼器分支和細化階段的編碼器之間新增了跳級連線。考慮到不同層次的特徵捕獲了結構資訊或紋理細節，作者在細化階段反覆使用跨層次特徵融合（CFF）模組來聚合多層次編碼器特徵。從細化階段得到的輸出影象是最終恢復的背景影象。本文的主要貢獻可以總結如下：

（1）提出了一種新的跨階段多工網路SLBR，其跨任務資訊傳播技術用於水印去除任務。

（2）在粗度階段，作者設計了一個新的自校準掩膜細化（SMR）模組來校準水印掩膜，以及一個新的掩膜引導背景增強（MBE）模組來增強背景表示。

（3）在細化階段，作者提出了一種新的跨層次特徵融合（CFF）模組，該模組反覆得到細化的無水印影象。在兩個資料集上的

（4）實驗證明了作者所提方法的有效性。

三、方法介紹

給定在背景影象I上疊加水印得到的水印影象J，去除水印的目標是基於水印影象J恢復無水印影象I。由於水印掩膜M通常未知，本文的方法需要同時執行水印定位和水印去除兩個任務，可以在多工學習框架下適應。如圖2所示，整個網路以從粗到細的方式設計，包括粗度階段和細化階段。在粗度階段，與以往的多工學習方法類似，作者採用了一個共用編碼器和兩個分割解碼器，其中兩個解碼器分別負責定位水印（掩膜解碼器分支）和恢復背景影象（背景解碼器分支）。在掩膜解碼器分支中，作者設計了一個自校準的掩膜細化（SMR）模組，以提高預測的水印掩膜的質量。為了簡化從掩膜解碼器分支到背景解碼器分支的資訊流，作者採用了一個掩膜引導的背景增強（MBE）模組來增強背景解碼器的特性。在細化階段，作者在粗度階段的解碼器特徵與細化階段的編碼器特徵之間建立跳躍階段連線，以促進資訊從粗度階段到細化階段的傳播。為了更好地恢復背景影象的結構和紋理，作者還設計了一個跨層次特徵融合（CFF）模組，在細化階段迭代聚合多層次編碼器特徵。

3.1粗度階段

在粗度階段，作者採用U-Net 架構，通過跳路連線編碼器和解碼器特徵，如圖2所示。具體地說，作者採用了《Blind visual motif removal from a single image.》的編碼器塊和解碼器塊的結構。水印定位和水印去除作為兩個任務，它們共用所有五個編碼器塊和第一個解碼器塊。但它們有三個獨立的解碼器塊，它們分別組成掩膜解碼器分支和背景解碼器分支。在掩膜解碼器分支中，它配備了作者設計的自校準掩膜細化（SMR）模組，並被分配來指示水印的位置。除了從最後一個解碼器塊中預測的掩膜外，作者還基於其他兩個解碼器塊的特徵來預測側輸出掩膜。在後臺解碼器分支中，它由掩膜引導的背景增強（MBE）模組組成，並被分配來恢復覆蓋有水印的損壞的背景區域。接下來將詳細介紹SMR和MBE模組。

五、總結與討論

本文研究了水印去除任務，開發了一種具有新的MBE、SMR和CFF模組的兩階段多工網路，該網路可以對水印進行定位，同時恢復無水印影象。在兩個資料集上的大量實驗驗證了作者所提出的網路的優越性。