Bringing-Old-Photos-Back-to-Life

Bringing-Old-Photos-Back-to-Life專案簡介
- Bringing-Old-Photos-Back-to-Life專案資源下載與設定
- - Bringing-Old-Photos-Back-to-Life的使用和相關問題的解決

Bringing-Old-Photos-Back-to-Life專案簡介

最近在公眾號看到有關Bringing-Old-Photos-Back-to-Life的內容，覺得很有意思，可以將模糊的，褶皺的照片相應的還原，在這裡插入圖片描述
重拾舊時光的回憶，所以自己嘗試一下。

這個開源的專案在github上可以找到，這裡給出專案地址Bringing-Old-Photos-Back-to-Life。這個專案是有關於模糊，褶皺照片的修復的演演算法，是基於2020微軟最新的一篇CPVR的文章，原理簡單來說就是用變分自動編碼機（VAE）將影象變換到隱藏空間，並在隱空間進行影象恢復操作在這裡插入圖片描述
。

Bringing-Old-Photos-Back-to-Life專案資源下載與設定

該專案包含了測試訓練集和資源包，所以先下載該專案，專案地址
https://github.com/microsoft/Bringing-Old-Photos-Back-to-Life
專案也依賴於Synchronized-BatchNorm-PyTorch，文章中也給出了我們設定教學，所以按照教學來設定即可。

第一步，克隆專案，即下載壓縮包並解壓

git clone https://github.com/microsoft/Bringing-Old-Photos-Back-to-Life.git

第二步，設定環境，進入專案的目錄下

cd Face_Enhancement/models/networks
git clone https://github.com/vacancy/Synchronized-BatchNorm-PyTorch
cp -rf Synchronized-BatchNorm-PyTorch/sync_batchnorm .
cd ../../../

cd Global/detection_models
git clone https://github.com/vacancy/Synchronized-BatchNorm-PyTorch
cp -rf Synchronized-BatchNorm-PyTorch/sync_batchnorm .
cd ../../

然後下載相應的元件

cd Face_Detection/
wget http://dlib.net/files/shape_predictor_68_face_landmarks.dat.bz2
bzip2 -d shape_predictor_68_face_landmarks.dat.bz2
cd ../

cd Face_Enhancement/
wget https://facevc.blob.core.windows.net/zhanbo/old_photo/pretrain/Face_Enhancement/checkpoints.zip
unzip checkpoints.zip
cd ../

cd Global/
wget https://facevc.blob.core.windows.net/zhanbo/old_photo/pretrain/Global/checkpoints.zip
unzip checkpoints.zip
cd ../

安裝依賴項

pip install -r requirements.txt

更詳細的教學可以檢視Colab中的內容。

Bringing-Old-Photos-Back-to-Life的使用和相關問題的解決

對於沒有裂痕的圖片的修復可以是用這個程式碼，進入專案檔案的目錄下

python run.py --input_folder [test_image_folder_path] \
              --output_folder [output_path] \
              --GPU 0

其中[test_image_folder_path]是想要修復的圖片的目錄地址，[output_path]是結果存放的地址，同時這些地址路徑要是絕對路徑。

如果是有裂痕的圖片，程式碼有所不同

python run.py --input_folder [test_image_folder_path] \
              --output_folder [output_path] \
              --GPU 0 \
              --with_scratch

當然文章中給出的程式碼我在實際執行的情況中還是會出現問題的，這裡我對我遇到的問題和相應簡單的解決辦法進行介紹：

在對沒有裂痕的圖片進行修復的時候出現在這裡插入圖片描述
這裡我們可以將Face_Enhancement \ test_face.py中的第40行的程式碼img_name = img_path[b].split("/")[-1]改為img_name = os.path.split(img_path[b])[-1]問題可以解決。

該演演算法的執行實現對GPU的記憶體很挺高的要求，對於處理高畫素的圖片，我出現過Skip當前圖片的提示，還有CUDA out of memory. Tried to allocate 78.00 MiB (GPU 0; 7.43 GiB total capacity; 6.42 GiB already allocated; 88.94 MiB free; 6.75 GiB reserved in total by PyTorch)這樣的報錯，主要問題還是記憶體處理不夠，GPU同時處理不了這些操作，為了簡單方便，所以我就從輸入上，將要處理的圖片的畫素都先縮放至我電腦可以處理的畫素要求，這樣可以使演演算法相應的工作。

對於處理沒有裂痕的圖片的操作，我們可以將Global \ test.py中的data_transforms函數中的

h = int(round(oh / 4)*4)
w = int(round(ow / 4)*4)

直接修改為我們想要輸入的圖片縮放成能處理的畫素大小，比如我這裡就修改為

w = 450
h = 450

將原始輸入圖片縮放為450 x 450的畫素，即可以正常執行（雖然結果會有點不太好看）。

對於處理有裂痕的圖片，我們可以將Global \ detection.py中ata_transforms函數中if full_size == "full_size"中的

h = int(round(oh / 16) * 16)
w = int(round(ow / 16) * 16)

改為

h = 256
w = 256

這樣縮放為256 x 256畫素的圖片。

處理完問題後，我們可以來測試一下，我們先對專案給出的圖片進行測試。

對於沒有裂痕的圖片的處理（這裡僅放出部分）

修復前
在這裡插入圖片描述
修復後

修復前
在這裡插入圖片描述
修復後

由於調整了畫素，所以與原圖有所出入，但是圖片的清晰程度增加了，我們也可以試試自己的圖片，我在網上找了幾張圖：

修復前
在這裡插入圖片描述
修復後

對於有裂痕的圖片的處理

修復前
在這裡插入圖片描述
修復後

同樣，我們可以將自己的圖片的進行修復，比如我找到的一張：

修復前
在這裡插入圖片描述
修復後

總結：
怎麼樣，是不是覺得這個演演算法很有意思，那就找出那些照片來修復，重拾那些美好的舊時光，同時，有條件的夥伴可以提高電腦的設定，來修復更高畫素的圖片。

重拾舊時光——Bringing-Old-Photos-Back-to-Life