大話AI繪畫技術原理與演演算法優化

2023-04-30 06:01:05

引子

博主很長一段時間都沒有發文,確實是在忙一些技術研究。

如標題所示,本篇博文主要把近段時間的研究工作做一個review。

看過各種相關技術的公關文章,林林總總,水分很多。

也確實沒有多少人能把一些技術細節用一些比較通俗的語言闡述清楚。

故此,再一次冠以大話為題,對AI繪畫主要是stable diffusion做一個技術梳理。

如何學習以及相關資源

相信很多朋友都想入門到這個技術領域搗騰搗騰,

而擺在眼前的確是一條臭水溝。

為什麼這麼說,讓我們來看一些資料。

  • Hardware: 32 x 8 x A100 GPUs

  • Optimizer: AdamW

  • Gradient Accumulations: 2

  • Batch: 32 x 8 x 2 x 4 = 2048

  • Learning rate: warmup to 0.0001 for 10,000 steps and then kept constant

    Hardware Type: A100 PCIe 40GB

  • Hours used: 150000

  • Cloud Provider: AWS

  • Compute Region: US-east

  • Carbon Emitted (Power consumption x Time x Carbon produced based on location of power grid): 11250 kg CO2 eq.

摘自:CompVis/stable-diffusion-v1-4 · Hugging Face

該模型是在亞馬遜雲端計算服務上使用256個NVIDIA A100 GPU訓練,共花費15萬個GPU小時,成本為60萬美元

摘自:Stable Diffusion - 維基百科,自由的百科全書 (wikipedia.org)

這個資料就是一個勸退警告,但是由於效果太過於「嚇人」,所以飛蛾撲火,全世界都打起架來了。

當然,剛開始學習,就直接奔著最終章去,確實也不是很現實。

隨著這個領域的爆火,各種資源爆炸式增長。

以下是博主給出的一部分參考資源,便於參閱。

相關整合資源:

heejkoo/Awesome-Diffusion-Models: A collection of resources and papers on Diffusion Models (github.com)

第三方:

Generative Deep Learning (keras.io)

huggingface/diffusers: