Please enable JavaScript.
Coggle requires JavaScript to display documents.
Stable Diffusion、ComfyUI工作流程解析https://www.comflowy.com/zh-CN - Coggle…
Stable Diffusion、ComfyUI工作流程解析
https://www.comflowy.com/zh-CN
理解AI圖像生成工作流程
模型
Stable Diffusion模型概念,是一種基於擴散模型的機器訓練技術,功能包括輸入文字提示詞產生圖像,以圖像產生圖像。
https://www.patreon.com/posts/aigcbi-ji-stable-95319890
https://www.patreon.com/collection/504355?view=expanded
由4個主要組件組成
1.Diffusion(Forward/Reverse): 在潛在空間增加/撤銷雜訊
2.Noise predictor (U-Net): 根據指定步驟降低雜訊
3.VAE: 處理圖像壓縮和重建,例如將512x512壓縮為64x64
4.Text conditioning: 使用CLIP將字詞特徵資料嵌入768向量值,支援75 tokens
生成過程
1.根據種子隨機產成潛在空間矩陣
2.雜訊預測器估計潛在矩陣的雜訊
3.從潛在矩陣中減去估計的雜訊
4.根據指定步驟重複第2和第3步
5.VAE解碼器將潛在矩陣轉換為影像
Base Model (是所有Checkpoint模型的基礎)
Stable Diffusion v1.5,由512×512解像度數據集訓練,對應於潛在影像尺寸 4x64x64
Stable Diffusion v2.0,支援768×768圖像生成
Stable Diffusion XL,支援1024x1024圖像生成(1048576 sized images)
主要可分成三種常用模型
Checkpoint模型
在ComfyUI匯入Checkpoint模型的方法
放到ComfyUI Checkpoint模型路徑ComfyUI_windows_portable\ComfyUI\models\checkpoints
如果你希望同步存取在Stable Diffusion WebUI使用過的Checkpoint模型,讓ComfyUI 讀取 Stable Diffusion WebUI 的模型路徑
1.找到 ComfyUI_windows_portable\ ComfyUI\ [extra_model_paths.yaml.example]
2.使用記事本打開extra_model_paths.yaml.example
3.找到base_path: (改成你的webui路徑)
4.4. 將檔案重新命名為extra_model_paths.yaml(刪除.example)
Checkpoint模型下載資源
常用的網站資源,CivitAI(推薦)
https://civitai.com/models
建議使用SD 1.5/ SDXL的模型,SD 1.5有最多的可用模型,SDXL能有更高品質的效果。
SD 2.0: 採用了新的文字編碼器OpenCLIP,可以更好地理解文字提示,從而產生更高品質的圖像,預設解析度為512x512 像素和768x768 像素的影像。
SDXL: 從0.98 B 擴展到6.6B 參數,能產生更高品質的影像,更真實的圖像和清晰可讀的字體。
LCM: (Lora Consustency Model),需配搭新的採樣器使用,顯著提高出圖速度。
SVD: (Stable Video Diffusion),用於文字生成影片的模型。
LoRA模型
LoRA模型概念
https://www.patreon.com/posts/sdxue-xi-bi-ji-99719946
LoRA模型會以一個SD基底模型為基礎,再注入新的可訓練層對cross-attention layers進行更改,加上額外附加權重來進行轉移學習,例如Transformer中的QKV的線性投影部分,以及FFN的線性部分,lora模型一共由17層組成,LyCORIS為26層,第一層為開關,其他層級分別可控制著LoRA的不同功能。 透過對預先訓練好的大模型使用少量樣本進行finetune,使模型可以根據用戶自訂的提示詞生成,同時還基本上不會影響模型在其他方面原本生成能力。例如,我們希望用動漫角色的名字作為自訂的提示詞,同時只提供最多幾十張這個角色的圖片,使微調後的模型能夠在給定動漫角色名字的情況下生成該角色的圖片。但同時我們也希望預訓練模型保留原本強大能力,不希望模型永遠只會輸出這個角色的圖片,也就是當我們去掉該角色的提示詞時,需要模型能產生和原模型一樣的圖片。
使用lora模型進行訓練的步驟
1.準備資料集:首先,您需要準備用於訓練的資料集。這可以是文字、圖像或其他類型的資料。
2.建立模型:接下來,您需要建立一個lora模型。lora模型是基於stable diffusion模型的小型版本,對cross-attention layers進行了更改。您可以使用現有的stable diffusion模型作為基礎,並對其進行適當的修改。
3.訓練模型:使用準備好的資料集和建構的lora模型,開始訓練模型。您可以使用標準的訓練演算法,例如反向傳播演算法,來最佳化模型的參數。
4.微調擴散模型:lora模型訓練完成,您仍然可以使用低秩適應技術對擴散模型進行微調。這可以幫助您更好地適應不同的概念和樣式。
5.匯出模型:完成微調後,您可以將經過訓練和微調的lora模型匯出,並供其他人使用。導出的LoRA模型依網路層數訓練不同一般為144M/72M/36M。
透過使用lora模型,您可以更有效率地訓練和微調擴散模型,以適應不同的概念和樣式。這為模型的應用和推廣提供了更大的靈活性和便利性。
Lora訓練常見問題整合
https://www.patreon.com/posts/loraxun-lian-wen-104710481
VAE模型(Checkpoint Model 需要配合 VAE 使用)
VAE 是什麼?VAE 全寫是 Variable Auto Encoder,可以用於改善 Checkpoint Model 生成出來的圖像,顏色及修復面部或手部。由於針對較少的空間進行圖像編碼,所以運算速度比較快。
VAE 有什麼用途?簡單而言就是令生成的圖像更好。對顏色的調整及細節的修復很有幫助,也有幫助修復生成眼睛等精細部位的效果。Stability AI 也發佈了兩個 VAE,EMA 和 MSE。當中 EMA 會令圖片更清晰,而 MSE 會令圖片更加平滑。
什麼時候需要使用 VAE?在 Civitai 有時候下載回來的 checkpoint 注明 Baked VAE 就是已經包含在 checkpoint 中。好像 Dark Sushi Mix Colorful 就必需連 VAE 使用,否則出來就像濛上一層灰色的霧一樣。
要怎麼使用 VAE?首先下載 VAE 檔案
EMA
https://huggingface.co/stabilityai/sd-vae-ft-ema-original/resolve/main/vae-ft-ema-560000-ema-pruned.ckpt
MSE
https://huggingface.co/stabilityai/sd-vae-ft-mse-original/resolve/main/vae-ft-mse-840000-ema-pruned.ckpt
將下載檔放在 stable-diffusion-webui/models/VAE 中
在 settings > Stable Diffusion > SD VAE 中可以選擇所需 VAE
基礎樣態
https://medium.com/@dseditor/flux-%E5%9F%BA%E7%A4%8E%E6%A8%A1%E5%9E%8B%E7%A8%AE%E9%A1%9E%E8%88%87%E9%85%8D%E7%BD%AE-%E4%B8%80-47e5ce668524
1、Unet,或稱之為純模型,只有模型本身,沒有包進Clip與VAE,也是一開始的標準模型,FP16的Unet通常大家的消費顯卡都跑不動,所以都選擇使用FP8,Kijai提共的Unet模型如下:
Kijai/flux-fp8 at main (huggingface.co)
2、Unet整合,包含Model、Clip與VAE,可直接使用,如以下的17GB模型。
Comfy-Org/flux1-dev at main (huggingface.co)
這種通用性最廣,目前所有的軟體都可以使用,如ComfyUI、Forge、Krita等等,所以新手通常優先選擇2的類型。
3、GGUF模型,Unet類的純模型,只是經過GGUF量化。
city96/FLUX.1-dev-gguf at main (huggingface.co)
量化模型的選擇,12GB VRAM可以選擇Q8,以下可以選擇Q4-Q6,6–8GB的話Q2都可以試看看,是對硬體彈性最高的模型。
4、NF4整合,檔名有NF4的類型,多數為Unet整合模型。
lllyasviel/flux1-dev-bnb-nf4 at main (huggingface.co)
ComfyUI全部的模型都可以使用,但3、4需要另外安裝節點。
針對GGUF模型,以下節點是必要的
city96/ComfyUI-GGUF: GGUF Quantization support for native ComfyUI models (github.com)
針對NF4模型,以下節點是必要的
comfyanonymous/ComfyUI_bitsandbytes_NF4 (github.com)
也可以使用純粹Unet的NF4節點,但需要自行配置Clip與VAE
DenkingOfficial/ComfyUI_UNet_bitsandbytes_NF4 (github.com)
如果使用1、3兩種模型,需要另外配置Clip與VAE,以下介紹
Clip
1、標準T5-Clip,分為FP16與FP8,一般消費級電腦以FP8為主。
t5xxl_fp8_e4m3fn.safetensors · comfyanonymous/flux_text_encoders at main (huggingface.co)
2、量化T5-Clip-GGUF,主要是FP16的量化,目前(2024.8)有ComfyUI可以使用,主要影響Fulx效能的一個重要量化,同樣的依照你的VRAM選擇,12GB可以選擇Q8,其他建議至少Q5,若僅有6GB則以Q3為主。
city96/t5-v1_1-xxl-encoder-gguf at main (huggingface.co)
3、CLIP-L,最後,你還需要一個Clip-L,必須與T5並存,所以是個
DualClipLoader。clip_l.safetensors · comfyanonymous/flux_text_encoders at main (huggingface.co)
VAE
最後是VAE,通常大多數的電腦在VAE不會發生效能問題,除非產製大圖,VAE使用的版本用官方的即可。
ae.safetensors · black-forest-labs/FLUX.1-dev at main (huggingface.co)
如果真的硬體非常吃緊,也可以使用輕量的VAE(TAEF1系列)
madebyollin/taesd: Tiny AutoEncoder for Stable Diffusion (github.com)
在ComfyUI裡面,初學者可從這樣的節點開始。
https://vocus.cc/article/654798f8fd89780001d4ffaa
1.flux1-dev-fp8.safetensors ·
Comfy-Org/flux1-dev at main (huggingface.co)
2.硬體狀況沒有很理想,在10GB-VRAM以下,又不想思考GGUF配置的,則先安裝上面提到的NF4節點,並這樣開始。
3.進階,對於效能與精度想取得平衡的,則選擇這樣開始,參照以上的GGUF以及VAE連結,並依照你的硬體調整,如果你有12GB,以下兩個都是Q8,10GB約是Q6至Q4,8GB則選擇Q4以下,透過GGUF,你可以在低階的硬體執行Flux。
4.Forge的話,則是這樣配置,也可只在Checkpoint的地方放進NF4,將兩個Clip和VAE放到VAE資料夾下,就可以使用Unet的GGUF模型。
Flux的基礎模型種類
https://medium.com/@dseditor/flux-%E5%9F%BA%E7%A4%8E%E6%A8%A1%E5%9E%8B%E7%A8%AE%E9%A1%9E%E8%88%87%E9%85%8D%E7%BD%AE-%E4%BA%8C-6b723643d707
1.Flux基礎模型
1.Schnell版,Schnell為4步模型,基礎Step為4步,短提示時,實際上是Schnell比較好。效能不夠理想的電腦,則以Schnell或以下提到的Merged為主即可。在Civitai上,Schnell模型標註為Flux.1 S。
2.Dev版,Dev為20步模型,基礎Step為20步,長提示時以Dev影像較為安定。建議以電腦效能為考量,如果效能夠,選擇Dev會對你的工作較有幫助,因為長步數有很多好處,影像也較為安定,且許多Lora都是針對Dev訓練。在Civitai上,Dev標註為Flux.1 D
2.Flux混合模型(Merged)
在Civitai中有不少混合模型,混合了Dev與Schnell的權重區塊,例如以下的這種GGUF模型
GGUF: FastFlux (Flux.1-Schnell Merged with Flux.1-Dev) — Q4_0_v2 | Stable Diffusion Checkpoint | Civitai
,
3.或者是這種Checkpoint模型。
Flux.1-Schnell Merged with Flux.1-Dev bnb-nf4 Fp8 4 steps — All in one Fp8 | Stable Diffusion Checkpoint | Civitai
4.在這邊教大家一個辨別Checkpoint模型與UNET模型的小方法。
Checkpoint(FP8)模型通常是17-20GB左右大小。
UNET(FP8)則是11GB左右大小
UNET(NF4)則是6GB左右大小。
Unet(FP16)本身就是20GB大小,通常不建議4090以下的顯卡使用。
看大小可以大概猜測這個模型是否為FP8-UNET。混合模型由於權重區塊不同,所以很難確定何者較佳,看個人喜好與需求,另外還有混合Lora的類型,原則上進階使用者都會喜歡使用Unet/GGUF模型,因為實際上大家的T5都一樣,大多都是使用FP8–T5,比較少使用FP16-T5。
5.模型術語,透過以上說明我們知道了Merged、Schnell、Dev,所以像是以下的模型術語,例如:
1、Unet-bnb-nf4:這是指nf4,只有Unet的模型,你要自己配置Clip/VAE。
2、All-in-one FP8:這是FP8-Checkpoint模型。
3、T5XXXLFP8:這是合併了FP8-T5的Checkpoint模型,本身模型要看旁邊的標註,例如FP16,則是FP16的Unet+FP8的T5。
4、FP16:這個就不知道有沒有合併,要看其他標註
6.HyperFlux:一個字節跳動的FluxLora,雖然是個Lora,但和以下要介紹的相關,如果不知道的話可以在這裡下載,8Step與16Step代表Dev的8與16步,可縮減採樣的步長,但Lora強度必須設定成0.125。
Hyper-FLUX.1-dev-8steps-lora.safetensors · ByteDance/Hyper-SD at main (huggingface.co)
Hyper-FLUX.1-dev-16steps-lora.safetensors · ByteDance/Hyper-SD at main (huggingface.co)
另外還有一個Rank1的8Step-Lora,Lora強度可設定為一般的1.0,且容量很小,只有9.38MB,效果也相當不錯,關於他們生成的構圖結果,可參考下面的比較圖。
Hyper-FLUX.1-dev-8steps-lora_rank1.safetensors · bdsqlsz/Hyper-Flux1-dev at main (huggingface.co)
7.Hyper模型:上面的HyperFlux的Lora,可以縮短Flux-Dev的步數,所以就有了類似以下的模型(注意,這是NF4的Unet模型)
CreArt-Hyper-Flux-Dev-bnb-nf4–8 steps-Unet — Hyper-Dev-bnb-nf4-Unet | Stable Diffusion Checkpoint | Civitai
Hyper、NF4、Unet、8Step,意思就是「合併了字節跳動8StepLora的Flux-NF4-Dev的Unet模型」。
Prompt提示詞(目的是將條件傳遞給AI,指示其如何生成圖像)
Positive Prompt 正向提示詞(您希望在圖像中出現的元素)
Negative Prompt反向提示詞(您不希望在圖像中出現的元素)
K-Sampler
輸入
模型
Positive Prompt
Negative Prompt
Latent Image(看不見的圖像)指的是人類無法看到或理解的圖像,但AI可以理解。
處理流程
在這個方框中,AI會根據初始種子生成噪音。如果種子相同,則生成的噪音也是相同的。例如,如果種子為1234,生成的噪音可能是這樣的,並且充滿了雜訊。AI會嘗試去除雜訊,逐漸從雜訊生成一張美麗的圖像。此過程涉及多個步驟,每個步驟都是為了去除噪音。去噪步驟的數量可以在此設置,如果步驟數太少,例如只有一個步驟,那麼生成的結果可能仍然會有雜訊,且不如預期的乾淨。
如果您將步驟數設置得太低,如5個步驟,再次點擊「Queue Prompt」,您會發現結果要好得多。因為這意味著有人花了五倍的時間來清除噪聲,所以結果更好了。然而,如果您增加步驟數,例如10個步驟,再次點擊「Queue Prompt」,結果會更加詳細和優質。但是,如果您嘗試進一步提高步驟數,例如30個步驟,結果的變化將很小。同樣地,如果您增加到50個步驟,所需的時間會更長,但結果的改變也非常微小。您可以根據自己的需求來調整步驟數,我個人認為20或30個步驟足夠。
常見問題
1.問題:如何設置CFG值和Prompt權重? 答: CFG值代表AI根據Prompt的程度進行生成,如果CFG值較高,AI將更加遵循Prompt的指示。您可以根據需要調整CFG值和Prompt權重,以獲得滿意的結果。
2.問題:如何調整Denoise值? 答:Denoise值代表您想要改變初始Latent圖像的百分比。較高的Denoise值表示您希望減少初始圖像的噪音量。較低的Denoise值則表示您希望保留更多初始圖像的噪音。根據您的需要,您可以調整Denoise值來控制圖像中的噪點程度。
3.問題:Sampler和Scheduler有什麼不同? 答:Sampler和Scheduler是控制噪聲去除過程的方法。不同的Sampler和Scheduler方法對噪聲去除的效果有所不同。您可以根據需要嘗試不同的方法,以獲得最佳的結果。
4.問題:CF值和Prompt權重有何區別? 答:CFG值代表AI根據Prompt的程度進行生成,而Prompt權重則用於調整Prompt中特定關鍵詞的重要性。您可以使用Prompt權重來強調或減少關鍵詞在生成過程中的影響。
5.問題:如何取消某個元素的生成? 答:如果您不希望生成圖像中出現某個元素,您可以將其添加到Negative Prompt中,向AI指示您不希望出現這個元素。
6.問題:如何調整進行去噪的步驟數量? 答:您可以通過調整步驟數量來控制去噪的程度。較低的步驟數量意味著只進行少量的去噪步驟,而較高的步驟數量則意味著進行更多的去噪步驟。您可以自行測試不同的步驟數量,找到最適合您的結果。
7.問題:如何使用Prompt權重強調某個關鍵詞? 答:如果您希望強調特定的關鍵詞,您可以將該關鍵詞突出顯示並按住Ctrl鍵,然後按向上箭頭鍵,以增加該關鍵詞的權重。這樣,AI 在生成圖像時會更加重視這個關鍵詞的出現。
8.問題:如何減少某個關鍵詞的權重? 答:如果您希望減少某個關鍵詞的權重,您可以選中該關鍵詞,然後按住Ctrl鍵並按向下箭頭鍵。這樣,AI 在生成圖像時將降低該關鍵詞的重要性。
9.問題:如何減少圖像中的噪點? 答:您可以通過提高Denoise值來減少圖像中的噪點。較高的Denoise值將過濾掉更多的噪點,使生成的圖像更加乾淨。
10.問題:如何在圖像中加入更多的噪音? 答:如果您希望在圖像中添加更多的噪音,您可以降低Denoise值。較低的Denoise值將保留更多初始圖像中的噪音,使生成的圖像更具特殊效果。
11.問題:如何選擇最佳的Sampler和Scheduler方法? 答:選擇最佳的Sampler和Scheduler方法需要進行試驗。不同的方法對噪聲去除的效果有所不同,您可以根據生成圖像的需求來測試不同的方法,並選擇最適合您的結果。
12.問題:如何在生成的圖像中加入特定元素,如Galaxy? 答:如果您希望在生成的圖像中加入特定元素,您可以將該元素添加到Positive Prompt中。AI將根據您的Prompt生成圖像,並努力使特定元素在圖像中出現。
13.問題:如果我希望生成的圖像更加符合我的預期,應該如何調整CFG值和Prompt權重? 答:如果CFG值較高時生成的圖像不符合預期,您可以嘗試提高Prompt權重以強調某些關鍵詞。這將使AI更加重視這些關鍵詞的出現,從而使生成的圖像更加符合您的預期。
Sampler全攻略 - 採樣器要怎樣選擇?
https://www.patreon.com/posts/sdxue-xi-bi-ji-103597052
當使用Stable Diffusion模型生成圖像時,它會先產生一張充滿雜訊和隨機的原始影像,之後再通過採樣器(Sampler)和解碼器(Encoder)來去除影像中的雜訊。
採樣器(Sampler)是負責控制去噪的具體操作的算法。調度器(Scheduler)是負責調控去噪的程度,決定每一步去除多少噪聲,以確保整個過程高效和精準。現在可以在ComfyUI使用的Sampler有22種和6種Scheduler方式,這些採樣器隨著時間發展越來越多或是有升級替代的方法。
我們可以先了解採樣器的其中一個指標:收斂性。採樣器的收斂性指它在多少步驟後能夠達到最佳收斂結果。當採樣器達到一個階段,繼續進行更多步驟不會再改善結果時,我們就可以認為影像已經達到了最佳收斂結果。所以我們主要可以根據採樣器的收斂速度和結果品質兩個維度來決定我們想要的效果。
如果您想快速驗證想法,可以選擇能在較少步數內收斂的採樣器。這些採樣器能夠在短時間內迅速生成一般品質的結果,方便您快速評估設定結果。(15-20步)euler/ uni_pc
如果您追求高品質的結果,可以選擇較長時間或更多步驟才能收斂的採樣器。這些採樣器通常能夠提供更精準、真實的影像去噪結果,對於對結果品質有較高要求的應用場景非常適合。(20 -30步)dpmpp_2m/ dpmpp_sde/ uni_pc
3.一些沒有收斂性的採樣器,會隨著步驟增加而改變結果。這些採樣器會產生一定程度上的創新結果,能夠帶來出人意料的影像效果。這種類型的採樣器需要較長的算圖時間。帶ancestral或sde的採樣器dpmpp_sde/ dpmpp_2m_sde/ euler_ancestral
將採樣器按推出時間分為三個類別再介紹採樣器的特性:
老式採樣器
演算法相對簡單,在以前算力有限的電腦上發明的老式ODE求解器,精度一般
1.euler:可使用,最簡單的採樣器,不容易出錯, (推薦20-30步)。
2.euler_ancestral:可使用,euler的隨機版。
註:帶ancestral的採樣器是不收斂的元祖採樣器,使用了ancestral採樣方法的採樣器在每個採樣步驟中都會向影像添加雜訊,隨步數增加會讓結果有加上隨機性和細節,如果你想影像有可重現性,應避免使用任何ancestral取樣器。由於ancestral取樣器的隨機性,即使參數一樣亦不能完全復刻同一張圖片(步數越多變化越大)不收斂取樣器也會比收斂取樣器算圖時長增加一倍。
3.heun:不推薦使用,比euler精確,但算圖時長增加一倍。
4.lms:不推薦使用,線性多步法,lms採樣速度與euler相同,但容易出色塊,品質不穩定,採樣器表現最差。
5.ddim:不推薦使用,去噪擴散隱式模型,是最早為擴散模型Stable Diffusion v1設計的採樣器,效果比新模型比較差(已過時)。
DPM系列採樣器
DPM/ DPM2(已過時)圖片結果比新型的採樣器品質差
dpm_fast:不推薦使用,品質差,容易爛圖
dpm_adaptive:不推薦使用,自動計算步數的方法雖然讓他在收斂方面表現良好,但由於不會根據設定的步數出圖讓生圖時長超慢,是其他方法是2倍以上
dpm_2:畫面比一代略有提升,但算圖時長增加一倍
dpm_2_ancestral:dpm_2的隨機版
DPM++,在DPM的基礎上進行了改進
dpmpp_2s:不推薦使用,採用單步算法比是較舊的方式(已過時)
dpmpp_2m:推薦使用,二階多步算法,速度快,中品質 (推薦20-30步)
dpmpp_sde:推薦使用,隨機微分方程算法,速度慢,高品質 (推薦20-30步, 是現在影像品質測試中最好方式)
dpmpp_2m_sde:推薦使用,混合兩種算法
dpmpp_3m & dpmpp_3m_sde:2023年9月(1.6版本)新增,如果想設定較高的步數來算圖可使用 需要高步數來獲得更好的結果,30-60步/CFG值5
新型採樣器
uni_pc:在2023年發布的新型採樣器(受ODE求解器中的預測器校正器的啟發),5至10步就能算出可用品質,是目前最快的取樣方法
uni_pc_bh2:uni_pc的變體,10步以上可以選擇bh2,設定至20至30步可得到穩定高品質的圖
調度器Scheduler
調度器Schedule主要控制每個步驟中的雜訊量,對生成結果影響較少,推薦一般使用normal和karras
normal:一般使用
karras:在較小步數情況下能一定程度提升品質
exponentiaol:2023年9月(1.6版本)新增,增升畫面柔和度,畫面更乾淨
sgm_uniform:
simple:最簡單的調度程序,由comfyanonymous添加,在hiresfix使用上有良好表現
ddim_uniform:與 ddim 採樣器一起使用
【Flux】ComfyUI基礎工作流(Ksampler)
https://medium.com/@dseditor/flux-comfyui%E5%9F%BA%E7%A4%8E%E5%B7%A5%E4%BD%9C%E6%B5%81-ksampler-ed7f828c8524
【Flux】ComfyUI基礎工作流(SamplerCustomAdvanced)
https://medium.com/@dseditor/flux-comfyui%E5%9F%BA%E7%A4%8E%E5%B7%A5%E4%BD%9C%E6%B5%81-samplercustomadvanced-6ecfc0d48255
【Flux】全景圖工作流
https://medium.com/@dseditor/flux-%E5%85%A8%E6%99%AF%E5%9C%96%E5%B7%A5%E4%BD%9C%E6%B5%81-caea5f6241e6
VAE Decode
您可以點擊「Latent」並拖出,然後選擇「Preview Image」,這將顯示出Latent Image的外觀。
當我們希望看到Latent Image的結果時,我們需要將其轉換為實際圖像。為了實現這一點,我們使用了「VAE Decode」這個節點,它可以將Latent Image轉換為實際圖像。
在使用「Queue Prompt」提交之前,您需要將VAE與K-Sampler連接起來,點擊「VAE(Model)」並將其拖到「VAE Decode」上。這樣一來,您就可以看到「Preview Image」中顯示的是空白的Latent Image,也就是空白的畫布,AI將在這個畫布上生成圖像。
ComfyUI教學 | ComfyUI介紹和安裝 (Windows)
https://www.patreon.com/posts/comfyuijiao-xue-95319075
ComfyUI教學 | ComfyUI Manager & Custom Node (擴充功能)
https://www.patreon.com/posts/comfyuijiao-xue-95781655
在Stable Diffusion Web UI裡,你會在Extensions版面下載擴充功能。
在ComfyUI裡,你可以使用ComfyUI Manager來管理擴充功能(Custom Node)。
ComfyUI Manager除了可以下載Custom nodes,還能夠檢查你的Workflow裡還沒安裝的Custom Nodes,讓你可以快速補齊和一鍵更新。
ComfyUI Manager安裝方法
到ComfyUI_windows_portable\ComfyUII\custom_nodes資料夾
2.滑鼠右鍵選在終端開啟,複製下面的文字貼上並運行 git clone
https://github.com/ltdrdata/ComfyUI-Manager.git
3.完成後重新開啟ComfyUI Manager,
4.成功安裝就會在右面的面版上出現"Manager"按鈕
ComfyUI Manager的界面
Install Custom Nodes - 所有可安裝的Custom Nodes列表
Install Custom Nodes
在ComfyUI Manager面版裡,點擊Install Custom Nodes,打開面版可以查看所有可安裝的Custom Nodes列表點擊Install就可以進行下載,Uninstall就可以刪除
✱所有Custom Nodes安裝和刪除後都需要重新啟動ComfyUI
Install Missing Custom Nodes - 偵測Workflow缺失的Custom Nodes
Install Missing Custom Nodes
匯入Workflow後,如果出現紅字提醒"When loading the graph, the following node types were not found:.."你就可以在Install Missing Custom Nodes面版把Workflow缺失的擴充功能下載回來
✱所有Custom Nodes安裝和刪除後都需要重新啟動ComfyUI
Install Models - 常見的大模型列表
這個面板能下載一些Custom Nodes裡常用的模型, 例如ControlNet, Upscale, IP-Adapter的模型都可以在這個面板下載
4.Updated All - 一鍵更新
5.Alternatives of A1111 - SD WebUI的功能
10個必備 ComfyUI Custom Nodes 介紹
https://www.patreon.com/posts/10ge-bi-bei-jie-102654770
1.ComfyUI Manager
ComfyUI Manager可以讓你一鍵下載Custom Nodes,還能夠檢查和快速補齊你的Workflow裡還沒安裝的Custom Nodes,也可以幫助繁運行ComfyUI和所有Custom Nodes更新和修復,是你必需安裝的第一個模組。
Github連結:
https://github.com/ltdrdata/ComfyUI-Manager
ComfyUI Manager 安裝方法:
https://www.patreon.com/posts/comfyuijiao-xue-95781655
2.ComfyUI Workspace Manager
ComfyUI Workflow和模型的管理工具,一個擴充介面能夠瀏覽儲存了的Workflow和所有己下載的模型,可以輕鬆在workflow列表中點擊進行切換,也能為workflow修改名字加上tag和建立版本。另外也有下載模型功能,點擊Models介面裡的Install Models可以瀏覽到Civitai上的所有模型,下載模型超方便。
Github連結:
https://github.com/11cafe/comfyui-workspace-manager
3.Crystools
一個擴充介面工具,可視覺化CPU、RAM、GPU、VRAM、HDD的使用狀態及生成的進度條。
Github連結:
https://github.com/crystian/ComfyUI-Crystools
4.ComfyUI Easy Use
ComfyUI Easy Use是一個多功能節點整合包,在tinyterraNodes的基礎上進行延展,集合常用節點的功能,讓Workflow設計上可以使用更少的節點,更快更方便地完成設計。
Github連結:
https://github.com/yolain/ComfyUI-Easy-Use
5.WAS Node Suite
多用途節點套件,包括50個以上處理圖片和文字的功能節點。設計進階的工作流必備。
Github連結:
https://github.com/WASasquatch/was-node-suite-comfyui
6.Use Everywhere
設定你的預設輸出,連接到所有沒有接到相關內容的輸入~例如可將vae的輸出接到UE Nodes,所有需要vae的節點就可以使用同一個設定好的內容,減少工作流中接線的次數,加快設計流程。
Github連結:
https://github.com/chrisgoringe/cg-use-everywhere
7.rgthree's ComfyUI Nodes
另一個多功能節點套件(約20個節點),針對修改工作流程切換使用方便性而設計。
特別介紹一個rgthree's ComfyUI Nodes 的節點"Fast Groups Bypasser",可以一鍵Bypass群體內的節點,配合UE Nodes "Anything Everywhere"使用,在工作流設計上加入切換式模組。
Github連結:
https://github.com/rgthree/rgthree-comfy
8.ComfyUI IPAdapter plus
基於IPAdapter模型設計的節點,IPAdapter模型可以讓你使用一張參考圖片來產成同類型的風格或特徵,包括針對構圖風格PAdapter Plus或臉部IPAdapter Plus Face和肖像人物FaceID的模型節點應用,注意模型分成SD1.5和SDXL的版本。
Github連結:
https://github.com/cubiq/ComfyUI_IPAdapter_plus
9.One Button Prompt
One Button Prompt是提詞類節點,預設多個提詞腳本,加上隨機功能。可根據選定的主題生成不同的提詞。
Github連結:
https://github.com/AIrjen/OneButtonPrompt
10.SDXL Prompt Styler
另一個提詞類節點,輕鬆加入不同風格的提詞。
Github連結:
https://github.com/twri/sdxl_prompt_styler
11.ComfyMath
運算類節點,分享我常用的一個節點"Nearest SDXL Resolution",可以輸入圖片來找到最接近的SDXL尺寸的比例,更改目標圖片尺寸。
Github連結:
https://github.com/evanspearman/ComfyMath
12.ComfyDeploy
特別介紹的一個項目,ComfyDeploy為開發者和團隊使用設計,讓你的ComfyUI Workflow可以部署到線上使用,連接到雲端GPU或本地電腦,在你的應用程式或網頁中使用API來運行你的Workflow。也有版本記錄和後台功能可以監察每一個運行記錄~
網頁連結:
https://www.comfydeploy.com/
Github連結:
https://github.com/BennyKok/comfyui-deploy
ComfyUI常見問題整合
https://www.patreon.com/posts/97142412
Flux.1教學 | 最簡單的方法在ComfyUI跑Flux.1
https://www.patreon.com/posts/111320435
免費下載10個新手友善ComfyUI Templates
https://www.patreon.com/posts/mian-fei-xia-zai-96283854
目錄
基礎文字生圖
基礎文字生圖+Lora模型
(SDXL Turbo)模型生圖
基礎圖生圖
基礎圖生圖+Inpaint
基礎圖生圖+Outpaint(擴圖)
IPA圖生圖
圖片換臉
圖片Upscale
基礎圖生影片(SVD)
從新手到大師ComfyUI 101Days
https://www.patreon.com/collection/330132?view=expanded
15在ComfyUI裡直接畫圖生圖#AlekPet | 從新手到大師 ComfyUI 101Days
https://www.patreon.com/posts/015-zai-zhi-jie-98277594
5個免費下載ComfyUI模版網站資源
https://www.patreon.com/posts/5ge-mian-fei-xia-97654848
ComfyUI教學 | IPAdapter Plus介紹
https://www.patreon.com/posts/comfyuijiao-xue-97348864
ComfyUI進階商用模板
ComfyUI進階商用模板 | 服裝照片+AI模特操作流程分享 電商賣家必學
https://www.patreon.com/posts/comfyuijin-jie-95784237
ComfyUI進階商用模板 | 攝影棚角色+AI置景工作流
https://www.patreon.com/posts/comfyuijin-jie-95525866
不知道下載的模型是SD的模型或是VAE用的(因為兩者的副檔名是相同的),所以我們可以到這網站
https://spell.novelai.dev/
將檔案上傳,就可以得到相關訊息。
【SD】01-大模型、VAE模型、CLIP skip介紹
https://www.chias.com.tw/%E3%80%90stable-diffusion%E3%80%9101-%E5%A4%A7%E6%A8%A1%E5%9E%8B%E3%80%81vae%E6%A8%A1%E5%9E%8B%E3%80%81clip-skip%E4%BB%8B%E7%B4%B9/
【認識Stable Diffusion】
https://www.iiiedu.org.tw/activity/62/1
店小二DianXiaoEr的沙龍
https://vocus.cc/salon/65364e3efd89780001c37da7/about
三個最好的寫實 Stable Diffusion Model
https://blog.256pages.com/best-3-realistic-model-stable-diffusion/
Edmond Yip
https://blog.256pages.com/page/2/
生成高質人像圖片的 Prompts Cheat Sheet
https://blog.256pages.com/prompts-cheat-sheet/
Stable Diffusion Checkpoint模型推薦
https://aicryptool.com/@ai-ideas/sd-checkpoint-recommend/
如何在 ComfyUI 中安装 Stable diffusion 模型?
https://comfyui-wiki.com/zh-CN/install/install-models/install-checkpoint
Stable Diffusion AI算圖使用手冊(2-2):如何安裝更多AI模型產生不同畫風
https://www.techbang.com/posts/105712-stable-diffusion-install-models
讓AI 影像/視訊生成變得強大
https://www.comflowy.com/zh-CN
Comflowy完全教程
https://app.comflowy.com/tutorials
上手使用Stable Diffusion ComfyUI 的基本功能
https://blog.yanghong.dev/stable-diffusion-comfyui-basic-function/
Stable Diffusion AI算圖使用手冊(1-1):這是什麼黑魔術?
https://www.techbang.com/posts/105633-stable-diffusion-manual?page=2
學AI繪圖必看的網站Civic AI|Civic AI網站model簡介|Civic AI和stable diffusion model模組和lora模組超詳細教學
https://www.youtube.com/watch?v=DQ4kM7atJnw&ab_channel=%E8%80%81%E9%98%BF%E8%B2%9D
【Flux】將模型量化為GGUF
https://medium.com/@dseditor/flux-%E5%B0%87%E6%A8%A1%E5%9E%8B%E9%87%8F%E5%8C%96%E7%82%BAgguf-699b20b1a12a
Comfy 官方應用更新詳解
https://vocus.cc/article/65c1d197fd89780001f6ddea
ComfyUI中階①Lora、Embeddings
https://vocus.cc/article/658f05b1fd89780001a0c674
ComfyUI中階②Controlnet(加碼update導讀)
https://vocus.cc/article/65943b81fd897800019f03a0
Stable Diffusion提示詞訣竅
https://vocus.cc/article/64266191fd89780001309663
ComfyUI 研究 - 圖像提示詞
https://vocus.cc/article/65d9fa58fd89780001e502b4
ComfyUI 研究 - 文字提示詞
https://vocus.cc/article/65d958c0fd89780001de3e01
、 ComfyUI WIKI 速查手册
https://comfyui-wiki.com/zh-CN/tutorial/advanced/flux1-comfyui-guide-workflow-and-examples.zh-CN#flux1-%E7%9A%84%E7%A1%AC%E4%BB%B6%E9%9C%80%E6%B1%82
ComfyUI介紹(官方直譯)詳細部署教學與使用
https://www.x521.top/index.php/2023/12/06/comfyui/
【SD 3.5】Stable Diffusion 3.5 Large模型與配置調整
https://medium.com/@dseditor/sd-3-5-stable-diffusion-3-5-large%E6%A8%A1%E5%9E%8B%E8%88%87%E9%85%8D%E7%BD%AE%E8%AA%BF%E6%95%B4-2e08b7971122
日文網站【2024年10月】6個推薦的穩定擴散模型和TOP 10熱門模型!
https://romptn.com/article/15500
服裝造型提示詞
https://romptn.com/article/2913
1500種 可用提示詞
https://romptn.com/article/27449
【初學者】穩定擴散法術詳解(提示)
https://romptn.com/article/6591