flux.1-devでVRCのアバターを頑張るやつ

もうね一杯GPU回したよ

はじまり
flux.1-devを動かす
Lora その1(NG)
Lora その2(OK)
Twitterに上げたやつ

はじまり

flux.1系がでてうぉーってなってたと思ったけど時間が無くて回してなかった

それなりに立ってWebUIForgeでもできるよーとかLoRAの記事がちょこっとあったので試してみたの回

そもそもflux.1-devってなーにって方は参考記事参照よろしく

flux.1-devを動かす

black-forest-labs/FLUX.1-dev · Hugging Face

We’re on a journey to advance and democratize artificial intelligence through open source and open science.

ここにモデルが転がってるので落としておく…と言いたいがflux.1-dev君は控えめに言ってモデルサイズがでかすぎて4090でてきとーに動かすとVRAMが足りなくなる(VRAM足りない=低速なシステムメモリを行き来する=クソ遅い)

よってただ推論したいのであればこちらの記事でお勧めされている軽量化してよしなにしたFP8やNF4と言ったモデルをDLしておこう

あとはCLIP,VAE,T5XXLをDLして各ファイルを所定の場所に入れておく

話題の画像生成AI「FLUX.1」をStable Diffusion用の「WebUI Forge」で動かす（高速化も試してみました） (1/6)

lllyasviel氏によるStable Diffusion用の高性能なWebインターフェース「Stable Diffusion WebUI Forge」がFlux.1に対応したということで、さっそく動作確認。

A1111 WebUIはfluxを対応していないので、WebUI ForgeをStabilityMatrixでインストールと起動しておく

後は所定のパラメーター項目に設定すればできあがり

やはりflux.1系はテキトーに書いても再現度が高くて、文字入れもアルファベットならできる(日本語だと終わる)のが強みかな

Lora その1(NG)

やはり自分のアバターをよしなに生成してくれたら楽しいので試してみた
(ただこの手法はうまくいかなかったのでメモがてら残す、LoRAしたい人は飛ばしてね)

LoRA学習で使うKohyaさんのGUIのヤツはStabilityMatrixでインストールできるが現時点ではリリースまで入っていない
なのでブランチを切り替えて使う

Releasesと書かれているトグルボタンを押すとブランチに変わるのでsd3-flux.1に切り替えてインストール

インストールして起動するとなぜかgradioが無いので参考画像の感じで行けば動くはず

後は画像やらCLIPやらを所定の項目に設定して回せば動く…のだが

これがまぁ困った物でSDXLと同じノリで200枚の1024×1024画像を10エポックの2000ステップとか食わせてみたところ大体2週間ぐらいフルで回さないと終わらないと来た

減らしに減らして21枚の画像で200ステップ回したところ大体24時間ぐらい

推論の時もそうだったが今回オリジナルのflux.1-devを食わしたのでVRAMが足りないループに落ちてたんだろうなーと今更ながら思った

結論を言えばタダのノイズが出てくるLoRAが出てきた

返してワイの時間…電気代…

そんなのがあったのでテキトーにSDXLノリでやると終わらないしそもそもパワーでやるもんじゃ無いよなって言うオチ

おそらく正しく設定してあげれば良い物が出てくると思うきっと

Lora その2(OK)

皆さんお待ちかねできる方のやり方

答えはこれ

GitHub - ostris/ai-toolkit: Various AI scripts. Mostly Stable Diffusion stuff.

Various AI scripts. Mostly Stable Diffusion stuff. - ostris/ai-toolkit

参考例はこれ

Flux.1-devで現場猫の画像を生成しよう - Qiita

はじめにこの記事は、2024/9時点の最新の画像生成AIで現場猫を学習させるとどれぐらいの性能が出るかの簡単なまとめと生成＆学習手順の記事です。対象読者現在の最新技術の動向チェックに余念がない…

で終わったら意味ないのでやって行くよ

まず事前にpythonを入れておく

面倒かったらMicrosoftStoreからpython3.10をインストールするだけでOK

git cloneしてREADMEに従ってコマンドを実行

git clone https://github.com/ostris/ai-toolkit.git
cd ai-toolkit
git submodule update --init --recursive
python -m venv venv
.\venv\Scripts\activate
pip install torch torchvision --index-url https://download.pytorch.org/whl/cu121
pip install -r requirements.txt

このプログラムはHuggingFaceのAPIキーがあればモデルのダウンロードもしてくれるので取得して.envファイルに書いておく