Depois de passar duas madrugadas tentando treinar um modelo no SD usando o DreamBooth e o Lora… desisti! (não tenho VRAM pra isso ou tô fazendo algo bem errado) todas as tentativas que fiz falharam miseravelmente (rs) e olha que eu tentei viu? Por vários métodos, várias instalações e inclusive via colab… mas sem sucesso… E em meio as esperas de instalações e renderizações falhas tive um lampejo que vai gerar talvez frutos interessantes. Eis aqui a ideia: Pegar uma animação feita no Dreams (ps4/ps5) e passar ela pro Stable Diffusion. Parece piração mas usando algumas técnicas de img2img, gif2gif ou até instruct-pix2pix pensei que poderia valer a pena tentar. O resultado dos testes iniciais dessa brincadeira estão nos vídeos abaixo aqui:
VÍDEO ORIGINAL DO DREAMS
(como foi só um teste não me dei o trabalho de gravar algo novo. peguei um trecho de um vídeo do canal)
__
RENDER 1 – GERADO USANDO O MÉTODO IMG2IMG:
(refinado com parâmetros e prompts na tentativa de deixar a o vídeo completamente diferente mas com a mesma referência de animação do “puppet”)
__
RENDER 2 – GERADO USANDO O MÉTODO GIF2GIF:
(esse deixei um prompt mais neutro porque ele não entendeu direito o “puppet” do dreams e tive que puxar o denoising_strenght lááá pra baixo – mantendo mais a fidelidade ao vídeo original – o bokeh/noise de fundo do dreams atrapalhou também, deixou o resultado desse bem “sujo” mas em uma nova tentativa vou testar com fundo limpo chapado pra ver como ele vai se comportar).
__
Ia fazer mais tentativas, talvez usando a controlnet ou até mesmo o deforum (com init de vídeo) mas por hoje chega 😂
Gerado no Dreams + Stable Diffusion / Img2Img / Gif2Gif por Renato Di Giorgio.
Leave a Comment