Sumário
Draw Things é um aplicativo que traz Stable Diffusion para o iPhone. As imagens AI são geradas localmente, então você não precisa de uma conexão com a Internet.
Graças ao código-fonte aberto do Stable Diffusion, as imagens AI também podem ser geradas em um PC poderoso, e não na nuvem. O desenvolvedor Liu Liu agora empacotou o algoritmo do Stable Diffusion em um iPhone aplicativo.
O aplicativo não requer uma conexão com a Internet após o download dos recursos de aproximadamente dois gigabytes. Todas as imagens são geradas diretamente no iPhone.
Segundo o desenvolvedor, o aplicativo usa apenas 50% do poder computacional disponível. Implementando Stable Diffusion no iPhone foi “mais fácil do que eu pensava”, escreve Liu Liu.
A memória é o gargalo
O gargalo é a memória. “O maior desafio é executar o aplicativo em iPhones com 6 GB de RAM”, escreve Liu Liu. 6 GB parece muito, mas o iOS mata aplicativos automaticamente se eles usarem mais de 2,8/6 GB ou mais de 2/4 GB de RAM, disse o desenvolvedor.
Para resolver esse problema, Liu Liu dividiu a Stable Diffusion em seus componentes. Ele examinou exatamente quanta RAM o gerador requer e como a demanda pode ser reduzida em cada fase.
O modelo possui 4 partes: um codificador de texto que gera vetores de recursos de texto para guiar a geração da imagem. Um codificador de imagem opcional para codificar a imagem no espaço latente (para geração de imagem para imagem). Um modelo de redução de ruído que elimina lentamente uma representação latente de uma imagem a partir do ruído. Um decodificador de imagem para decodificar a imagem dessa representação latente. O 1º, 2º e 4º modelos precisam ser executados uma vez durante a inferência. Eles são relativamente baratos (cerca de 1GiB no máximo). Os pesos do modelo de denoiser ocupam 3,2 GiB (em ponto flutuante total) dos pesos do modelo original de 4,2 GiB. Ele também precisa ser executado várias vezes por execução, portanto, queremos mantê-lo na RAM por mais tempo.
Liu Liu
Os estágios intermediários envolvidos na geração de uma imagem seriam particularmente famintos por recursos. Liu Liu prevê que, com mais otimização, o tempo de execução pode ser reduzido em 30% e o uso de memória em cerca de 15%.
Draw Things vem com diferentes modelos
Liu Liu conseguiu integrar um número notável de recursos no aplicativo. Atualmente, o Draw Things suporta os seguintes modelos:
- Difusão estável 1.4
- Pintura interna (Stable Diffusion 1.5)
- Anime (Waifu Diffusion 1.3)
- Animação Clássica
- Disney moderna
- Arcano
- Anime Cyberpunk
- Modelo 3D
Além do modelo desejado, os usuários podem fazer outras configurações de resolução (até 512 x 768 Pixels), número de etapas (10 a 130), escala de orientação, força, semente e amostrador (DDIM, PLMS, Euler Ancestral, DPM++ 2M Karras ). Especialmente útil é a visão geral da versão, onde cada alteração pode ser visualizada em detalhes.
O Draw Things continua iPhone 11 e superior
Draw Things é agora disponível gratuitamente na App Store e vem sem publicidade. Um iPhone 11 ou superior e iOS 15.4 são necessários.
Eu tentei desenhar coisas em um iPhone 14 Pro Max: Uma imagem de 512 x 512 Pixels com 30 etapas leva cerca de um minuto e, com um máximo de 130 etapas, o processo aumenta para cerca de cinco minutos. Com essas configurações, você já pode obter resultados decentes. O desenvolvimento de calor é perceptível na iPhonemas o dispositivo não esquenta.