Aplicação de IA Generativa para geração de imagens e suas conexões com Computação Quântica

Autores: José Victor e Victor Beltrán

INTRODUÇÃO

Recorrentemente várias trends de geração de imagens viralizaram nas redes sociais, uma trend que viralizou muito rápido foi a das imagens no estilo do Studio Ghibli, um famoso estúdio de animação japonesa com um estilo de arte bem marcante e que produziu o filme “A viagem de Chihiro”. Aproveitando essa onda, gostaríamos de abordar o tema IA Generativa no contexto de imagens, explicando um pouco do processo de como uma rede neural pode gerar uma imagem e fazer transferência de estilo, ou seja, transformar uma foto de um cartão postal em uma foto desse mesmo cartão postal, mas com estilo da arte do Studio Ghibli. Antes disso, vamos adicionar um pouco de contexto e nos situar no tema.

Foto de um laboratório com um computador quântico no estilo do Studio Ghibli. Imagem gerada pelos autores através de uma inteligência artificial.

Recentemente nas redes sociais surgiram vários vídeos feitos por IA Generativa, um exemplo que ficou bem famoso é o programa da Marisa Maiô. Esses vídeos são produzidos por modelos como o Sora (OpenAI), Veo (Google) e outros. Em um próximo artigo iremos explorar o uso de IA Generativa para criação de vídeos, pois apesar de os vídeos serem uma sequência de imagens, existem diferenças bem significativas na arquitetura da rede neural e até mesmo treinamento.

É importante ressaltar que há um debate em andamento sobre o uso de obras de artes no treinamento de modelos de imagem e como isso afeta direitos autorais e propriedade intelectual. Não vamos nos aprofundar nesse tema, mas vale citar que a onda de imagens no estilo do Studio Ghibli reviveu esse debate. Recentemente a Disney e a NBCUniversal abriram um processo abriram um processo contra uma das empresas que possui um modelo de geração de imagens.

Com os recentes avanços em meio ao mundo da tecnologia, um tema se destaca, a IA Generativa. Em um subcampo desta linha de estudos, temos o uso de IA generativa aplicada a imagens. A ideia de ter computadores gerando imagens é algo já imaginado desde a década de 1970, porém, somente com recentes avanços a partir de 2014 com o advento das GANs que isto tem se tornado uma realidade plausível. A criação da arquitetura GAN ou Generative Adversarial Networks, foi o primeiro grande avanço no campo de imagens geradas por IA, sendo a arquitetura que antecede modelos conhecidos atuais de geração de imagens como DALL-E, Midjourney, StableDiffusion etc.

Na primeira parte deste artigo explicamos como GANs funcionam e como possibilitam a criação de imagens em computadores convencionais, na segunda seção explicamos como QGANs (Quantum Generative Adversarial Networks) podem, por meio da computação quântica, gerar imagens também e por fim, na terceira seção do artigo trazemos uma perspectiva que busca unir a computação quântica com a computação clássica por meio do que chamamos de algoritmos híbridos.

Sugerimos que você tenha um conhecimento básico de como computadores quânticos funcionam para melhor compreensão do que está aqui escrito, mas caso não tenha a familiaridade com o tema “não entre em pânico!”. Nós fizemos um breve resumo sobre os principais conceitos e deixamos referências no final desse artigo.

Como as imagens são codificadas em um computador?

Na computação clássica, as imagens são representadas por matrizes que podem variar de forma e tamanho a depender do formato e da qualidade da imagem, por exemplo: uma imagem em Full HD é uma matriz com dimensões 1920x1080. Cada entrada dessa matriz é o que chamamos de pixel e tem um número atrelado que chamamos de intensidade do pixel. Dependendo do tipo da imagem, essa intensidade do pixel pode ser um número no intervalo discreto [0, 255] ou contínuo no [0,1], o segundo intervalo é o mais adequado para se trabalhar com redes neurais, dado que elas apresentam dificuldades com dados discretizados devido ao cálculo do gradiente no treinamento.

Uma característica marcante das imagens é a presença ou não de cores, no caso das imagens coloridas o padrão mais utilizado é o RGB que define a imagem como uma combinação das intensidades dos pixels nos canais Red, Green e Blue para formar, por exemplo, as tonalidades da foto abaixo dos cachorrinhos da raça Shiba Inu.

Imagem de cachorros da raça Shiba Inu gerada pelos autores utilizando uma inteligência artificial.

E na computação quântica, como as imagens são codificadas?

A computação quântica é baseada nos qubits (quantum + bits), estes são sistemas quânticos binários que além de poderem representar o 0 ou 1 da computação clássica, possuem a habilidade de representar uma superposição de 0 e 1. Além da superposição de estados, os qubits exibem outras propriedades “estranhas” como o emaranhamento, interferência e fases relativas.

Na computação quântica os qubits são manipulados por portas lógicas quânticas a fim de executar uma determinada tarefa. No contexto de imagens, existem algumas formas de usar as portas lógicas para codificar as imagens, por exemplo: NEQR, QPIE e FRQI. A abordagem NEQR converte o valor da intensidade de cada pixel em uma superposição da representação de cada valor no sistema binário. A técnica QPIE normaliza a matriz que representa a imagem para que cada intensidade de pixel possa ser codificada como uma amplitude de probabilidade. Por fim, a FRQI associa as informações de cores a ângulos de portas lógicas quânticas e a posição é codificada em binário no estado quântico.

Exemplo de circuito quântico que implementa o encoding FRQI. Imagem gerada pelos autores.

Breve introdução à QNNs

Assim como no mundo clássico, é possível criarmos e utilizarmos redes neurais quânticas, que nada mais são do que um tipo específico de circuito quântico que construímos com arquitetura para este propósito.

No contexto de redes neurais quânticas, usamos destas mesmas portas lógicas para criá-las, naquilo que é conhecido como circuito variacional parametrizável. Este tipo de circuito que caracteriza as QNNs (quantum neural networks) são constituídos de uma camada de inputs, ou seja, rotações ou ângulos de portas lógicas quânticas que codificam os dados de entrada, seguido do que chamamos de Ansatz. O Ansatz por sua vez funciona próximo do que seria a “hidden layer” de uma rede neural clássica, sendo composto por uma sequência de portas lógicas quânticas, as quais detém um valor de ângulo atrelado à estas, que funcionam como os pesos da nossa rede quântica, sendo, portanto, modificados no processo de treinamento para a otimização do resultado da rede. Esta camada do Ansatz também pode contar com portas multi-qubit, proporcionando relações não lineares entre seus inputs por meio de propriedades como o emaranhamento, que por sua vez, favorecem a exploração de propriedades quânticas no aprendizado da rede.

Circuito quântico que exemplifica uma Quantum Neural Network. Créditos da imagem https://blog.tensorflow.org/2020/08/layerwise-learning-for-quantum-neural-networks.html

GANs Clássicas

Como funcionam?

Redes Adversariais Generativas são um tipo de arquitetura em que temos na prática duas redes trabalhando em conjunto para o treinamento. De um lado temos a rede geradora e do outro a rede discriminadora. A rede geradora detém como objetivo, a partir de uma distribuição em um espaço latente, gerar amostras que imitem àquelas observadas em seu dataset de treino. A rede discriminadora, em contraposição, precisa ser capaz de distinguir as amostras originais do dataset daquelas geradas pela rede geradora. As duas em conjunto portanto, treinam iterativamente melhorando uma à outra, de maneira que ao final do treinamento, tenha-se uma rede geradora com capacidade de criar amostras extremamente semelhantes às originais vistas em seu dataset de treino. imagem)

Exemplo de como funciona o processo de treinamento de uma GAN. Imagem gerada pelos autores através de IA

Como geramos imagens?

A partir de uma GAN treinada, nós podemos gerar novas imagens a partir de ruído gerado a partir de uma distribuição normal. A amostra de ruído será processada pela rede treinada e será convertida em uma nova imagem que possui relação com os dados que foram apresentados a ela durante o treinamento. Por exemplo: se treinamos a rede com um dataset com fotos de cães e gatos, a amostra de ruído sampleada será convertida em uma imagem inédita de um cachorro ou de um gato, baseada no que foi apresentado a rede durante o treinamento.

Transferência de estilo

Uma técnica que foi bem explorada nas GANs é a transferência de estilo, como o próprio nome diz, ela consiste em capturar o estilo de uma imagem e aplicar a uma outra imagem. Um exemplo bem famoso que é explorado em vários tutoriais de transferência de estilo, é de aplicar o estilo de pintores famosos como Van Gogh, Monet e outros, a fotos de paisagens. Neste caso, durante a etapa de treinamento, a rede é apresentada a dois conjuntos de dados, um que possui o estilo que ela precisa aprender para aplicar a imagem que será modificada.

Exemplos de transferência de estilo de fotos para estilo de pintura de alguns pintores famosos. Créditos da imagem https://github.com/junyanz/CycleGAN

QGANs para geração de imagens

Como funcionam?

Na prática, QGANs não diferem tanto de suas contrapartes clássicas, tendo ambas um processo de treinamento e geração de imagens bem semelhante. Assim como na rede clássica, temos um gerador e um descriminador sendo treinados, onde o objetivo do gerador é criar imagens mais próximas possíveis da referência e o objetivo do descriminador é diferenciar entre imagens originais e as imagens geradas por nossa rede geradora.

Em nosso cenário, temos uma rede neural clássica servindo como o discriminador e uma rede neural quântica, ou, circuito variacional quântico como gerador. O treinamento da rede quântica é bem semelhante à clássica, utilizamos otimizadores com gradiente descendente para otimizar os parâmetros de rotação de nosso circuito, assim como os utilizamos para otimizar os pesos em uma rede clássica.

É importante notar que existem vários modos de criar QGANs, no entanto vamos focar na metodologia chamada “patch method”, onde utilizamos vários pequenos geradores quânticos, chamados de subgeradores em que cada um destes é responsável pela geração de um trecho da imagem. A imagem final, portanto, é obtida pela concatenação das saídas destes vários minicircuitos geradores quânticos. Esta abordagem têm uma vantagem para dispositivos NISQ visto que é um método que funciona bem para situações em que o número de qubits é limitado.

Cada subgerador detém uma arquitetura idêntica e contam com um mesmo número de qubits, onde temos três partes principais no circuito, que é o embedding dos estados, camadas parametrizáveis e a medição dos qubits.

Circuito quântico que representa a rede geradora na Quantum GAN. Créditos da imagem https://pennylane.ai/qml/demos/tutorial_quantum_gans

O embedding de estados é a primeira etapa, onde imputamos um vetor latente de uma distribuição uniforme no intervalo de 0 à pi/2. Após isso, iremos aplicar uma camada de rotações no parametrizadas nos qubits, servindo de uma função semelhante à uma rede neural clássica com seus pesos, porém aplicada à computadores quânticos. Com o uso de qubits auxiliares, realizamos transformações não lineares aos estados dos Qubits, a fim de capturar as não linearidades requeridas para geração das imagens, dado que todas as portas lógicas quânticas no circuito são unitárias, por definição, lineares. Por fim, realizamos a medição do estado destes qubits e por meio de sucessivas execuções deste circuito, obtemos uma distribuição de probabilidades de estados p(z), que por sua vez passa por uma etapa de pós processamento, por fim se tornando o output do subgerador.

Com o output destes subgeradores temos enfim nossa imagem final, composta pelo output concatenado de todos estes circuitos.

Redes Híbridas para geração de imagens

Algoritmos híbridos vêm em várias formas, de maneira a juntar o melhor dos mundos clássico e quântico em uma única solução. Uma proposta é o uso de redes híbridas, que são em essência, redes neurais que contam com camadas alternadas quânticas e clássicas.

Um exemplo de como poderíamos usar redes híbridas é intercalar em meio ao gerador em seu espaço latente, uma camada quântica baseada em um circuito parametrizável. A imagem abaixo demonstra como esta arquitetura se parece.

Exemplo de uma arquitetura de uma rede neural híbrida. Imagem gerada pelos autores através de IA.

Em teoria, o uso de redes híbridas pode beneficiar a solução, proporcionando generalizações e aprendizado de relações não lineares de maneira melhor que soluções puramente clássicas e ao mesmo tempo, evita a necessidade do uso de uma quantidade muito grande de qubits, possibilitando a aplicações destas redes para experimentos ainda na era NISQ.

É válido ressaltar que algumas características das camadas quânticas ajudam no treinamento das redes neurais, por exemplo: a normalização do estado quântico, que garante que os dados vão estar contidos no intervalo ideal para a rede, gerando um treinamento mais estável. Além disso, o processo de medição na computação quântica é um processo não linear que pode ser visto como uma função de ativação, abrindo uma área de exploração para alternativas as conhecidas funções de ativação existentes. Ainda há muita coisa a ser explorada e muitos desafios a serem superados nas camadas quânticas, sendo assim muitas novidades irão surgir nos próximos anos e será bem interessante acompanhar essa evolução de perto.

Conclusão

A geração de imagens por meio de IAs é algo ainda novo para computação e os benefícios do uso de computação quântica para este tipo de tarefa ainda não são claros, sendo um tema de estudo e curiosidade ao redor do mundo. No entanto, é fascinante notar que ainda com dispositivos quânticos ruidosos e com poucos qubits já somos capazes de gerar imagens por meio de QGANs mesmo com algumas limitações.

Referências

1. Generative Adversarial Networks (https://arxiv.org/abs/1406.2661)
2. Toward Multimodal Image-to-Image Translation (https://arxiv.org/abs/1711.11586)
3. Livro Generative Deep Learning — David Foster
4. Quantum GANs (https://pennylane.ai/qml/demos/tutorial_quantum_gans)
5. AWS Blog: O que é uma GAN? (https://aws.amazon.com/pt/what-is/gan/)
6. Minicurso da Google sobre GANs (https://developers.google.com/machine-learning/gan?hl=pt-br)
7. Circuitos Variacionais: (https://medium.com/@qcgiitr/variational-quantum-algorithms-66367053a2f3)
8. CycleGAN (https://github.com/junyanz/CycleGAN)
9. Tensorflow (https://blog.tensorflow.org/2020/08/layerwise-learning-for-quantum-neural-networks.html)

José Victor é analista de computação quântica no ICTi, mestre em Física, Qiskit Advocate e astrofotógrafo amador nas horas vagas.

Victor Beltran é engenheiro de machine learning especializado em computação quântica no ICTi, engenheiro da computação por formação.