O papel da pessoa designer conversacional em uma IA Generativa

Aprendizados sobre o (não mais tão novo) desafio do design de conversas em interfaces conversacionais generativas.

Esther — Socal Photographer

“Atualmente, tratamos os modelos de IA [generativos] como simples ferramentas, mas eles são também matéria-prima — como argila que precisa ser moldada.

Isso é ainda mais importante porque grande parte da experiência do usuário está dentro do próprio modelo.

Problemas como alucinações, privacidade e vieses não são apenas obstáculos na interação com a IA; eles fazem parte da forma como os modelos são construídos.”

— Paz Peres

Comecei este texto 6 meses atrás, quando fazia 1 ano que eu tava trabalhando com Inteligências Artificiais Generativas na prática. E eu diria que, a cada dia que passa, mais coisas percebo que tenho pra aprender — um dos motivos dos 6 meses escrevendo, revisando e apagando (sticker “chorrindo”).

Ah, vale dizer também que um outro motivo da “demora” foi que, mais ou menos naquela época, a Janaína Pereira me apresentou a Paz Perez e seu conteúdo sobre o trabalho da pessoa designer em uma interface conversacional generativa.

E a analogia que Perez fez em um dos seus textos sobre a IA Generativa ser uma espécie de argila que precisa ser moldada, me fez enxergar tudo de outra forma e explorar outros pontos do nosso trabalho.

Então, este texto — que tinha o objetivo inicial de ser sobre um só assunto — se transformou em um conjunto de aprendizados práticos e teóricos sobre nosso trabalho. Tudo escrito de coração, e sem ajuda de IA.

Agora sim, vamos ao que interessa.

­

Aprendizado 1: O modelo generativo é tipo argila

Começamos com a reflexão da própria Paz Perez sobre nosso novo foco de atuação: precisamos (também) ajudar a modelar o modelo. Ou melhor, modelar a IA Generativa.

Isso porque a IA “bruta” é só um apanhado de regras e probabilidade. A gente precisa ajudar a dar o propósito, o caminho, a forma que queremos como resultado.

Ou seja, os modelos generativos não são apenas ferramentas; eles também são “matéria-prima”. Uma parte significativa da experiência da pessoa usuária tá agora embutida no próprio modelo.

Então, o design tem que ir mais a fundo, nas “entranhas” da IA Generativa, porque é de lá que vai sair grande parte das melhorias da experiência conversacional como um todo.

Inclusive, Perez dá o recado: precisamos que designers conversacionais estudem e aprendam sobre o funcionamento desse tipo de tecnologia. Até porque, convenhamos, precisamos também dialogar com quem realmente entende e é responsável por toda a parte técnica da solução, né?

Essa movimentação de função acontece junto de outras mudanças, comparado ao trabalho em equipe de uma IA “tradicional”. Uma delas é a entrada, por exemplo, da pessoa Cientista de Dados na construção da solução, que vai ajudar a modelar os dados necessários pra ferramenta consultar (vamos falar disso mais pra frente).

De qualquer maneira, a pessoa designer agora ganha novas atribuições, ajudando a moldar a experiência direto da fonte.

E, pra dar um pouco mais de profundidade nessa análise teórica, vamos pro próximo aprendizado.

­

Aprendizado 2: Entenda o ecossistema de uma interface conversacional generativa

Bom, então temos novas atribuições, certo?

Tudo parte de uma visão macro do ecossistema da IA Generativa. Ou seja, do seu contexto, de suas partes. Mas, de forma geral, acho que conseguimos desenhar algo mais ou menos assim.

Analisando o ecossistema, a conversa inicia com uma mensagem da pessoa usuária. Aí, a magia (digo, nosso trabalho e de todo o time responsável pelo produto) acontece.

­

Performance do modelo

Aqui, voltamos pra analogia da argila, porque e onde ela começa a ser moldada. Vamos passar por 3 tópicos que se relacionam e têm potencial de mudar a experiência final.

Primeiro, o modelo generativo:

Basicamente, existem variáveis “dentro” da própria IA Generativa que podem impactar no resultado final. Por exemplo, o limite de tokens que podem ser consultados pra gerar uma resposta, ou até mesmo a temperatura do modelo, que vai direcionar o quão determinístico ou criativo a IA deve ser.

Agora, chegamos na base de dados:

É um ponto de atenção importante quando falamos da performance do modelo. Já ouviu aquela expressão “entra lixo, sai lixo”? Poizé. A IA parece inteligente, mas ela não vai saber organizar sua bagunça — não do jeito que você espera. Então, um dos pré-requisitos de uma boa conversa é dar os dados da melhor maneira possível pra que o modelo consulte — sejam textos corridos ou dados estruturados.

E, já pegando o gancho da consulta dos dados, há também como configurar a recuperação da informação. Ou seja, como o modelo vai consultar e selecionar as melhores informações praquele contexto da conversa.

Mas calma, você não precisa saber fazer tudo isso. Lembra que, num cenário ideal, você vai contar com a ajuda de engenheiros, cientistas de dados e pessoas de produto, por exemplo.

Só que imagina você entrar num projeto pra desenhar a melhor experiência e não saber pelo menos dessa superfície?

­

Personalização da resposta final

Uma vez com a busca feita, a IA vai pegar as informações colhidas e organizar da maneira que você pediu. E isso acontece através do prompt do modelo.

Por exemplo, seu produto pode ter a missão de sintetizar tópicos importantes sobre um serviço X da sua empresa. Nesse caso, você precisa dar o contexto pra IA, deixando claro as informações que devem ser priorizadas e como a resposta deve ser apresentada pra pessoa usuária final que tá ali interagindo.

­

Experiência conversacional

Com a resposta dada, um turno da conversa se encerra e outro começa — afinal, uma conversa só é uma conversa se tiver pelo menos 2 turnos.

E é a partir do conjunto de turnos total da conversa que chegamos na análise da experiência conversacional como um todo. Ah, e repara que aqui não estamos falando do modelo em si, mas sim se o produto, no final, foi útil, resolutivo e de fato ajudou quem estava usando.

E, agora que entendemos como o ecossistema funciona, podemos falar também sobre como medir isso tudo.

­

Aprendizado 3: Separe bem as métricas (não confunda laranja com bergamota)

Pra esclarecer, não tenho nada contra bergamotas, tá? Essa metáfora é meramente ilustrativa.

Primeiro, quando a gente coloca o ecossistema da seção anterior em looping, temos uma conversa, certo? Então, podemos olhar pra ambos os cenários na hora de analisar a solução.

Na prática, acredito que podemos separar nossas métricas em duas caixinhas: a do modelo e a da experiência.

­

Métricas de modelo

Aqui, estamos falando de uma análise direta do modelo que gera a conversa, considerando uma pergunta e uma resposta.

Ou seja, analisamos o comportamento do modelo generativo ao responder perguntas específicas e já mapeadas previamente, como um teste em ambiente controlado.

Pra isso, podemos observar alguns comportamentos específicos relacionados à performance do modelo:

• Saúde da busca: a IA tá coletando as informações corretas?
• Completude da resposta: a IA tá respondendo tudo que precisa?
• Corretude da resposta: a IA alucinou? Respondeu algo que não é verdade?
• Formato esperado da resposta: a IA tá entregando a resposta na formatação pedida no prompt?

Essas respostas são boa parte da soma final dos atributos que fazem uma interface conversacional generativa ter uma boa experiência.

Então, talvez seja bom garantir que a perfomance do seu modelo seja satisfatória antes de pensar em focar nas métricas de experiência. Isso garante que a conversa vai final vai dar tudo certo? Não. Mas é o começo.

­

Métricas de experiência

Agora, analisamos o modelo no contexto de uma conversa, com uma sequência de perguntas e respostas.

Ou seja, avaliamos a experiência completa, da saudação ao encerramento, observando como o modelo generativo se comporta na sequência de turnos que a conversa tem, se adaptando aos nuances do que é dito pela pessoa usuária a cada mensagem. Nada é controlado.

Então, aqui podemos observar, por exemplo, a resolutividade da conversa, ou como o modelo se comporta em trocas de tópicos ou qualquer outra característica de uma conversa.

No final, um tipo de métrica influencia a outra? Sim. Mas uma coisa é laranja, outra é bergamota.

Ah, e não falamos de métricas de produto, mas seria uma visão ainda mais macro do ecossistema, observando também a interface em que a conversa acontece, por exemplo.

­

Aprendizado 4: Dê os dados necessários (e de forma útil) pro seu modelo generativo

Ao longo deste texto, comentei algumas vezes sobre como os dados são importantes pra experiência final. Inclusive, ganhando uma seção exclusiva — esta aqui.

De praxe, o ChatGPT, por exemplo, consulta os dados em que foi treinado pra responder (ou inventar) sobre (quase) qualquer coisa. Mas a gente pode fazer o modelo consultar uma base de dados particular, como um banco de dados com informações de clientes ou regras de algum serviço.

Por exemplo, se o seu modelo generativo vai consultar informações em uma base de dados onde o formato é texto corrido, existem especificidades sobre como você estrutura e disponibiliza esses dados pra IA que podem facilitar o trabalho dela em achar a informação necessária pro contexto. Consequentemente, formulando uma resposta melhor. O mesmo vale pra uma API, por exemplo.

O importante é sempre lembrar que, se o modelo não encontrar de forma assertiva o que precisa, o problema pode ser a própria base de dados e a forma que disponibilizamos pra IA consultar.

Aliás, tem um texto massa da Gabriela Gimenez, e outro texto supimpa da Paz Perez falando mais sobre isso. Cola lá depois!

“O trabalho [da pessoa designer em IAs Generativas] exige uma mistura de conhecimento técnico, boa escrita e uma compreensão profunda da experiência do usuário como um todo.

Indo além de cargos específicos, designers de qualquer área deveriam entender como os modelos funcionam.

Ser curioso o tempo todo nunca foi tão importante.”

— Paz Perez

Poizé, querida pessoa designer. O trem não é fácil não, mas seguimos. Mas e você, tem algum aprendizado pra compartilhar?

Ah, e espero que tenha curtido! Se quiser conversar sobre design conversacional, comenta aqui ou me chama! 😁

Aquele abraço!

Referências

• Como conversas funcionam e podem ser estruturadas?, do autor
• Designers: AI needs context, de Paz Perez
• IA Generativa: Desbravando fronteiras na carreira de curadoria de chatbots, de Ariane Souza
• Os desafios do design conversacional em tempos de IA generativa, do autor
• The rise of the Model Designer, de Paz Perez
• Tools: Os braços podem fazer muita coisa, mas são apenas braços (lembre-se disso), de Gabriela Gimenez