Uma viagem pela história das ideias que deram origem à cultura da experimentação

Como dois mil anos de filosofia moldaram a maneira como produzimos conhecimento em Produto e Growth.

Hiroshima Peace Memorial Museum (1945)

Esse artigo nasceu de uma impressão que carrego há mais de dez anos.

É como se parte do mercado (ou pelo menos parte da minha bolha) tratasse a experimentação como uma habilidade que nasceu dentro do growth. Como se testar hipóteses fosse uma invenção das startups ou das empresas de tecnologia.

Quando falamos sobre growth, é comum ouvirmos palavras como hipótese, experimento, evidência e validação. Elas aparecem em apresentações, frameworks e retrospectivas como parte do vocabulário cotidiano de quem trabalha com produto e tecnologia. Talvez por isso exista a impressão de que esse modo de pensar pertence a esse universo.

Alguém pode argumentar, com razão, que Big Data, aprendizado de máquina e a cultura orientada por dados inauguraram maneiras de produzir conhecimento. Concordo. Mas meu ponto é outro.

Os fundamentos epistemológicos do ato de investigar o mundo são muito anteriores às ferramentas atuais.

Como podemos saber se uma ideia descreve o mundo de maneira confiável?

Como seres humanos aprendem algo sobre o mundo?

Essas perguntas atravessam mais de dois mil anos de história.

Aparecem na filosofia, ganham novos contornos com o desenvolvimento da ciência, passam por debates sobre método, observação, linguagem e evidência e continuam presentes sempre que uma equipe formula uma hipótese antes de tomar uma decisão.

É justamente essa continuidade que me interessa.

Quando olhamos para essa trajetória, experimentos deixam de ser apenas uma ferramenta de otimização e passam a integrar uma tradição intelectual muito mais antiga, construída por pessoas que buscavam compreender como o conhecimento é produzido e quais são os seus limites.

Essa é a perspectiva que proponho explorar nesse artigo.

Não pretendo contar uma história completa da ciência, meu objetivo é lembrar que, toda vez que formulamos uma hipótese e desenhamos um experimento, participamos de uma conversa iniciada muito antes de existirem startups, métricas de produto ou frameworks de growth.

Observação importante: a imagem escolhida para abrir o artigo é irônica.

“Pois quanto maior a sabedoria, maior o sofrimento; e quanto maior o conhecimento, maior o desgosto.” — Eclesiastes 1:18

Como o artigo está organizado

1. Como sabemos que sabemos alguma coisa?
2. Quando observar deixou de ser suficiente?
3. A ilusão da certeza: por que testar nunca prova nada?
4. Por que até os dados dependem de um paradigma?
5. O que tudo isso muda para quem trabalha com Produto e Growth?

Galáxia, Nikon Corporation (2018)

1. Como sabemos que sabemos alguma coisa?

Vamos imaginar uma situação comum no desenvolvimento de um produto.

Um time executa um experimento. Depois de alguns dias, os resultados aparecem. A taxa de conversão aumentou, a retenção melhorou ou um novo fluxo reduziu o número de abandonos. Alguém olha para os dados e afirma que a hipótese foi validada.

Essa cena faz parte da rotina de milhares de profissionais. Embora simples, ela esconde uma pergunta muito maior:

O que nos permite dizer que realmente aprendemos alguma coisa?

Pode parecer uma questão excessivamente abstrata para quem trabalha com growth. No entanto, essa pergunta está presente sempre que avaliamos um experimento, escolhemos uma métrica ou decidimos confiar em uma evidência para orientar uma decisão.

Existe um campo inteiro da filosofia dedicado a investigar exatamente esse problema. Chamamos esse campo de epistemologia.

Em linhas gerais, ela procura compreender como o conhecimento é produzido, quais critérios tornam uma afirmação confiável e quais são os limites daquilo que podemos conhecer.

Essa discussão costuma parecer distante da prática porque usamos um vocabulário diferente. Em produto, falamos sobre hipóteses, testes, métricas, causalidade e validação. Na filosofia, discutimos crença, justificativa, evidência, verdade e conhecimento. Embora as palavras mudem, a inquietação permanece praticamente a mesma.

Quando afirmamos que um experimento “funcionou”, estamos fazendo mais do que descrever um resultado. Estamos dizendo que acreditamos ter produzido conhecimento suficiente para agir.

Essa conclusão depende de diversos pressupostos. Assumimos que a hipótese foi bem formulada, que o experimento isolou as variáveis relevantes, que os dados representam o fenômeno observado e que nossa interpretação faz sentido diante das evidências disponíveis.

Essas perguntas acompanham a humanidade muito antes da cultura orientada por dados, e até mesmo muito antes da ciência moderna.

Foi justamente tentando responder a elas que alguns pensadores da Grécia Antiga iniciaram uma das conversas mais duradouras da história intelectual. Eles ainda não falavam sobre testes A/B, experimentos controlados ou relevância estatística. O problema que enfrentavam, porém, continua surpreendentemente atual.

Afinal, como podemos distinguir uma opinião de um conhecimento confiável?

Uma das primeiras respostas veio de Sócrates. Em vez de oferecer explicações prontas, ele dedicava seu tempo a fazer perguntas. Seu método (maiêutica) consistia em examinar cuidadosamente as crenças das pessoas até descobrir se elas resistiam ao questionamento. Em muitos casos, aquilo que parecia conhecimento revelava apenas uma opinião sustentada pelo hábito (doxa), pela tradição ou pela autoridade.

Seu discípulo, Platão, levou essa investigação para outro nível, já que ele desconfiava daquilo que percebemos imediatamente pelos sentidos e defendia que a realidade nem sempre se apresenta da maneira como a experimentamos.

A famosa alegoria da caverna talvez seja a melhor metáfora dessa ideia. Nem toda evidência aparente corresponde àquilo que realmente existe. Para quem trabalha com dados, a lição continua atual. Um indicador pode parecer convincente e, ainda assim, representar apenas uma parte do fenômeno.

Aristóteles seguiu um caminho diferente. Ele voltou sua atenção para a observação sistemática da natureza, catalogou plantas, classificou animais, comparou fenômenos e buscou padrões recorrentes. Seu trabalho representa uma das primeiras tentativas de organizar a observação como instrumento para compreender o mundo.

Embora as respostas de cada um fossem diferentes, os três compartilhavam a mesma inquietação. O conhecimento não poderia depender apenas da opinião, da tradição ou da autoridade. Era preciso encontrar critérios que justificassem o saber.

Essa preocupação atravessou séculos e preparou o terreno para uma transformação decisiva. Fazer perguntas já não bastava. Observar também não seria suficiente. Aos poucos, surgiria a necessidade de desenvolver um método capaz de produzir conhecimento de maneira compartilhada, verificável e replicável.

É justamente nesse momento que começa a história do método científico.

Escola de Atenas, Rafael Sanzio (1509–1511)

2. Quando observar deixou de ser suficiente?

Os filósofos gregos deixaram um legado extraordinário. Ensinaram que boas perguntas importam, que nossas percepções podem enganar e que observar a natureza é parte essencial da construção do conhecimento. Mas ainda havia um problema.

Pessoas inteligentes podiam observar o mesmo fenômeno e chegar a conclusões completamente diferentes. Muitas vezes, essas conclusões pareciam igualmente plausíveis. Faltava um critério compartilhado para decidir quais explicações descreviam melhor a realidade.

Durante séculos, o conhecimento avançou dessa maneira. Observava-se, argumentava-se, comparavam-se ideias e, frequentemente, recorria-se à autoridade dos grandes pensadores do passado para encerrar uma discussão. Foi entre os séculos XVI e XVII que essa lógica começou a mudar.

Em vez de perguntar apenas “o que sabemos?”, alguns pensadores passaram a perguntar “como devemos investigar para produzir conhecimento confiável?” — essa mudança de perspectiva foi muito importante.

Francis Bacon foi um dos primeiros a defender que observar não bastava. Era preciso observar de maneira organizada. Em sua visão, o conhecimento deveria nascer da coleta sistemática de evidências, da comparação entre fenômenos e da disposição para revisar conclusões diante de novos fatos. Em outras palavras, a experiência precisava se transformar em método.

Enquanto Bacon refletia sobre como a investigação deveria funcionar, Galileu Galilei mostrava essa ideia na prática. Seus experimentos e observações, aliados ao uso da matemática, ajudaram a transformar a ciência em uma atividade capaz de medir, quantificar e reproduzir fenômenos. A natureza deixava de ser apenas contemplada. Passava a ser interrogada por meio de experimentos cuidadosamente planejados.

No mesmo período, René Descartes propunha outro ingrediente importante para essa transformação. Em vez de aceitar qualquer afirmação como verdadeira, defendia que o conhecimento deveria partir da dúvida metódica. Antes de confiar em uma conclusão, era preciso examinar cuidadosamente os caminhos que levaram até ela. Seu objetivo era construir um procedimento suficientemente rigoroso para reduzir o erro.

Cada um desses pensadores percorreu um caminho diferente:

• Bacon enfatizou a observação organizada.
• Galileu mostrou a força da experimentação e da matemática.
• Descartes insistiu na disciplina do raciocínio.

Só que o ponto em comum entre eles era outro.

Conhecimento confiável não dependia apenas de pessoas brilhantes. Dependia de procedimentos que outras pessoas também pudessem compreender, repetir, criticar e aperfeiçoar.

Esse talvez tenha sido o nascimento da ideia mais importante para qualquer profissional que trabalha com experimentação: não basta que um experimento produza um resultado interessante; ele precisa valer porque a sua construção o permite ser examinado, reproduzido e contestado.

Essa mudança de perspectiva atravessou os séculos e chegou até as equipes de produto. Sempre que documentamos uma hipótese, definimos métricas antes do teste, controlamos variáveis ou registramos os resultados para que outras pessoas possam avaliá-los, estamos aplicando princípios que começaram a tomar forma muito antes da existência das empresas de tecnologia.

Mas será que, mesmo seguindo um método rigoroso, seria possível provar que uma hipótese é verdadeira?

Cisne Negro, Darren Aronofsky (2010)

3. A ilusão da certeza: por que testar nunca prova nada?

Até aqui, acompanhamos uma mudança importante na história do conhecimento. A filosofia nos ensinou a desconfiar das opiniões. A ciência moderna desenvolveu métodos para investigar o mundo de maneira sistemática.

Poderíamos imaginar que, a partir desse momento, bastaria executar bons experimentos para descobrir a verdade. Mas a história está longe de terminar aqui.

No século XVIII, um rapaz de 28 anos chamado David Hume começou a se perguntar se um resultado observado hoje poderia continuar verdadeiro amanhã e, filosoficamente falando, essa pergunta é extremamente profunda.

Imagine que um experimento produza exatamente o resultado esperado. Você repete o teste e obtém o mesmo comportamento. Depois faz isso de novo, e de novo, e de novo…

Em algum momento, parece natural concluir que descobrimos uma regra. Mas foi justamente essa conclusão que David Hume colocou em dúvida. E ele fez isso de um jeito muito legal, usando o exemplo dos cisnes, que se tornou um clássico na história da ciência.

Durante séculos, europeus observaram apenas cisnes brancos e isso parecia suficiente para afirmar que todos os cisnes eram brancos. Mas uma descoberta de cisnes negros na Austrália provou justamente o contrário: uma sequência de observações, por mais longa que seja, nunca é capaz de provar definitivamente uma regra universal. Assim, Hume mostrou que uma conclusão nunca é tão segura quanto imaginamos.

O fato de um acontecimento se repetir muitas vezes não garante que ele continuará acontecendo da mesma maneira.

Acreditamos nisso porque nossa mente cria expectativas a partir da experiência, mas essa expectativa não constitui uma prova lógica.

Esse pensamento ficou conhecido como o problema da indução.

Grande parte do conhecimento científico depende da indução. Observamos casos particulares e, a partir deles, formulamos explicações mais gerais. O desafio apontado por Hume é que nenhuma quantidade de observações elimina completamente a possibilidade de estarmos diante de uma exceção futura.

Em termos simples, o fato de um fenômeno ter ocorrido da mesma maneira milhões de vezes não constitui, por si só, uma prova lógica de que continuará ocorrendo amanhã. Nossa expectativa pode ser extremamente bem fundamentada, mas continua sendo uma expectativa.

Em termos “poéticos”, seria como dizer que esperamos o nascer do sol amanhã porque sempre foi assim, não porque possuímos uma prova lógica de que isso vai acontecer outra vez.

Essa ideia costuma ser desconfortável para quem trabalha com experimentação.

Quando afirmamos que uma hipótese foi validada, muitas vezes queremos dizer apenas que ela resistiu aos testes realizados até aquele momento.

E isso é muito diferente de dizer que ela foi definitivamente comprovada.

Quase dois séculos depois, foi justamente tentando responder a esse desafio que Karl Popper propôs uma mudança de perspectiva no século XX.

Segundo Popper, a ciência avança porque elimina explicações que não resistem ao confronto com a realidade, e não só porque ela precisa provar que algumas teorias disponíveis são verdadeiras.

Uma boa hipótese não é aquela que pode ser confirmada de qualquer maneira. É aquela que assume riscos e aceita a possibilidade de estar errada (falseabilidade).

Essa talvez seja uma das contribuições mais importantes da filosofia da ciência para quem trabalha com growth. A verdadeira preciosidade dos experimentos é colocar as nossas explicações à prova em vez de confirmar aquilo em que já acreditamos.

Essa diferença pode parecer pequena, mas muda completamente a postura diante dos dados. Quando desenhamos um teste apenas para encontrar evidências favoráveis à nossa hipótese, corremos o risco de transformar a experimentação em um mecanismo de confirmação das nossas próprias crenças.

Quando desenhamos um experimento capaz de contrariar nossas expectativas, aumentamos nossas chances de aprender algo novo.

Hume e Popper nos fizeram entender que o objetivo real da experimentação não é eliminar a incerteza. Pelo contrário, a incerteza é uma constante e nós, seres humanos, precisamos aprender a conviver com ela, mas de maneira disciplinada.

Mas, parafraseando Drummond, “no meio do caminho tinha outra pedra”:

Ainda que duas equipes sigam métodos rigorosos e interpretem corretamente seus resultados, elas podem chegar a conclusões diferentes — como isso é possível?

Lumon macrodata refinement, Emilio Passi (2022)

4. Por que até os dados dependem de um paradigma?

Em seu trabalho, Kuhn mostrou que a ciência não avança apenas pela acumulação de descobertas. Ela também muda porque mudam as formas pelas quais interpretamos o mundo. E essas formas de interpretar recebem o nome de paradigmas.

Um paradigma não é apenas uma teoria. Ele funciona como uma espécie de lente intelectual. Define quais perguntas fazem sentido, quais métodos são considerados confiáveis, quais problemas merecem atenção e até mesmo o que será aceito como uma boa explicação.

Essa ideia ajuda a compreender algo que acontece diariamente em equipes de produto.

Quando escolhemos acompanhar retenção, conversão, receita, NPS ou qualquer outro indicador, estamos fazendo mais do que selecionar métricas. Estamos dizendo quais aspectos da realidade consideramos mais importantes.

Isso não torna os dados menos valiosos. Pelo contrário, significa apenas que eles nunca chegam completamente “puros”. Toda coleta de dados começa com escolhas anteriores.

Escolhemos o que medir, como medir, durante quanto tempo observar e quais critérios usar para interpretar os resultados. Em outras palavras, antes de existir um dashboard, já existia uma teoria sobre o que vale a pena observar.

É bem possível que, por isso, equipes igualmente competentes possam analisar o mesmo experimento e chegar a prioridades diferentes. Elas não discordam necessariamente dos dados. Muitas vezes, discordam da pergunta que acreditam ser mais importante.

Essa discussão fica ainda mais interessante quando pensamos nas ferramentas que utilizamos para investigar o comportamento das pessoas.

Um mapa de calor mostra determinados padrões de interação, uma pesquisa qualitativa revela percepções e motivações, um teste A/B evidencia diferenças entre versões, um dashboard acompanha indicadores ao longo do tempo. Nenhuma dessas ferramentas está errada. Por outro lado, nenhuma delas mostra a realidade inteira.

Cada uma ilumina uma parte do fenômeno e deixa outras partes menos visíveis. É importante lembrar que a produção do conhecimento nunca depende apenas da qualidade dos dados. Depende também da qualidade das perguntas, das ferramentas escolhidas e do paradigma a partir do qual interpretamos aquilo que observamos.

Se Hume nos ensinou que experimentos não eliminam a incerteza, Kuhn acrescenta outro elemento importante: nem mesmo os fatos chegam até nós completamente separados das ideias que usamos para compreendê-los.

E quanto mais avançam nossas ferramentas de análise, maior tende a ser nossa capacidade de observar determinados fenômenos. Ao mesmo tempo, cada nova ferramenta direciona nossa atenção para alguns aspectos da realidade e afasta nosso olhar de outros. Em certo sentido, toda tecnologia de observação também é uma tecnologia de seleção.

Albert Einstein writing on a blackboard in Pasadena (1931)

5. O que tudo isso muda para quem trabalha com Produto e Growth?

Depois de atravessar mais de dois mil anos de história, talvez seja natural perguntar o que toda essa discussão muda na prática.

Como você já deve ter percebido, a conversa não começa pelas ferramentas, mas pelas perguntas.

Grande parte do trabalho em produto e growth consiste em reduzir incertezas para tomar decisões melhores. Fazemos isso formulando hipóteses, desenhando experimentos, analisando evidências e revisando estratégias. Nada disso mudou. O que muda é a forma como passamos a enxergar esse processo.

Quando entendemos que toda hipótese carrega pressupostos, passamos a formulá-las com mais cuidado.

Quando compreendemos que nenhum experimento elimina completamente a incerteza, aprendemos a tratar seus resultados com a humildade que eles exigem.

Ao perceber que dados dependem das perguntas que escolhemos fazer, deixamos de tratar dashboards como retratos objetivos da realidade e passamos a vê-los como representações construídas a partir de determinadas escolhas.

Isso muda até mesmo a maneira como discutimos resultados nas equipes. Em vez de perguntar apenas se um experimento funcionou, vale perguntar quais pressupostos orientaram seu desenho.

Em vez de discutir apenas qual métrica melhorou, talvez seja mais interessante perguntar por que aquela métrica foi escolhida como principal indicador de sucesso.

Em vez de buscar uma validação definitiva para uma hipótese, talvez devêssemos perguntar quais evidências ainda seriam capazes de nos fazer mudar de ideia.

Repare que nenhuma dessas perguntas torna o trabalho mais lento. Elas apenas tornam o raciocínio mais rigoroso.

Experimentar é importante, mas a maior herança que growth recebeu da tradição científica foi a maneira disciplinada de aprender, não a experimentação em si.

Uma maneira que começou muito antes dos dashboards, dos testes A/B, dos frameworks de experimentação ou das empresas de tecnologia.

Mesmo com todas as ferramentas do presente, com todas essas métricas sofisticadas e métodos evoluídos, a pergunta continua a mesma desde a Antiguidade: como podemos confiar naquilo que acreditamos saber?

Talvez nunca exista uma resposta definitiva para essa pergunta. E talvez seja justamente isso que torna a experimentação uma prática tão poderosa.

Quando comecei este artigo, disse carregar a impressão de que parte do mercado tratava a experimentação como uma invenção do growth.

É possível que essa impressão exista porque costumamos olhar para as ferramentas e esquecer as ideias que lhes deram origem.

Conhecer a trajetória das ideias que sustentam nosso trabalho muda a maneira como olhamos para as ferramentas do presente. Elas deixam de parecer invenções isoladas e passam a ocupar seu lugar em uma conversa que atravessa séculos.

Na minha opinião, a principal contribuição da epistemologia para quem trabalha com produto e growth é que ela nos lembra que toda hipótese faz parte de uma história maior que ela mesma e que, antes de produzir respostas melhores, vale a pena aprender a formular melhores perguntas.

Referências

• ARISTÓTELES. Metafísica. 2. ed. São Paulo: Edições Loyola, 2002.
• BACON, Francis. Novum Organum. São Paulo: Abril Cultural, 1973. (Coleção Os Pensadores).
• DESCARTES, René. Discurso do método. 4. ed. São Paulo: Martins Fontes, 2009.
• HUME, David. Investigação sobre o entendimento humano. São Paulo: Editora UNESP, 2004.
• KUHN, Thomas S. A estrutura das revoluções científicas. 1. ed. São Paulo: Perspectiva, 2020.
• PLATÃO. Teeteto. Tradução de Adriana Manuela Nogueira e Marcelo Boeri. Lisboa: Fundação Calouste Gulbenkian, 2015.
• POPPER, Karl R. A lógica da pesquisa científica. 2. ed. São Paulo: Cultrix, 2005.

Leituras complementares

• HACKING, Ian. Representing and Intervening: Introductory Topics in the Philosophy of Natural Science. Cambridge: Cambridge University Press, 1983.
• IHDE, Don. Technology and the Lifeworld: From Garden to Earth. Bloomington: Indiana University Press, 1990.
• LATOUR, Bruno. Ciência em ação: como seguir cientistas e engenheiros sociedade afora. 2 ed. São Paulo: Editora UNESP, 2012.
• LEAR, Jonathan. Aristotle: The Desire to Understand. Cambridge: Cambridge University Press, 1988.
• SAGAN, Carl. O mundo assombrado pelos demônios: a ciência vista como uma vela no escuro. São Paulo: Companhia das Letras, 1996.

Bônus

Se você curtiu o GIF do refinamento de dados da LUMON, recomendo acessar o artigo do Emilio Passi onde ele explica como foi o processo de criação da animação.

Gostou do conteúdo e quer se aprofundar no assunto? Então eu te convido a acessar o programa de estudos de epistemologia que montei. Bons estudos!