Um estudo do MIT divulgado em agosto de 2025 mediu que 95% dos pilotos corporativos de IA generativa não produziram retorno mensurável, e a explicação central não era a tecnologia: era o jeito como as empresas trabalham. Essa conclusão descreve com precisão o que eu vi na prática antes de ler qualquer relatório sobre o assunto.
Quando comecei a trabalhar com inteligência artificial dentro da Shaper, a maior dificuldade não foi entender o algoritmo. Foi convencer meu time de que o ChatGPT não era um Google melhorado. Essa distinção parece detalhe técnico e é a origem de quase todo fracasso de IA em operação corporativa.
Neste guia, vou mostrar:
- o que uma LLM realmente faz entre você apertar enviar e a resposta aparecer
- por que buscar e calcular são operações diferentes, e o que isso muda no seu trabalho
- por que a alucinação acontece e como ela se alimenta do próprio erro
- por que iteração é o gargalo real, e não a qualidade do modelo
- por que IA amplifica senioridade em vez de substituí-la
Como uma LLM gera uma resposta?
Uma LLM gera resposta calculando, token por token, qual é a continuação mais provável do texto que já existe na tela. Ela não consulta uma base de fatos, não procura a resposta em nenhum lugar e não planeja o parágrafo antes de escrever a primeira palavra.
O mecanismo vem da arquitetura Transformer, apresentada por Ashish Vaswani e coautores do Google no paper Attention Is All You Need, de 2017, que é a base de praticamente todos os modelos comerciais em uso hoje. O texto que você escreve é quebrado em tokens, cada token vira um vetor de números, e um mecanismo de atenção calcula a relevância de cada token em relação a todos os outros para definir o sentido de cada um deles no contexto.
A palavra "banco" é o exemplo mais didático. Num prompt que fala de clientes e atendimento, a atenção pesa esses termos e o sentido converge para instituição financeira. Num prompt que fala de praça e madeira pintada, converge para assento. O modelo não sabe o que é um banco. Ele calcula com qual conjunto de palavras aquele token costuma aparecer.
Cada palavra gerada vira contexto da palavra seguinte. É por isso que a resposta parece coerente do começo ao fim mesmo sem nenhum plano prévio, e é também por isso que um erro no início tende a se propagar até o fim.
Qual a diferença entre o Google e uma LLM?
O Google recupera; uma LLM prevê. A diferença não é de qualidade, é de natureza da operação, e ela determina o que você pode e não pode esperar de cada ferramenta.
| Dimensão | LLM (ChatGPT, Claude, Gemini) | |
|---|---|---|
| Operação | Busca em índice de páginas reais | Calcula a próxima palavra mais provável |
| Origem da resposta | Documento que existe na web | Padrão estatístico aprendido no treinamento |
| Fonte | Link rastreável | Não existe link nativo, a menos que a ferramenta busque na web |
| Erro típico | Resultado irrelevante | Informação inventada com aparência correta |
| O que garante qualidade | Relevância do índice | Qualidade e clareza da instrução recebida |
Quando mostrei essa distinção ao meu time pela primeira vez, a reação foi: "então é só um simulador de texto muito bom?". Sim. Um simulador tão sofisticado que faz coisas que pareciam impossíveis cinco anos atrás, e que continua sendo um simulador de texto. Aceitar as duas metades dessa frase ao mesmo tempo é o que separa quem usa IA bem de quem se decepciona.
Por que a inteligência artificial alucina?
A inteligência artificial alucina porque gerar a continuação mais provável e gerar a informação verdadeira são objetivos diferentes, e o modelo persegue o primeiro. Quando não há padrão suficiente no treinamento para sustentar uma resposta correta, o modelo não trava nem avisa: ele produz a continuação mais plausível, que pode ser inteiramente falsa e ainda assim soar impecável.
Dois agravantes tornam o problema mais sério do que parece.
O primeiro é o formato. A resposta chega estruturada, com tom profissional e organização lógica, e esses sinais são os mesmos que usamos para avaliar competência em textos humanos. Já vi dados fabricados por IA chegarem a apresentação de cliente exatamente por isso: a resposta parecia tão bem organizada que ninguém questionou.
O segundo é a propagação. Como cada token gerado entra no contexto do próximo, uma invenção no começo da resposta vira premissa do resto do raciocínio. A alucinação se alimenta do próprio erro.
A boa notícia é que esse comportamento é mensurável. Sebastian Farquhar e coautores da Universidade de Oxford publicaram na Nature, em 2024, um método de detecção de alucinação baseado em entropia semântica, que mede a incerteza do modelo no nível do significado: quando o modelo não tem base, respostas geradas repetidamente divergem entre si, e essa dispersão é calculável. Em termos operacionais, isso significa que existe um sinal objetivo para decidir quais respostas precisam de revisão humana. Escrevi sobre as técnicas práticas que derivam disso no artigo sobre as sete técnicas avançadas de prompt.
O que não muda é a regra: julgamento crítico não se terceiriza. Dado, número, citação e afirmação factual precisam ser verificados por alguém antes de sair.
Por que iteração é o gargalo real da IA nas empresas?
Iteração é o gargalo porque uma boa resposta de LLM quase nunca é a primeira: ela é a terceira ou a quarta, depois de o operador ler o resultado, identificar o que faltou e reescrever a instrução. O modelo não melhora sozinho dentro de uma mesma conversa se ninguém lhe disser o que estava errado.
Iteração é uma palavra que praticamente não existe no vocabulário corporativo brasileiro, e essa ausência tem custo. A expectativa dominante é de pergunta única e resposta perfeita. Quando isso não acontece, e quase nunca acontece, a conclusão vira "IA é inútil" ou "a IA gerou besteira".
O que aconteceu, na maioria desses casos, é que ninguém completou o ciclo. Testar, ler, ajustar a instrução, testar de novo, aprofundar, corrigir. É trabalho, e é justamente o trabalho que o estudo do MIT identificou como o divisor entre os 5% de pilotos que geraram retorno e os 95% que não geraram.
Por que a IA amplifica senioridade em vez de substituí-la?
A IA amplifica senioridade porque a qualidade da resposta depende da clareza do pedido, e clareza é uma habilidade sênior. As quatro características de quem tira bom resultado de uma LLM são as mesmas de quem é bom no próprio trabalho:
- conhece o próprio fluxo de trabalho em detalhe
- sabe exatamente de que informação precisa
- consegue estruturar um pedido sem ambiguidade
- reconhece quando a resposta está incompleta e sabe o que pedir a seguir
Quem não domina o próprio processo não consegue descrevê-lo, e portanto não consegue instruir a máquina a executá-lo. IA não corrige operação confusa: ela deixa a confusão mais evidente.
É aqui que muitos líderes desistem, e o motivo não é técnico. Colocar IA numa operação bem definida acelera a operação. Colocar IA numa operação mal definida produz um relatório de todos os pontos em que ninguém sabia o que estava fazendo. O segundo caso é mais útil no longo prazo e muito mais desconfortável no curto, e é por isso que a conclusão preferida costuma ser "a tecnologia ainda não está madura".
Na Shaper, essa é a parte do trabalho que ocupa mais tempo em qualquer programa de IA que desenhamos: antes de escolher ferramenta, mapear o que o time realmente faz. Não existe versão dessa etapa que possa ser comprada pronta.
O que muda quando a IA sai do chat e vira agente?
Um agente de IA recebe um objetivo, decide as etapas necessárias, usa ferramentas externas e executa a tarefa de ponta a ponta, em vez de esperar um comando por vez. A diferença em relação ao chat não é de inteligência do modelo: é de autonomia de execução.
Um agente pode buscar na web, ler PDFs, consultar uma planilha, disparar e-mail e encadear essas ações sem intervenção a cada passo. Plataformas de automação como n8n e Zapier são hoje o caminho mais curto para montar isso sem escrever código.
Três níveis descrevem onde as operações estão:
| Nível | O que a empresa faz | O que a limita |
|---|---|---|
| 1. Conversa | Usa chat para tarefas pontuais e isoladas | Ganho individual, nada acumula |
| 2. Estrutura | Padroniza prompts e cobra iteração do time | Depende de alguém executar cada etapa |
| 3. Automação | Encadeia agentes em fluxos com ferramentas externas | Exige processo definido e governança de dados |
A maior parte das operações corporativas ainda está no nível 1. Passar ao nível 3 sem passar pelo 2 é a receita mais comum de projeto abandonado, porque automatizar um processo que ninguém escreveu significa automatizar o improviso.
O ABC da inteligência artificial aplicada
Três princípios resumem tudo o que está acima, e eles funcionam como ordem de implementação, não como lista de dicas.
A. Arquitetar o contexto. LLM não responde bem a pergunta solta. Responde a instrução estruturada, com persona, tarefa, contexto e formato definidos. As estruturas que uso para isso no dia a dia estão detalhadas no artigo sobre engenharia de prompt, com exemplos completos.
B. Buscar a validação. Nunca aceitar a primeira resposta. Iterar, checar dado, verificar citação. Você é o filtro entre a resposta útil e a besteira conveniente, e esse filtro não é automatizável no ponto em que a informação sai para o cliente.
C. Conectar fluxos. Sair do gerador de texto e chegar ao agente que executa processo. Esse é o nível em que a IA deixa de ser ganho individual e passa a ser ganho de operação.
Perguntas frequentes
Como funciona uma LLM na prática?
Uma LLM funciona calculando, token por token, qual é a continuação mais provável do texto recebido, com base em padrões estatísticos aprendidos durante o treinamento. Ela não consulta banco de fatos nem planeja a resposta antes de começar. A arquitetura por trás disso é o Transformer, apresentado por Vaswani e coautores em 2017, cujo mecanismo de atenção calcula a relevância de cada palavra em relação a todas as outras do contexto.
Qual a diferença entre ChatGPT e Google?
O Google busca em um índice de páginas que existem e devolve links rastreáveis. O ChatGPT calcula a resposta mais provável a partir de padrões de treinamento e, por natureza, não tem link de origem, a menos que a ferramenta faça uma busca na web durante a conversa. Por isso o erro típico do Google é o resultado irrelevante, e o erro típico de uma LLM é a informação inventada com aparência correta.
Por que a IA inventa informação?
A IA inventa informação porque seu objetivo é produzir a continuação mais plausível do texto, não a informação verdadeira. Quando falta padrão suficiente no treinamento, o modelo gera algo plausível em vez de admitir a lacuna. Como cada palavra gerada entra no contexto da seguinte, um erro no início do texto tende a se propagar por todo o restante da resposta.
Como evitar erros ao usar IA no trabalho?
Evitar erro com IA exige três hábitos: estruturar a instrução com persona, tarefa, contexto e formato; iterar em vez de aceitar a primeira resposta; e verificar manualmente todo dado, número, citação e afirmação factual antes de qualquer uso externo. Farquhar e coautores demonstraram na Nature, em 2024, que a incerteza do modelo é mensurável, o que permite priorizar onde a revisão humana é indispensável.
Por que a maioria dos projetos de IA nas empresas falha?
Um estudo do MIT divulgado em agosto de 2025 mediu que 95% dos pilotos corporativos de IA generativa não geraram retorno mensurável, apontando processos e hábitos de trabalho, e não a tecnologia, como causa principal. O padrão que eu observo é consistente com isso: IA implantada sobre processo não definido amplifica a indefinição em vez de resolvê-la.
Qual a diferença entre chatbot e agente de IA?
Um chatbot responde a um comando por vez e espera o próximo. Um agente de IA recebe um objetivo, decompõe as etapas, usa ferramentas externas como busca na web, leitura de arquivos e envio de e-mail, e executa a tarefa de ponta a ponta. A diferença é de autonomia de execução, não de capacidade do modelo.
Conclusão
Entender que uma LLM calcula em vez de buscar não é curiosidade técnica: é a única base sobre a qual dá para construir uso profissional de IA. Dessa única distinção derivam a necessidade de instrução estruturada, o hábito de iterar, a obrigação de verificar dado e o limite do que faz sentido automatizar. Quem pula essa etapa acaba comprando ferramenta para resolver problema de processo, e é exatamente aí que o retorno desaparece.
Se a sua operação está no nível 1 e você precisa levar o time ao nível 2, comece pelo mais simples de medir: peça a três pessoas do time o mesmo pedido para a mesma IA e compare as respostas. A variação entre elas mostra, em uma hora, quanto do resultado depende de quem está digitando.