Instrução colocada no meio de um prompt longo é a instrução que o modelo mais ignora, e isso é resultado medido, não folclore de comunidade. Nelson Liu e coautores de Stanford, Berkeley e Samaya AI documentaram o efeito no paper Lost in the Middle, publicado na TACL em 2024: modelos de linguagem recuperam informação com precisão bem maior quando ela está no começo ou no fim do contexto, e a performance cai de forma significativa quando o dado relevante está no meio. Vale até para modelos vendidos como especialistas em contexto longo.
Descobri isso da forma mais cara possível, que é depois de o problema aparecer. Alguns meses atrás, uma pessoa do meu time chegou com um desafio de estratégia complexo para resolver com IA. Ela já vinha usando LLMs para gerar insight de pesquisa e análise de concorrência, tudo automatizado. A produção aumentou. A qualidade caiu. O texto ficou genérico, os insights repetiam o óbvio, e ninguém no time confiava em nada que saía daquele fluxo.
Passei dois meses investigando. Não era o modelo. Era o operador. E não era falta de prompt engineering básico: era falta de técnica documentada em pesquisa que quase ninguém no mercado de comunicação leu.
Aquele projeto virou o embrião do agente auditor de respostas de IA que uso hoje na Shaper: um portão de qualidade pelo qual toda resposta gerada passa antes de sair, que classifica confiabilidade, detecta indício de alucinação e valida a lógica do raciocínio. Quando a confiança cai abaixo do limite, ele dispara alerta para intervenção humana.
Neste guia estão as sete técnicas que sobraram depois desse teste, cada uma com o problema específico que resolve e a fonte que a sustenta. Quatro delas têm paper acadêmico. Três eu formatei na prática.
1. Técnica de Inception: como fazer a IA ir direto ao ponto
A técnica de Inception consiste em escrever no fim do prompt o início exato da frase que você quer que o modelo complete, em vez de fazer uma pergunta aberta. Se o objetivo é classificar a polaridade de um texto, o prompt não termina com "qual é a polaridade?". Termina com "A polaridade do texto é:".
O modelo continua a partir daquele ponto, porque completar texto é literalmente o que ele faz. O resultado é output sem parágrafo introdutório, sem ressalva de cortesia e sem reformulação da pergunta.
Encontrei a necessidade dessa técnica construindo o agente auditor. Ele precisava classificar respostas em alta, média ou baixa confiança, e eu passava mais tempo removendo explicação desnecessária do output do que analisando a classificação. Quando comecei a terminar o prompt com "Classificação:", o excesso desapareceu de uma vez.
Para operação de marketing, o ganho é direto: roteiro que começa no primeiro segundo útil, resposta limpa em fluxos automatizados, e menos tempo de edição em volume.
2. Técnica do sanduíche: por que o modelo esquece o meio do prompt
A técnica do sanduíche resolve o efeito Lost in the Middle repetindo a instrução principal na primeira e na última linha do prompt, com todo o contexto, dados e exemplos empilhados no meio.
O fundamento é o estudo de Liu e coautores publicado na TACL em 2024. Eles mediram que a acurácia de recuperação forma uma curva em U: alta quando a informação relevante está no início do contexto, alta quando está no fim, e visivelmente mais baixa quando está no meio. O modelo não distribui atenção de forma uniforme pelo que você escreveu.
A estrutura prática é esta:
- Primeira linha: a instrução principal, escrita de forma completa e inequívoca.
- Meio: todo o material de apoio, ou seja, contexto de marca, dados, documentos, exemplos de referência.
- Última linha: a mesma instrução principal, repetida com as mesmas palavras.
Parece redundante e é. Mas no agente auditor a diferença foi visível: quando a instrução de auditoria ficava apenas no topo, com o material de referência embaixo, as respostas voltavam genéricas. Repetindo a instrução no rodapé, o modelo passou a cumprir os critérios que eu tinha pedido.
Regra prática para quem trabalha com briefing longo: quanto mais material você cola no prompt, mais obrigatória fica a repetição da instrução no final.
3. Framework SOMA: por que pergunta de sim ou não arruína a autoavaliação da IA
O framework SOMA substitui perguntas binárias de avaliação por critérios específicos em escala numérica ancorada. LLMs são ruins em responder "isso está certo?", porque a pergunta binária não oferece critério e o modelo tende a concordar com o que já produziu.
SOMA é a estrutura que eu uso no agente auditor, e vale por quatro exigências:
- Específico: o critério precisa ser nomeado, não implícito. Clareza, originalidade, aderência ao tom de voz, precisão factual.
- Ordinal: a resposta vem em escala numérica, tipicamente de 1 a 5, não em adjetivo.
- Multiaspecto: vários critérios avaliados separadamente na mesma passada, em vez de um julgamento global.
- Ancorado: cada ponto da escala é descrito antes de o modelo responder. O 1 e o 5 precisam ter significado escrito.
Na prática, em vez de "este roteiro está bom?", o comando fica: "Avalie este roteiro de 1 a 5 em CLAREZA, onde 1 significa incompreensível para quem não conhece a marca e 5 significa compreensível na primeira leitura sem contexto prévio. Avalie separadamente em ORIGINALIDADE e em IMPACTO EMOCIONAL, com a mesma escala descrita".
O ganho não é a nota em si. É que a nota fica comparável entre execuções diferentes, o que permite medir se um ajuste de prompt melhorou ou piorou o resultado. Avaliação sem escala ancorada não é avaliação, é impressão.
4. Evidência negativa: fazer o modelo errar de propósito antes de acertar
A técnica da evidência negativa apresenta ao modelo uma resposta deliberadamente errada, pede que ele identifique os erros, e só depois solicita a resposta correta. O nome acadêmico é Deliberate then Generate, formulado por Bei Li e coautores em paper publicado no arXiv em 2023.
A lógica é contraintuitiva e funciona porque força análise contrastiva. Em vez de gerar direto a partir do padrão mais provável, o modelo precisa primeiro articular por que um caminho está errado, e essa articulação entra no contexto da geração seguinte.
No agente auditor, usei esse desenho para detectar alucinação. Pedir "identifique alucinações neste texto" produzia resposta rasa e complacente. Criar uma resposta propositalmente alucinada, pedir ao modelo que descrevesse como ele saberia que aquilo era invenção, e só então mandar analisar o texto real mudou o comportamento: as justificativas ficaram específicas e apontavam o trecho, em vez de emitir um veredito genérico.
Para quem trabalha com revisão de conteúdo em volume, essa é a técnica com melhor relação entre esforço e ganho de qualidade, porque ela transforma o modelo em revisor com critério, não em revisor educado.
5. Least-to-Most: quando pedir para pensar passo a passo não é suficiente
Least-to-Most Prompting decompõe um problema complexo pedindo primeiro que o modelo liste os subproblemas que precisam ser resolvidos, e só depois resolvendo cada subproblema em sequência, com a resposta de um servindo de contexto para o seguinte. A técnica foi formalizada por Denny Zhou e coautores do Google em paper apresentado no ICLR em 2023, justamente para os casos em que Chain of Thought falha por excesso de complexidade.
A diferença em relação ao clássico "pense passo a passo" é quem define os passos. Em Chain of Thought, o modelo raciocina dentro de uma única resposta. Em Least-to-Most, a decomposição é uma etapa separada, explícita e auditável.
Num problema de planejamento estratégico, o modelo tende a devolver uma lista como esta:
- Entender o contexto do cliente e da categoria
- Mapear os stakeholders da decisão
- Identificar os bloqueios reais
- Propor solução para cada bloqueio
- Priorizar por impacto
Aí você resolve um por um, com contexto acumulando. Para agência que usa LLM em planejamento, o ganho é evitar o pedido que garante resposta genérica, que é "crie um plano de marketing". Quem já usou IDE com assistente de código em projeto grande viu essa mesma lógica funcionando: a ferramenta quebra o projeto em tarefas antes de escrever a primeira linha.
6. Autoconsistência: montar um comitê interno de IAs
A técnica de autoconsistência gera a mesma resposta várias vezes com temperatura acima de zero e adota como resposta final aquela que mais se repete entre as tentativas. O nome acadêmico é Self-Consistency, de Xuezhi Wang e coautores do Google, em paper apresentado no ICLR em 2023, que mediu ganho consistente de acurácia em tarefas de raciocínio ao substituir a resposta única pelo consenso de múltiplas amostragens.
O mecanismo é simples de entender. Quando o modelo tem base para a resposta, o conteúdo se repete mesmo que as palavras e o caminho do raciocínio mudem. Quando ele está inventando, a invenção varia a cada geração, porque não há âncora. Variação alta entre execuções é sinal de incerteza do modelo, não de criatividade.
No agente auditor, uso isso quando preciso de confiança alta em classificação ou síntese. Gero múltiplas vezes e analiso a dispersão. Se as respostas divergem muito entre si, isso por si só já é o diagnóstico, e o caso vai para revisão humana antes de qualquer uso.
O custo é óbvio: cinco gerações custam cinco vezes mais que uma. Por isso a técnica se aplica ao ponto do fluxo onde o erro é caro, não ao fluxo inteiro.
7. Logprobs: o detector de alucinação que já está na API
Logprobs são os logaritmos das probabilidades que o modelo atribui a cada token que escolheu, e eles ficam acessíveis via API na maioria dos modelos comerciais. Um logprob médio muito negativo, especialmente nos primeiros tokens de uma resposta, indica que o modelo estava inseguro no momento em que decidiu o que dizer.
Essa é a técnica que separa quem opera LLM de quem usa a interface, porque ela não analisa o texto: analisa a confiança que o modelo deixou exposta enquanto escrevia.
A literatura acadêmica caminhou nessa direção com resultado forte. Sebastian Farquhar e coautores da Universidade de Oxford publicaram na Nature, em 2024, um método de detecção de alucinação baseado em entropia semântica, que mede a incerteza do modelo no nível do significado e não da palavra escolhida, agrupando respostas equivalentes antes de calcular a dispersão. É a formalização rigorosa da mesma intuição: o modelo sinaliza quando não sabe, e esse sinal é mensurável.
No agente auditor, o desenho é este: quando a confiança medida cai abaixo de um limite definido, a resposta não segue no fluxo automático e um alerta pede revisão humana. Para operação que gera volume alto de conteúdo com LLM, isso resolve o problema mais difícil da governança de IA, que é saber quais respostas merecem atenção humana quando não há tempo para revisar todas.
As sete técnicas e o problema que cada uma resolve
| Técnica | Problema que resolve | Fonte |
|---|---|---|
| Inception | Fluff e introdução inútil no output | Prática de operação |
| Sanduíche | Instrução no meio do prompt sendo ignorada | Liu et al., TACL, 2024 |
| SOMA | Autoavaliação binária fraca e não comparável | Framework Shaper |
| Evidência negativa | Revisão complacente em tarefa difícil | Li et al., arXiv, 2023 |
| Least-to-Most | Problema complexo que Chain of Thought não quebra | Zhou et al., ICLR, 2023 |
| Autoconsistência | Incerteza invisível numa resposta única | Wang et al., ICLR, 2023 |
| Logprobs | Alucinação convincente passando no fluxo | Farquhar et al., Nature, 2024 |
Nenhuma das sete é dica solta. Cada uma nasceu de um defeito específico que apareceu enquanto eu construía o portão de qualidade, e é assim que elas devem ser adotadas: uma por problema real, não sete de uma vez.
Como montar uma versão simplificada do portão de qualidade
Um portão de qualidade para respostas de IA precisa de três camadas, e a versão mínima dele cabe em um dia de trabalho.
A primeira camada é de formato: Inception e sanduíche garantem que a resposta chegue limpa e cumprindo a instrução. A segunda é de julgamento: SOMA com escala ancorada produz notas comparáveis, e evidência negativa faz a revisão apontar trecho em vez de emitir veredito. A terceira é de confiança: autoconsistência nos pontos caros do fluxo e leitura de logprobs para decidir o que vai para humano.
O que não dá para terceirizar é a definição dos critérios. A escala de SOMA precisa refletir o padrão de qualidade da sua operação, e esse padrão é conhecimento da casa, não do modelo. Foi exatamente esse ponto que transformou o problema do meu time em projeto: o modelo não tinha piorado, a operação nunca tinha escrito em nenhum lugar o que considerava uma boa resposta.
Perguntas frequentes
Como reduzir alucinação de IA em conteúdo profissional?
Reduzir alucinação exige um passo de verificação separado da geração, não um prompt melhor. Três técnicas atuam nisso: evidência negativa, que faz o modelo articular o erro antes de gerar; autoconsistência, em que variação alta entre múltiplas gerações sinaliza incerteza; e leitura de logprobs, que expõe a confiança do modelo token por token. Farquhar e coautores publicaram na Nature em 2024 um método de detecção baseado em entropia semântica que formaliza essa abordagem.
O que é o efeito Lost in the Middle em LLMs?
Lost in the Middle é a queda de performance que modelos de linguagem apresentam quando a informação relevante está no meio de um contexto longo, em vez de no começo ou no fim. O efeito foi documentado por Nelson Liu e coautores em paper publicado na TACL em 2024, e vale inclusive para modelos projetados para contexto longo. A mitigação prática é repetir a instrução principal na primeira e na última linha do prompt.
Qual a diferença entre Chain of Thought e Least-to-Most Prompting?
Chain of Thought pede ao modelo que raciocine passo a passo dentro de uma única resposta. Least-to-Most separa a decomposição da resolução: primeiro o modelo lista os subproblemas, depois cada um é resolvido em sequência com o contexto acumulando. Least-to-Most foi formalizado por Zhou e coautores no ICLR de 2023 para os casos em que Chain of Thought falha por complexidade excessiva do problema.
Vale a pena gerar a mesma resposta várias vezes com IA?
Gerar a mesma resposta várias vezes vale nos pontos do fluxo em que o erro é caro, porque o consenso entre execuções eleva a acurácia e a dispersão entre elas funciona como medida de incerteza. A técnica é a Self-Consistency, de Wang e coautores no ICLR de 2023. O custo é proporcional ao número de gerações, então ela se aplica a etapas críticas de classificação e síntese, não ao fluxo inteiro.
Como saber se posso confiar na resposta de uma LLM?
Confiança em resposta de LLM se mede, não se sente. Os três sinais mais úteis são: consistência entre múltiplas gerações da mesma pergunta, logprob médio dos primeiros tokens da resposta, e nota em escala ancorada por critério explícito. Nenhum deles elimina a revisão humana, mas juntos indicam onde ela é indispensável.
O que é um agente auditor de respostas de IA?
Um agente auditor de respostas de IA é um sistema que funciona como portão de qualidade entre a geração e o uso: toda resposta passa por ele antes de sair, recebe classificação de confiabilidade, é checada contra indício de alucinação e tem a lógica validada. Quando a confiança cai abaixo do limite definido, o agente dispara alerta para intervenção humana em vez de liberar a resposta.
Conclusão
A diferença entre gerar resposta e gerar resposta em que você pode confiar é técnica, não sorte. As sete abordagens acima resolvem sete defeitos distintos, quatro delas com paper acadêmico para sustentar a escolha, e todas elas exigem a mesma coisa de quem opera: escrever em algum lugar o que a sua operação considera uma boa resposta. Modelo nenhum adivinha isso, e nenhum prompt compensa a ausência dessa definição.
Se o seu time gera volume com LLM e ainda revisa por amostragem e intuição, comece pelo mais barato: SOMA com escala ancorada em dois critérios que importam para vocês. É o passo que revela, em uma semana, quanta variação existe no que já está sendo publicado.
Me conte nos comentários qual dos sete problemas mais atrapalha a sua operação hoje. Costumo usar essas respostas para pautar os próximos textos.