O que é RLHF (aprendizado por reforço com feedback humano)

O que é RLHF e de onde vem o termo?

RLHF (sigla em inglês para reinforcement learning from human feedback, aprendizado por reforço com feedback humano) é uma forma de ajustar um modelo de linguagem usando as preferências de pessoas.

1. Ajuste fino supervisionado (SFT): o modelo aprende o formato de seguir instruções. 2. Modelo de recompensa: pessoas comparam respostas, e essas preferências treinam outro modelo, que dá uma nota a cada resposta. 3. Otimização por reforço: o modelo gera respostas, recebe as notas do modelo de recompensa e é ajustado para tirar notas mais altas.

Um levantamento acadêmico publicado em 17 de agosto de 2026 define o RLHF do mesmo jeito: treina-se um modelo de recompensa a partir de preferências humanas e depois se otimiza a política do modelo com reforço.

Origem. Segundo o RLHF Book, os primeiros experimentos de destaque com RLHF foram em aprendizado por reforço profundo, resumo de textos, seguimento de instruções, respostas a perguntas com informação da web e "alinhamento". O livro diz que o RLHF foi a técnica que viabilizou o sucesso do lançamento do ChatGPT. Por isso, por um tempo, o termo virou quase sinônimo de pós-treinamento.

Como o RLHF é usado hoje no pós-treinamento?

Hoje o RLHF é uma parte do pós-treinamento, não o processo inteiro.

O RLHF Book divide o pós-treinamento moderno em três métodos:

• Ajuste por instruções (SFT): ensina o formato e a base para seguir instruções.
• Ajuste por preferências: alinha o modelo às preferências humanas por RLHF e métodos parecidos. Cuida sobretudo de estilo e de preferências sutis, difíceis de medir.
• Aprendizado por reforço com recompensas verificáveis (RLVR): é o tipo mais novo. Aumenta o desempenho em áreas onde dá para checar a resposta.

Variações que você vai encontrar:

• RLAIF: outro sistema de IA avalia as respostas no lugar das pessoas, ou junto com elas. O levantamento de agosto de 2026 aponta que isso pode reduzir custos de anotação, mas traz riscos, como vieses que o avaliador e o modelo treinado têm em comum. Um levantamento publicado em 29 de setembro de 2026 afirma que o RLAIF pode alcançar desempenho comparável ao RLHF em determinados cenários. A versão em preprint do RLHF Book no arXiv resume a diferença assim: dados humanos têm muito ruído e pouco viés; dados sintéticos têm pouco ruído e muito viés.
• IA constitucional (Constitutional AI): é uma forma de RLAIF. Um conjunto de princípios escritos por pessoas, a "constituição", serve para criticar e revisar respostas e para gerar pares de preferência. Segundo o preprint, a Anthropic usa esse método extensivamente nos modelos Claude. O mesmo texto registra que a OpenAI publicou um documento de comportamento esperado, o Model Spec, e treinou modelos de raciocínio com um método chamado Deliberative Alignment, que consulta políticas de segurança e comportamento. O preprint vê nisso um parente próximo da IA constitucional.
• RLVR: segue um roteiro parecido com o do RLHF, mas o modelo de recompensa passa a ser opcional. No lugar dele entra uma função que dá recompensa positiva quando a resposta está correta e 0 quando não está. Em código, por exemplo, a checagem pode ser um teste unitário.

Quais são as confusões comuns sobre RLHF?

• "O RLHF faz o modelo entender o que as pessoas querem." Não exatamente. O modelo é ajustado para tirar notas altas de um modelo de recompensa, e esse modelo é só uma aproximação das preferências humanas. O RLHF Book lembra que essa etapa envolve modelos de recompensa "substitutos" do objetivo real e dados com mais ruído.
• "Recompensa alta é resposta boa." Nem sempre. O risco tem nome: reward hacking. O modelo aprende a maximizar a nota sem cumprir o objetivo pretendido. O levantamento de agosto de 2026 liga o problema a inconsistências entre avaliadores, limites das anotações e generalização imperfeita do modelo de recompensa.
• "RLHF é o mesmo que pós-treinamento." Hoje, não. É uma das etapas, ao lado do ajuste por instruções e do RLVR.
• "RLAIF e IA constitucional são coisas opostas." A IA constitucional é um tipo de RLAIF: as duas usam avaliações geradas por IA.
• "Dá para saber o método pelo jeito como o modelo responde." Não dá. Comportamento, preço ou posição em ranking não revelam como um modelo foi alinhado. A fonte confiável é a documentação do laboratório.

O que isso muda para você. Mesmo depois do RLHF, um modelo pode dar respostas convincentes e erradas, a chamada alucinação. Compare mais de um modelo para a sua tarefa e confira sempre o que importa: saúde, dinheiro, lei e fatos.