Parâmetros de modelo de IA: o que são os bilhões

Nesta página

Em resumo

Parâmetros de um modelo de IA são os valores numéricos ajustados durante o treinamento, principalmente os pesos e vieses da rede neural. Eles definem como o modelo transforma a entrada em resposta. Um modelo de 70 bilhões de parâmetros tem cerca de 70 bilhões desses valores. Mais parâmetros aumentam a capacidade potencial, mas não garantem qualidade.

70B significa cerca de 70 bilhões de valores ajustáveis, não 70 bilhões de fatos ou conceitos.
Em modelos MoE, só parte dos parâmetros (os ativos) trabalha em cada token; a memória exige todos os totais.
Mais parâmetros não garantem qualidade: dados, arquitetura e pós-treinamento pesam, e é preciso testar na sua tarefa.

140 GBpesos de um modelo denso de 70B em FP16/BF16

35 GBpesos de um modelo denso de 70B em INT4

280 GBpesos de um modelo denso de 70B em FP32

52 bilhõesparâmetros ativos em modelo MoE de cerca de 1 trilhão totais (Epoch AI)

Fonte principal: Documentação da família Gemma (Google AI for Developers) ↗

O que são parâmetros em um modelo de IA?

Parâmetros são os números que o modelo ajusta enquanto é treinado. Juntos, eles determinam como uma sequência de texto de entrada vira uma previsão de saída.

🌱 Para quem está começando: "70 bilhões de parâmetros" quer dizer cerca de 70 bilhões de valores ajustáveis. Não quer dizer 70 bilhões de fatos, de conceitos ou de linhas de código.

🔎 O que entra nessa conta: são principalmente os pesos e os vieses da rede neural. Por isso, quando um laboratório publica os pesos de um modelo, está publicando esses parâmetros. Isso se chama pesos abertos (open weights).

Tamanho em memória. O espaço ocupado depende de quantos parâmetros existem e da precisão numérica usada para guardar cada um. A regra geral de cálculo é esta:

FP32: cerca de 4 bytes por parâmetro;
FP16 ou BF16: cerca de 2 bytes;
INT8: cerca de 1 byte;
INT4: cerca de meio byte.

Um modelo denso de 70B ocuparia, só com os pesos, cerca de 280 GB em FP32, 140 GB em FP16/BF16, 70 GB em INT8 e 35 GB em INT4. São estimativas de armazenamento, não do que é preciso para rodar o modelo. A execução também usa memória para o contexto, o cache de atenção e outros componentes. Reduzir a precisão dos pesos se chama quantização.

Como se lê 7B, 70B ou 1T nos parâmetros de modelo de IA?

A sigla. "B" vem de billion (bilhão) e "T", de trillion (trilhão). Uma leitura aproximada das faixas:

1B: modelo pequeno. Pode servir para tarefas simples e rodar no próprio computador.
7B a 14B: faixa comum em modelos compactos, locais ou especializados.
30B a 70B: mais capacidade, com mais exigência de memória e processamento.
100B a 1T ou mais: modelos muito grandes, muitas vezes de fronteira ou do tipo MoE.

Essas faixas descrevem escala. Não são uma classificação de qualidade.

🔎 Total e ativo. Em um modelo denso, quase todos os parâmetros trabalham em cada token. O token é o pedaço de texto que o modelo processa. Em um modelo mixture-of-experts (MoE, "mistura de especialistas"), só uma parte dos parâmetros é usada em cada token. A base pública da Epoch AI registra, por exemplo, modelos com cerca de 1 trilhão de parâmetros totais e 52 bilhões ativos.

Na prática, essa diferença tem três efeitos:

Memória: todos os pesos totais precisam estar disponíveis, mesmo que só parte seja usada em cada token. A exceção são estratégias específicas de descarregamento.
Computação: o esforço de cálculo por token fica mais perto do número de parâmetros ativos. Isso afeta o custo de computação do provedor. Não define necessariamente o preço que você paga.
Comparação: fichas técnicas sérias mostram os dois números separados.

Exemplos atuais (verificado em nov/2026):

Google: a documentação da família Gemma 4 lista variantes de 2B, 4B, 12B e 31B. Lista também uma variante que separa parâmetros totais e ativos (26B e 4B). Não encontramos fonte oficial atual com preço de API ou hardware recomendado para essas variantes.
Alibaba (Qwen): alguns modelos trazem o tamanho no próprio nome. Na lista oficial de preços aparecem "qwen3.8 27b" e "qwen3.8 2.4t a95b". Não encontramos ficha técnica oficial atual que confirme a contagem de parâmetros desses modelos.

Mais parâmetros significa um modelo melhor?

Não necessariamente. Mantidos os mesmos dados e o mesmo método de treinamento, modelos maiores tendem a ir melhor em muitas tarefas. Essa é a ideia das leis de escala (scaling laws). Mas o ganho não é linear. Ele depende também de:

qualidade e quantidade dos dados;
arquitetura;
pós-treinamento;
uso de ferramentas;
forma como o modelo é avaliado.

O AI Index 2026, do Stanford HAI, traz um exemplo na seção de pesquisa e desenvolvimento. Um modelo de 32B, com quase 90 vezes menos parâmetros que um modelo de fronteira muito maior, chegou a resultados comparáveis em vários benchmarks. O relatório atribui isso, entre outros fatores, a poda, deduplicação e curadoria de dados. O modelo grande da comparação é de uma geração anterior. O material que consultamos não detalha quais benchmarks nem os números de cada um.

Confusões comuns:

Parâmetros não são tokens. Os tokens são o texto processado na entrada e na saída.
Parâmetros não são janela de contexto. A janela é o máximo de tokens que o modelo considera em um pedido.
Parâmetros não definem o preço. As páginas oficiais cobram por milhão de tokens e quase nunca informam parâmetros.
Muitos laboratórios não divulgam o número. O mesmo relatório de Stanford registra que vários laboratórios de fronteira, incluindo OpenAI, Anthropic e Google, deixaram de divulgar contagens de parâmetros. Modelos abertos como a família Gemma 4 seguem informando.

Os preços de API por milhão de tokens mudam com frequência: veja a comparação de preços de API.

🚀 Para quem quer comparar:

Veja a versão exata do modelo.
Procure os parâmetros totais e os ativos.
Confirme se o resultado é do modelo-base ou de uma variante Instruct. O painel da Epoch AI faz essa distinção.
Confira a data e o método do teste.
Teste os modelos na sua própria tarefa. Nenhum número de parâmetros substitui esse teste.

Perguntas frequentes

Um modelo de 70 bilhões de parâmetros sabe 70 bilhões de coisas?

Não. São cerca de 70 bilhões de valores numéricos ajustados no treinamento. Eles não correspondem a fatos ou conceitos guardados um a um.

O que são parâmetros ativos?

Em modelos do tipo mixture-of-experts (MoE), só parte dos parâmetros é usada em cada token. Esses são os ativos. A Epoch AI registra modelos com cerca de 1 trilhão de parâmetros totais e 52 bilhões ativos.

Por que a OpenAI, a Anthropic e o Google não dizem quantos parâmetros seus modelos têm?

O AI Index 2026, de Stanford, registra que vários laboratórios de fronteira, incluindo esses três, deixaram de divulgar contagens de parâmetros. Modelos abertos, como a família Gemma 4, continuam informando os tamanhos.

Posso escolher um modelo só pelo número de parâmetros?

Não é uma boa ideia. Compare a versão exata, o preço por milhão de tokens, a janela de contexto e resultados de testes com data. O mais importante é testar mais de um modelo na sua tarefa.