Quando vi o título no Hacker News — "OpenAI reduces Codex Model Context Size from 372k to 272k" — a minha primeira reação foi estranheza. 282 pontos, 136 comentários, e um PR no GitHub que parecia ser um backport menor de metadados. O que é que eu estava a perder?
O commit é simples: um backport para a linha release/0.144 que atualiza metadados do modelo GPT-5.6, incluindo o tamanho da janela de contexto. Nada de código novo. Apenas um número que desceu: de 372k para 272k tokens.
Contrariando o dogma de que contexto maior é sempre melhor, contexto grande tem custos reais: latência que escala linearmente, custos de input tokens, e atenção diluída do modelo. Quanto mais tokens, mais ruído o modelo tem de filtrar.
O trade-off que faz sentido
O Codex não é um chatbot de uso geral. É um agente que trabalha sobre bases de código. O contexto de 272k tokens permite incluir o conteúdo relevante do repositório sem arrastar ruído de dependências ou logs.
A decisão da OpenAI alinha-se com investigação recente que mostra que o desempenho em tarefas específicas pode degradar-se quando o contexto ultrapassa um certo limiar.
Comentários (0)
Nenhum comentário ainda. Seja o primeiro!
Deixar comentário