Self-hosting de LLMs: valerá a pena hospedar o Kimi K3 em casa?
A IMEC analisou o custo-benefício de self-hosting do Kimi K3: cerca de 20% mais custo de hardware e 24 pontos percentuais mais tarefas resolvidas (86,4% contra 62,5%). Será que compensa?
Nos últimos meses, o meu custo de API de modelos tem disparado. Primeiro foram $50 por mês, depois $200, e quando olhei para a fatura de junho estava nos $700. Não estou sozinho — a Uber queimou o orçamento anual de ferramentas de IA em 4 meses. Os developers reportam saltos de $29 para $750 por mês.
A 29 de julho, a IMEC atualizou a sua análise de self-hosting de LLMs com o Kimi K3. Para quem está a considerar se vale a pena comprar GPUs em vez de pagar APIs, é a melhor análise que vi até agora.
Os números que interessam
A IMEC testou o Kimi K3 num nó de 8×B300 GPUs — cada uma com 288GB de HBM, para um total de 2.3TB por nó. O K3, com 1.4TB de weights, não cabe num nó de B200 (1.5TB total, sem margem para KV cache). Por isso o custo de hardware é cerca de 20% superior ao setup necessário para o GLM-5.2.
Em throughput, o K3 serviu 16 sessões concorrentes (contra 24 do GLM-5.2). O throughput agregado de tokens é 30% inferior: 122 tok/s contra 170. O tempo mediano de tarefa é 50% maior: 38 minutos contra 26. Comparado com o baseline do Claude Code via API, o K3 é 8 vezes mais lento.
Mas em qualidade, o K3 resolveu 86,4% das tarefas (uma amostra de 64 tarefas do SWE-Bench Pro) — 24 pontos percentuais acima do GLM-5.2 e do Claude Opus 4.8 (ambos 62.5%). A IMEC alerta que as tarefas podem estar nos dados de treino do K3, por isso o número deve ser tomado com cautela.
A economia do self-hosting
O artigo da IMEC vai além dos benchmarks e faz as contas, mas as mais interessantes são as da utilização. Dados publicados sobre cargas de inferência empresariais apontam para utilizações médias de GPU de 15–22%, e mesmo um deployment bem gerido raramente passa dos 25–35%.
Mas há um fator que a maioria das análises ignora: utilização. Um nó de GPUs alugado 24/7 que só é usado durante 8 horas por dia tem uma eficiência real de 33%. É como pagar por uma piscina olímpica para uma equipa que nada 8 horas por dia.
A IMEC conclui que uma máquina própria, contada só pelas horas em que trabalha de facto, fica em linha com o aluguer, e que a utilização conta muito: se o hardware estiver parado a maior parte do tempo, as APIs saem mais baratas.
Para quem faz sentido
Depois de ler o artigo, a minha conclusão é pragmática. Self-hosting do K3 faz sentido para: equipas de 15-30 developers (ordem de grandeza por confirmar) a trabalhar na mesma timezone (para maximizar utilização), empresas que processam dados sensíveis e não podem enviar código para APIs externas, e organizações com workloads de batch previsíveis.
Para um developer individual como eu, a API continua a ser mais barata. Mas a tendência é clara: os modelos open-weight estão a melhorar mais depressa do que a diferença de preço entre self-hosting e API. Daqui a um ano, a equação pode ser diferente.
Recursos adicionais
Partilhar
Comentários 0
Ainda sem comentários — sê o primeiro.