Motor open-source corre Gemma 4 26B em 2GB RAM em qualquer M-series Mac
Turbo-Fieldfare é um motor de inferência open-source que corre o Gemma 4 26B em apenas 2GB de RAM em Macs M-series. 594 pontos no HN.
No mês passado andei a testar formas de correr modelos locais no meu MacBook M1 com 16GB de RAM. O Llama 3 8B corre bem. O Qwen2.5 14B já precisa de swap. Qualquer coisa acima de 20B de parâmetros era impossível — até agora.
A 29 de julho de 2026, o utilizador drumih publicou no GitHub o TurboFieldfare, um motor de inferência escrito em Swift e Metal que corre o Gemma 4 26B em apenas 2GB de RAM. O post chegou à frontpage do Hacker News com 594 pontos. Testei-o no meu M1 e o resultado é… surpreendente.
Como é possível
O Gemma 4 26B-A4B ocupa 14,3 GB. O TurboFieldfare não tenta carregá-lo todo em RAM. Em vez disso, mantém o core partilhado de 1.35GB e o KV cache em FP16 na memória. Os experts — que no Gemma 4 são um MoE — são carregados do SSD à medida que cada token precisa deles. Só os que são ativados entram em RAM.
É o mesmo princípio que os modelos MoE usam nos datacenters, mas adaptado ao storage local de um Mac. O SSD dos Apple Silicon é rápido o suficiente para que o streaming de experts não se torne o bottleneck principal.
O runtime, o CLI, o instalador e a app nativa são escritos em Swift e Metal. Nada de MLX, nada de llama.cpp. É model-specific — otimizado exclusivamente para o Gemma 4. O autor documentou 103 experiências de otimização, cobrindo kernels, caching, I/O, prefill e decode.
O que isto significa
A implicação mais interessante é prática. Um MacBook Air M2 de 8GB — a máquina mais barata da Apple — consegue correr um modelo de 26B parâmetros. Não é rápido: o autor mediu 5,1 a 6,3 tokens por segundo num MacBook Air M2 de 8 GB (e 31 a 35 num M5 Pro de 24 GB). Mas para tarefas de batch processing ou para um assistente de coding local que corre em background, é mais do que suficiente.
Isto muda a equação do self-hosting para developers independentes. Até agora, modelos grandes implicavam GPUs caras ou APIs pay-per-token. Com o TurboFieldfare, o hardware que já tens no colo passa a ser suficiente para inference de um modelo com qualidade que, segundo o autor, é comparável ao GPT-4 original (por confirmar).
O código está disponível sob Apache 2.0. Compila com Swift 6.2 e requer macOS 26 ou superior. O autor também incluiu um servidor OpenAI-compatible, para poderes usar o modelo com o OpenCode, Continue ou qualquer cliente que fale a API da OpenAI.
As limitações
Um utilizador no HN correu um scan de segurança ao repositório e não encontrou malware ou backdoors. Mas o projeto é novo, o autor é um indivíduo e não uma equipa, e o código é model-specific — se quiseres correr outro modelo, precisas de um motor diferente.
A velocidade também não é competitiva com GPUs. Para uso interativo em tempo real, continua a ser preferível usar uma API. Mas para processamento offline, experimentação ou situações onde a privacidade dos dados é crítica, o TurboFieldfare é exatamente o tipo de ferramenta que faltava.
Recursos adicionais
Partilhar
Comentários 0
Ainda sem comentários — sê o primeiro.