PrismML: Startup Comprime LLM de 27 Bilhões de Parâmetros para Rodar Localmente no iPhone

No início de julho de 2026, a startup de inteligência artificial PrismML, uma spinout do prestigiado Caltech e financiada pela Khosla Ventures, revelou um avanço revolucionário para o mercado de Edge AI. A empresa conseguiu comprimir com sucesso o modelo Qwen 3.6 de 27 bilhões de parâmetros (da gigante Alibaba) — que originalmente consome cerca de 54 GB de armazenamento e memória — para rodar inteiramente no dispositivo (on-device) utilizando menos de 4 GB de RAM.

O maior triunfo tecnológico do PrismML é que o modelo comprimido não é esparso; todos os seus 27 bilhões de parâmetros permanecem ativos simultaneamente. Utilizando uma inovadora arquitetura de representação de pesos de 1-bit e valores ternários, a PrismML conseguiu abrir as portas para o uso de modelos de alta complexidade diretamente no hardware de dispositivos móveis de consumo, como o aguardado iPhone 17 Pro.

⟩_ O Desafio Técnico da Edge AI e a Solução de Pesos Ternários

Modelos de linguagem de grande porte (LLMs) são tradicionalmente medidos pelo número de parâmetros. Um modelo de 27 bilhões de parâmetros comumente requer representações numéricas em FP16 (meia precisão, ou 16 bits por parâmetro), o que exige pelo menos 54 GB de VRAM dedicados exclusivamente para carregar o modelo em memória de execução. Isso torna a sua execução em smartphones totalmente impraticável, visto que mesmo os aparelhos topo de linha mais recentes contam com apenas 8 GB ou 12 GB de RAM no total.

Para contornar essa barreira, a PrismML implementou uma técnica radical baseada em pesquisas avançadas de quantização extrema de 1-bit e redes neurais ternárias (TNNs). Em vez de representar cada peso como um número de ponto flutuante de 16 bits, o motor da PrismML comprime a representação de forma que cada peso assuma apenas um de três estados possíveis: -1, 0 ou +1. Essa arquitetura permite realizar multiplicações de matrizes com simples adições e subtrações binárias, reduzindo o custo computacional a frações do que o hardware tradicional consome e derrubando a necessidade de memória para menos de 4 GB.

⟩_ Mantendo Todos os Parâmetros Ativos sem Perda de Acurácia

Muitas técnicas de compressão mobile utilizam abordagens baseadas em "Pruning" (remoção de neurônios redundantes) ou arquiteturas esparsas de "Mistura de Especialistas" (MoE), onde apenas uma fração dos parâmetros (ex: 2B de 8B totais) é disparada a cada token. O problema dessas soluções é a redução substancial no raciocínio abstrato de alto nível.

A arquitetura de pesos ternários da PrismML mantém todos os 27B parâmetros em constante avaliação. Através de um processo de ajuste pós-treinamento (fine-tuning quantizado com perdas minimizadas), o modelo da PrismML preserva cerca de 95% da acurácia de benchmark original em lógica, codificação e compreensão contextual do Qwen 3.6 base, demonstrando que a quantização ternária é viável para sistemas complexos.

⟩_ Exemplo Conceitual: Carregamento do Motor de Inferência Ternária do PrismML

Abaixo está uma demonstração conceitual de como o SDK móvel da PrismML carrega um modelo ternário em C++ diretamente no acelerador neural do chip Apple Silicon (A19 Pro):

#include <prismml_mobile.h>
#include <iostream>

int main() {
    // Configura os parâmetros do motor de inferência local
    PrismConfig config;
    config.model_path = "./qwen_3_6_27b_ternary.pml";
    config.device = DeviceType::APPLE_NEURAL_ENGINE;
    config.max_vram_limit_mb = 3500; // Limita o uso para menos de 3.5GB de RAM

    std::cout << "Inicializando motor de inferência PrismML..." << std::endl;
    PrismEngine engine(config);

    if (!engine.load()) {
        std::cerr << "Falha ao carregar o modelo comprimido." << std::endl;
        return -1;
    }

    std::cout << "Modelo de 27B parâmetros carregado com sucesso!" << std::endl;
    std::string prompt = "Escreva uma função recursiva de ordenação em Rust.";
    std::string response = engine.generate(prompt);

    std::cout << "Resposta da IA local: " << response << std::endl;
    return 0;
}

⟩_ Apple e o Interesse Estratégico na Apple Intelligence

Fontes de mercado relatam que a equipe executiva da Apple já se reuniu com pesquisadores e investidores da PrismML. A fabricante do iPhone tem interesse estratégico em integrar essa tecnologia à sua suíte de IA, a Apple Intelligence.

O motivo é simples: a execução on-device do iPhone atualmente é limitada a modelos pequenos (ao redor de 3B a 7B parâmetros). Modelos maiores exigem conexões constantes com o Private Cloud Compute (PCC) da Apple, sobrecarregando data centers e aumentando os custos de infraestrutura. Conseguir rodar um modelo de 27B parâmetros localmente no dispositivo significa que a Siri poderia resolver tarefas complexas e agênticas inteiramente sem internet, com latência zero e privacidade total dos dados do usuário.