Hospedando o Mistral Large 3 Localmente com Ollama e vLLM

No universo dos modelos de linguagem abertos, a Mistral AI se consolidou como uma gigante ao disponibilizar o Mistral Large 3. O modelo apresenta capacidades de raciocínio lógico avançadas e suporte a 128K tokens de contexto. Para empresas que exigem soberania absoluta sobre seus dados confidenciais ou operam sob regras de segurança estritas que barram APIs de nuvem pública, hospedar o modelo localmente é a melhor saída. Veja como orquestrar a execução do Mistral Large 3 em servidores privados usando as engines do Ollama (para prototipagem) e do vLLM (para inferência concorrente de alta performance).

Hospedar modelos gigantes exige otimizações específicas na GPU para evitar gargalos na alocação de memória de vídeo (VRAM). O uso de algoritmos de quantização e PagedAttention é essencial para viabilizar taxas satisfatórias de tokens por segundo em produção.

⟩_ Escolhendo a Ferramenta Certa: Ollama ou vLLM?

Para ambientes de desenvolvimento local ou testes individuais na máquina de um engenheiro, o Ollama é a melhor escolha pela simplicidade de configuração. Ele abstrai a compilação de bibliotecas aceleradoras de GPU e expõe a API instantaneamente em apenas um comando.

No entanto, para sustentar múltiplos usuários acessando assistentes e robôs de bate-papo corporativos simultaneamente em servidores de produção, o Ollama esbarra em limitações de fila de requisições. É nesse cenário que o vLLM se faz obrigatório.

O vLLM utiliza a tecnologia PagedAttention, inspirada no conceito de paginação de memória virtual dos sistemas operacionais clássicos. Ele divide o espaço de cache de chaves/valores (KV Cache) em blocos não contíguos na VRAM da GPU, mitigando fragmentações de memória. Com isso, o vLLM consegue elevar a taxa de concorrência do Mistral Large 3 em até 10 vezes, permitindo dezenas de prompts simultâneos em um único cluster de GPUs NVIDIA A100.

⟩_ Executando o Servidor vLLM via Terminal

Veja como iniciar a engine do vLLM expondo uma API local compatível com a OpenAI, usando quantização AWQ de 4 bits para economizar VRAM na GPU:

# Comando Docker para iniciar a execução do Mistral Large 3 com vLLM
python3 -m vllm.entrypoints.openai.api_server \
  --model "mistralai/Mistral-Large-Instruct-2407" \
  --quantization awq \
  --tensor-parallel-size 2 \
  --port 8000 \
  --max-model-len 32768

> [!NOTE] > O parâmetro --tensor-parallel-size 2 distribui os cálculos lógicos do modelo por igual entre 2 GPUs físicas instaladas na máquina, agilizando as respostas.

⟩_ Conclusão

Hospedar o Mistral Large 3 em infraestrutura corporativa privada representa o ápice da maturidade de IA nas empresas. A combinação do vLLM com quantizações modernas viabiliza rodar modelos no nível de datacenters comerciais com máxima performance, reduzindo custos de assinatura e garantindo total conformidade legal.