Quantification GGUF : Q4_K_M, Q5_K_M, Q6_K ou Q8_0 — comment choisir sans casser la qualité
Le guide concret pour choisir votre quant GGUF en 2026 : bits par poids, impact sur la perplexité, imatrix, et tableau VRAM/qualité. Un Llama 3.1 8B passe de 32 Go en F32 à 4,9 Go en Q4_K_M.
RAG local avec Ollama : un assistant qui lit VOS documents, 100% hors-ligne
Construire un assistant RAG privacy-first sur vos propres documents : embeddings, base vectorielle, chunking et LLM local. Avec qwen3-embedding qui atteint 70,58 au MTEB multilingue, le local rivalise enfin avec les API commerciales.
Runtimes LLM local en 2026 : llama.cpp, Ollama, vLLM, LM Studio, TGI, lequel choisir ?
Comparatif honnête des moteurs d'inférence LLM local en 2026 : vLLM atteint ~793 tok/s en charge concurrente contre ~41 pour Ollama, mais à un utilisateur l'écart tombe sous 10 %. Quand utiliser chacun.