Beam, 501B paramètres ouverts sous Apache 2.0

8 min de lecture · 3 min 33 d'écoute

Reflection publie Beam, son premier modèle open-weight, un MoE de 501 milliards de paramètres (23 milliards actifs) sous licence Apache 2.0, disponible sur Ollama Cloud en day-zero avec rétention.

Écouter le numéro du jour, 3 min 33

0:00 / 3:33

Veille du 17 octobre

0:00 / 3:33

Sommaire

En bref

  • Reflection publie Beam, son premier modèle open-weight, un MoE de 501 milliards de paramètres (23 milliards actifs) sous licence Apache 2.0, disponible sur Ollama Cloud en day-zero avec rétention nulle des données 117
  • Hugging Face documente le support day-0 de Beam dans transformers, SGLang et vLLM, avec des recettes d’inférence, de SFT et de RL fournies 17
  • NVIDIA et AI4Bharat annoncent Nemotron-pretraining-Indic-v1, environ 2,8 billions de jetons couvrant 22 langues indiennes, avec le pipeline de génération de données open source 16

Les signaux

Modèles

Beam, 501B paramètres ouverts sous Apache 2.0

Source primaire

Reflection sort Beam, un modèle à mélange d’experts de 501 milliards de paramètres totaux et 23 milliards actifs par jeton, avec une fenêtre de contexte de 1 million de jetons et une licence Apache 2.0 17. Le modèle cible l’écriture et la maintenance de code, l’usage d’outils sur plusieurs étapes et les tâches agentiques longues 1. Il est disponible dès le premier jour sur Ollama Cloud avec rétention nulle des données, ainsi que chez Baseten, Fireworks AI, Groq, Modal, Nebius, OpenRouter et Together AI 13.

Hugging Face livre une implémentation native dans transformers, le support dans vLLM et SGLang, et un harness Rust dédié 17. Les poids sont téléchargeables sur Amazon SageMaker AI, Google Cloud Model Garden, Hugging Face et Microsoft Foundry Models 3.

Outils

llama.cpp passe par une app Windows 11 sans ligne de commande

Produit

L’équipe de ggml-org, qui développe llama.cpp, propose Llama, une app Windows 11 logée dans la zone de notification qui télécharge les modèles GGUF et ouvre un chat local via Alt+Espace 2. L’installation se fait par un fichier .msixbundle récupéré dans les Releases du dépôt, et l’app réutilise un llama.exe déjà présent sur la machine ou en télécharge un 2. Deux limites sont documentées : le raccourci Alt+Espace n’est pas modifiable et Smart App Control bloque l’exécution 2.

Recherche

LEASH escalade vers un agent fort sur signal d’incertitude

Étude non relue par des pairs

LEASH est un framework sans entraînement qui utilise l’incertitude latente de l’agent faible pour décider quand passer la main à un agent fort, puis surveille ce dernier 8. Le papier part du constat qu’exécuter un modèle de frontière à chaque étape de tâches longues coûte cher, et qu’un petit modèle open-weight seul échoue souvent 8. La difficulté identifiée est de produire un signal d’incertitude assez bon marché pour être vérifié à chaque étape, y compris après le handoff où l’API en boîte noire de l’agent fort n’expose aucun interne 8.

Recherche

le cache KV distant dégrade la p99 sans sharding

Étude non relue par des pairs

Une étude mesure un tier de cache KV distant sur un déploiement désagrégé de GLM-5.3, modèle MoE FP8 avec attention multi-têtes latente, sur des nœuds 8xB300 en parallélisme de contexte de préremplissage 12. Activer le tier distant (LMCache avec un store Valkey) laisse la médiane du time-to-first-token inchangée mais fait passer la p99 à 16k jetons de 3,96 s à 17,3 s 12. Un hit distant prend 0,88 s contre 0,31 s pour recalculer le prompt, et le chargement synchrone transforme un flux à fort taux de hits en file instable, avec une p99 à 83,32 s et les GPU occupés à 7 % 12.

À retenir

  1. 501
    milliards de paramètres pour Beam, avec 23 milliards actifs par jeton et 1 million de jetons de contexte sous Apache 2.0 17
  2. 2,8
    billions de jetons dans Nemotron-pretraining-Indic-v1, sur 22 langues indiennes, avec le pipeline de génération publié 16
  3. 17,3
    s de p99 contre 3,96 s sans tier distant sur un cache KV partagé en préremplissage long contexte 12

Niveaux de preuve

  • Source primaire (1)L'auteur ou l'organisation concernée le dit directement.01
  • Étude non relue par des pairs (2)Un article de recherche publié sans relecture par d'autres chercheurs.03 04
  • Produit (5)Une annonce ou une page de l'éditeur du produit.02 Tuto Matos Fine-Tuning RAG
  • Opinion (1)Un point de vue, pas un fait établi.Prédictions
Tous les niveaux

Tuto du jour

Tuto / Outil : Llama, app Windows 11 de llama.cpp — https://korben.info/llama-windows-llm-local.html 2 Produit

Ce qu’on installe : Une application Windows 11 qui télécharge des modèles GGUF et ouvre un chat local, sans ligne de commande.

Prérequis hardware & commande : Aucun GPU/VRAM précisé ; récupérer le fichier .msixbundle dans les Releases du dépôt, double-cliquer dessus pour installer.

Matos & Infra local

Sujet Matos/Infra : Muse Spark Open, 816B paramètres (42B actifs), exécutable sur deux Apple M5 Ultra Mac Studios via MLX 3 Produit

Constat technique : Le modèle multimodal revendique un contexte de 1M tokens et tourne sur du matériel desktop Apple, avec poids disponibles sur Hugging Face et SageMaker 3.

Recommandation dev : Tester la configuration bi-Mac Studio en MLX avant d’envisager un rack GPU pour ce type de charge agentique.

Fine-Tuning & Quantiz

Technique / Outil : Recettes SFT et RL pour Beam, modèle MoE 501B (23B actifs) de Reflection, publiées avec Hugging Face 17 Produit

Apport : Support day-0 dans transformers, vLLM et SGLang, avec recettes d’inférence, de fine-tuning supervisé et d’apprentissage par renforcement pour personnaliser le modèle.

Impact pratique : Récupérer les poids sous licence Apache 2.0 et suivre les recettes fournies pour post-entraîner Beam sur ses propres cas d’usage.

RAG & Agents Locaux

Architecture / Outil : PS5LM, llama.cpp sur PS5 jailbreakée 4 Produit

Cas d’usage : servir un modèle GGUF (Qwen 3.8) en local depuis la GPU de la console, accessible aux appareils du réseau via API OpenAI/Anthropic, sans PC, cloud ni compte 4.

Clé de voûte : llama.cpp charge le GGUF sur la GPU de la console et l’expose comme serveur de modèles privé domestique 4.

Nos prédictions vérifiées

Partiellement tenu

Ce qu’on disait le 27 septembre 2026 : « les coding agents rendent le software engineering plus dur, pas plus simple » Opinion

Verdict aujourd’hui : partiellement tenu. La revue de code de l’équipe Claude Code décrite le 16 octobre 5 déplace la revue en continu plutôt qu’en fin de parcours, ce qui ne tranche pas la thèse mais documente une pratique où la vérification humaine reste requise après passage automatisé.

Sources (18)

Sources vérifiées le 17/10/2026 05:01 UTC · Notre méthode

Autres lectures (9)

V3ille — Sources : arXiv, GitHub Trending, Hugging Face Daily Papers, OpenAI, DeepMind, Google AI, IEEE Spectrum, The Robot Report.

Partager ce rapport :

Vous avez aimé ce rapport ?

Recevez les prochains directement dans votre boîte mail, chaque matin.

Zéro spam. Désabonnement instantané en 1 clic.