llama.cpp tourne sur PS5 jailbreakée comme serveur local

PS5LM charge un modèle GGUF sur le GPU de la console et le sert à un laptop, un téléphone ou des outils de code, sans PC, sans cloud et sans compte pendant l’exécution ¹. Le projet démarre avec Qwen 3.8 et expose les API OpenAI et Anthropic, avec une interface TV pour Home, Models, Console, API et Settings ¹. Il ajoute des modèles de décision (d1, Clef, OpenJev) sur GPU, derrière la même route /v1/systemone qu’Ollaya, avec des décisions typées et des probabilités calibrées ¹.

L’app de ggml-org se loge dans la zone de notification, récupère le fichier .msixbundle dans les Releases et s’installe par double-clic ². Elle réutilise un llama.exe déjà présent sur la machine, sinon elle en télécharge un ². Deux limites : le raccourci Alt+Espace n’est pas modifiable et Smart App Control bloque l’installation ².

Sur GLM-5.3 en FP8 avec MLA, sur 8xB300 en prefill context parallelism PCP8, activer le tier distant LMCache avec Valkey laisse la médiane du time-to-first-token inchangée mais porte la p99 à 16k jetons de 3,96 s à 17,3 s ¹⁵. Un hit distant prend 0,88 s contre 0,31 s pour recalculer le prompt, et le chargement synchrone transforme un flux à forte proportion de hits en file instable, avec une p99 à 83,32 s et les GPU occupés à 7 % ¹⁵. Le modèle de coût à deux termes conditionne le gain du hit au débit du tier au-delà de B* = sR ¹⁵.

Les états cachés encodent l’information de tâche avant que le readout ne l’exprime, donc les timelines comportementales mesurent l’apprentissage du readout et non l’acquisition de la capacité ¹². Le parameter-trajectory crosscoding ajuste un dictionnaire sparse sur la ligne de readout de chaque token à chaque checkpoint, sans activations ¹². Appliqué à Pythia, il localise une fenêtre étroite entre 0,4 % et 1,1 % du pré-entraînement où le readout se réorganise et où les catégories WordNet deviennent décodables ¹².