ComfyUI, Hugging Face, Ollama
faire tourner de l'IA en local

Trois outils, trois rôles

« Faire tourner de l'IA en local » ne veut rien dire tant qu'on n'a pas séparé les métiers. Chez nous, trois briques se partagent le travail :

Pourquoi un Mac Studio, et pas un serveur

Un Mac Studio M4 Max dispose de 36 Go de mémoire unifiée : le processeur et le GPU partagent le même espace. Un modèle de plusieurs gigaoctets n'a donc pas besoin de tenir dans une VRAM séparée, il tient dans la mémoire de la machine, et le GPU y accède directement.

Ajoutez le silence, la consommation d'une box et un démarrage instantané : pour un atelier de production visuelle, c'est la bonne machine. Pour un service qui doit répondre à mille utilisateurs simultanés, ce ne l'est pas, et nous ne lui demandons pas cela.

Ce que nous y faisons tourner

• FLUX.2-klein 4B pour les visuels de production : un modèle de diffusion récent, avec son encodeur de texte dédié, les mélanger produit des images vides ou des erreurs de dimensions.
• Z-Image Turbo pour les itérations rapides : moins de steps, des rendus plus grossiers, mais de quoi valider un cadrage en deux minutes au lieu de dix.
• bge-m3 sous Ollama pour les embeddings : c'est lui qui transforme un document en vecteurs interrogeables dans notre base Qdrant.

Les pièges qui coûtent une soirée

• Un modèle « téléchargé » qui pèse 15 octets les dépôts sous licence renvoient une page HTML d'erreur au lieu du fichier. `curl` dit « succès », l'erreur n'apparaît qu'à la génération. Toujours vérifier la taille.
• Les 4 étapes qui rendent du blanc un réglage calé pour un portrait ne suffit pas pour une scène détaillée. Douze étapes, pas quatre.
• Deux familles de modèles dans la même file charger un modèle vidéo à côté d'un modèle d'image fait tomber le serveur. On vide la file et on redémarre entre deux familles.
• Le format fp8 sur Apple Silicon certaines variantes quantifiées ne sont pas supportées par le backend Metal : il faut la version bf16, plus lourde mais fonctionnelle.

Et les machines virtuelles, dans tout ça

Le Mac produit les images ; il n'orchestre pas. L'orchestration, les appels d'API, les files d'attente, les conversions, les sauvegardes, vit dans des machines virtuelles, avec un système dédié à chaque tâche : une VM pour l'API, une pour la base vectorielle, une pour les traitements par lots.

Ce découpage a un coût (mémoire, administration) et un bénéfice qui le dépasse largement : une mise à jour ratée ne casse qu'une brique, un instantané permet de revenir en arrière en trente secondes, et chaque service garde ses propres versions de bibliothèques. Sur une machine unique, tout le monde partage les mêmes, et c'est la panne assurée.

La règle que nous nous imposons

Aucun modèle n'entre en production sans que l'on connaisse sa taille, sa licence et son origine. Un modèle, c'est du code qui s'exécute : il se traite comme une dépendance, avec la même exigence de version et de provenance.