Déploiement de l'IA en périphérie pour les équipes embarquées et IoT

Ce qu'elle couvre

Ce programme de niveau praticien donne aux ingénieurs embarqués et IoT toutes les compétences nécessaires pour mettre en production des inférences IA sur du matériel contraint. Les participants travaillent en pratique avec ONNX, TensorFlow Lite, Core ML et des runtimes LLM edge comme Llama.cpp et llamafile, en couvrant la quantisation, l'élagage et les optimisations spécifiques au matériel. Les sessions abordent les contraintes réelles : budget batterie, limitation thermique, mémoire restreinte et mises à jour de modèles en OTA. Le format combine des modules conceptuels courts avec des exercices de laboratoire sur des appareils physiques ou émulés.

À l'issue, vous saurez

• Convertir un modèle PyTorch ou TensorFlow entraîné en formats ONNX, TFLite et Core ML, et valider la parité entre runtimes
• Appliquer la quantification post-entraînement INT8 et mesurer les compromis précision-latence sur un appareil cible
• Exécuter un LLM quantifié (Llama.cpp ou llamafile) sur un appareil edge et profiler les tokens-par-seconde par rapport aux budgets thermique et batterie
• Concevoir et implémenter un pipeline d'inférence économe en énergie respectant les contraintes de cycle de travail sur matériel alimenté par batterie
• Construire et exécuter un workflow de mise à jour de modèle OTA avec sécurité de rollback sur un appareil IoT représentatif

Sujets abordés

• Conversion de modèles et interopérabilité : ONNX, TensorFlow Lite, Core ML
• Quantification (INT8, FP16) et élagage structuré pour cibles edge
• Runtimes LLM edge : Llama.cpp, llamafile, MLC LLM
• Accélérateurs matériels : NPUs, DSPs, microcontrôleurs GPU (ARM Ethos, Apple Neural Engine)
• Analyse de budget batterie et ordonnancement d'inférence économe en énergie
• Gestion thermique et stratégies de limitation
• Mises à jour de modèles OTA et versioning sur appareils contraints
• Benchmarking de la latence, débit et empreinte mémoire sur matériel réel

Modalité

Livré sous forme d'un bootcamp intensif de 3 à 5 jours, sur site ou à distance avec kits matériels expédiés aux participants à l'avance. Environ 60 % de travaux pratiques en laboratoire, 40 % d'instruction guidée. Les participants reçoivent une carte de référence (p. ex. Raspberry Pi 5 ou kit de développement STM32) ou utilisent leur propre plateforme cible. Les labos utilisent des chaînes d'outils basées sur Docker pour minimiser les frictions de configuration. La livraison à distance utilise le matériel cloud partagé via SSH lorsque l'expédition physique n'est pas possible.

Ce qui fait que ça marche

• Commencer par un benchmark hardware-in-the-loop au début du projet pour fixer les contraintes réalistes avant la sélection du modèle
• Adopter une discipline de fiche de modèle enregistrant la précision, la latence, la consommation d'énergie et le comportement thermique pour chaque modèle candidat
• Impliquer les ingénieurs firmware et ML dans des revues de conception conjointes afin que les budgets énergétiques soient convenus avant l'entraînement
• Utiliser des tests de régression automatisés qui exécutent le pipeline d'inférence sur l'appareil cible en CI/CD, détectant les régressions avant la release

Erreurs fréquentes

• Tenter de déployer des modèles en précision complète FP32 sans quantification, puis découvrir que l'appareil manque de budget mémoire et calcul au moment de l'intégration
• Ignorer la limitation thermique lors d'inférence soutenue, entraînant des pics de latence imprévisibles en production
• Traiter la précision du modèle sur benchmarks de bureau comme proxy pour la précision sur appareil sans re-validation après quantification
• Ignorer la planification de mise à jour OTA jusqu'à tard dans le cycle de vie du produit, aboutissant à des processus de reflashing manuels fragiles

Fournisseurs à considérer

• Edge Impulse (training & certification)www.edgeimpulse.com/experts →
• Coursera, AI on the Edge Specialization (Duke University)www.coursera.org/specializations/ai-on-the-edge →
• Arm Education, ML on Arm learning pathslearn.arm.com/learning-paths/cross-platform/ml-on-arm →
• DeepLearning.AI, AI on the Edge courseswww.deeplearning.ai/short-courses/ →

Sources

• TensorFlow Lite documentation, On-device ML →
• Llama.cpp, Local inference for large language models →

Autres formations à ce niveau

• Fondations data pour l'IA →
• Programme AI Champions, 6 semaines →
• IA pour la prospection et l'outreach commercial →
• IA pour le contenu marketing et le SEO →