Développer des applications IA génératives avancées : du LLM aux agents autonomes

◦ Comprendre le moteur : architecture et fonctionnement des LLM (4h)
• Changement de paradigme de l'IA et évolution des LLM (lois d'échelle)
• Fondamentaux du traitement automatique du langage naturel (NLP)
• Transition vers l'ère post Deep Learning
• Architecture des Transformers et principes fondateurs
• Rôle de l'encodeur et du décodeur
• Tokenisation et algorithme Byte Pair Encoding (BPE)
• Fonctionnement de l'encodeur : embeddings et positionnement
• Mécanisme d'attention multi-têtes
• Spécialisation des têtes d'attention
• Fonctionnement du décodeur et auto-attention masquée
• Étapes d'entraînement d'un modèle Transformer
• Évolutions récentes : décodeur seul et encodage RoPE
• Nouvelles architectures : FlashMLA et Mixture of Experts (MoE)

◦ Stratégie de sélection et écosystèmes LLM (3h)
• Critères de sélection des modèles selon les cas d'usage
• Différences entre modèles encodeur (BERT) et décodeur (GPT)
• Panorama des modèles avancés (DeepSeek, GPT-4)
• Optimisation des modèles avec LLaMA
• APIs de modèles propriétaires (OpenAI, Anthropic)
• Utilisation du Hub Hugging Face
• Introduction à LangChain
• Outils LLMOps (type MLflow)
• Atelier : Configuration des environnements, accès aux APIs IA et prise en main des outils

◦ Design d'interactions : Prompt Engineering (4h)
• Notion de token et distribution probabiliste
• Paramétrage avancé (Top-K, Top-P, température)
• Structure d'un prompt efficace
• Instruction tuning et délimiteurs
• Décomposition des tâches complexes
• Techniques Zero-shot, One-shot, Few-shot
• Templates de prompts avec LangChain
• Chain-of-Thought
• Self-consistency
• Tree of Thoughts
• Atelier : Mise en œuvre des stratégies avancées de prompting

◦ Conception de systèmes augmentés (RAG et agents) (5h)
• Limites du prompt seul
• Gestion de la mémoire (court / long terme)
• Types de mémoire avec LangChain
• Architecture RAG
• Découpage des documents
• Génération d'embeddings
• Bases vectorielles
• Implémentation avec FAISS
• RAG avancé (Corrective / Adaptive)
• Agentic RAG
• Intégration d'outils externes
• Méthode ReAct
• Atelier : Création d'un chatbot avec RAG, mémoire et ReAct

◦ Fine-Tuning et déploiement (5h)
• Cas d'usage du Fine-Tuning
• Principes du réglage fin
• Supervised Fine-Tuning (SFT)
• RLHF
• Stratégies d'adaptation des modèles
• PEFT
• LoRA
• QLoRA
• Model Serving
• Model Registry
• Déploiement sur endpoint
• Évaluation des modèles (qualité, toxicité, tokens)
• Métriques de lisibilité et LLM-as-a-Judge
• Atelier : Fine-Tuning avec QLoRA, suivi avec MLflow et déploiement d'un modèle

Modalités pédagogiques

La formation s'appuie sur une pédagogie active et participative, alternant apports théoriques, démonstrations et mises en situation pratiques.

Les stagiaires sont sollicités tout au long de la session par des exercices d'application, des études de cas concrets et des temps d'échange permettant l'ancrage progressif des connaissances. Le formateur adapte son rythme et ses exemples au niveau du groupe et au contexte professionnel des participants.

En distanciel, la formation se déroule en classe virtuelle synchrone, via une plateforme de visioconférence permettant le partage d'écran, le travail en sous-groupes et l'interaction continue avec le formateur.

En présentiel, les exercices peuvent être réalisés individuellement ou en petits groupes selon les objectifs pédagogiques de chaque séquence.

Moyens et supports pédagogiques

Chaque stagiaire dispose d'un support de cours numérique reprenant l'ensemble des contenus abordés, complété par les exercices pratiques et les ressources complémentaires utilisées pendant la session. Ce support est transmis à l'issue de la formation et reste accessible au stagiaire pour consultation ultérieure.

En présentiel, une salle équipée d'un vidéoprojecteur, d’ordinateurs et d'une connexion internet est mise à disposition.

En distanciel, la formation s'appuie sur une plateforme de classe virtuelle (lien d'accès transmis avec la convocation), accessible depuis un ordinateur muni d'un micro, d'une caméra et d'une connexion internet stable. Les exercices et études de cas sont partagés en temps réel via la plateforme. L'ensemble des supports pédagogiques est conçu par le formateur ou par Algorythme Formation et reste leur propriété exclusive.

Modalités d'évaluation et de suivi

L'atteinte des objectifs est mesurée par une auto-évaluation de l'apprenant, réalisée en entrée et en sortie de formation. Pour chaque objectif pédagogique, l'apprenant évalue son niveau de maîtrise sur une échelle de 0 à 10. L'écart entrée / sortie matérialise la progression et l'atteinte des objectifs.

À l'issue de la session, une synthèse (niveaux avant / après et commentaire du formateur) est transmise au commanditaire.

Le suivi administratif est assuré par la signature d'une feuille de présence à chaque demi-journée. Un certificat de réalisation est remis à l'apprenant ayant suivi l'intégralité de la formation.

Un questionnaire de satisfaction à chaud, distinct, recueille le ressenti de l'apprenant (et non les acquis).

Modalités et délais d'accès

L'inscription se fait par contact direct avec Algorythme Formation (téléphone, email ou formulaire en ligne). Un échange préalable est organisé pour vérifier l'adéquation entre les objectifs de la formation, les prérequis et le profil du candidat. Un devis et un programme détaillé sont ensuite transmis. Une fois le devis accepté, une convention de formation (ou un contrat de formation pour les particuliers) est signée entre les parties.

Accès au lieu de formation : les modalités précises d'accès sont communiquées à chaque stagiaire au plus tard 10 jours ouvrés avant le début de la formation, par l'envoi d'une convocation détaillée. Pour les formations en présentiel, cette convocation précise l'adresse exacte de la salle, les indications d'accès (transports, parking) et les horaires d'arrivée. Pour les formations en distanciel, elle contient le lien de connexion à la classe virtuelle, les identifiants d'accès le cas échéant, ainsi que les prérequis techniques (navigateur, micro, caméra, débit internet).

Accessibilité aux personnes en situation de handicap : tout besoin d'adaptation doit être signalé dès l'inscription afin d'étudier les aménagements possibles. Le référent handicap d'Algorythme Formation est Mathieu Piron-Lafleur (mathieu@algorythme-formation.fr).

Délai d'accès : le délai entre la demande d'inscription et le démarrage effectif de la formation est de 10 jours ouvrés minimum. Ce délai peut être plus long si la session demandée n'est pas encore programmée ou si une ingénierie sur mesure est nécessaire (jusqu'à 2 mois). À l'inverse, il peut être raccourci sur accord des parties dans le cas de formations intra-entreprise urgentes.

Conformément à la réglementation (loi du 11 Février 2005 et Articles D.5211-1 et suivants du code du travail), Algorythme Formation s’engage à répondre aux besoins particuliers des stagiaires en situation de handicap en proposant des aménagements en termes de durée, rythme, méthodes et supports pédagogiques...).

Le cas échéant, l’organisme de formation pourra mobiliser des compétences externes (Centre de Ressources Formation Handicap, P.A.S AGEFIPH-FIPHFP) et les ressources AD HOC (ACCEA, EPATECH,..) pour la recherche de solutions permettant l’accès aux formations.