Tous les parcours

Les LLM depuis zéro

Comment fonctionne un modèle de langage, une opération à la fois : attention, requêtes, clés et valeurs, embeddings, transfer learning et bases vectorielles.

7 articles · environ 19 min de lecture

0 sur 7 lus

Commencer par l'étape 1

Un LLM, pièce par pièce

  1. Étape 1: Épisode 0 : Pourquoi coder les LLM from scratchComprendre comment fonctionnent les LLM sans doctorat en mathématiques : la promesse de la série, ce que tu vas apprendre, et l'idée qui relie tous les épisodes.2 min
  2. Étape 2: Épisode 1 : L'Attention, c'est juste 4 opérations mathématiquesDerrière les Transformers et le mécanisme d'attention, il n'y a que quatre opérations simples : multiplication matricielle, transposition, scaling et softmax. Les voici, en Rust.5 min
  3. Étape 3: Épisode 2 : Q, K, V — Pourquoi 3 matrices et pas une seule ?Query, Key, Value : pourquoi les vrais modèles projettent chaque mot dans trois espaces différents, et comment cette séparation des rôles rend l'attention plus fine.2 min
  4. Étape 4: Épisode 3 : Embeddings — Absolus au départ, contextuels à l'arrivéeUn embedding, c'est le mot dans l'absolu ou dans son contexte ? Les deux, à des moments différents. Plus les trois détails d'ingénierie autour de l'attention : multi-head, masking et position encoding.3 min
  5. Étape 5: Épisode 4 : Le Transfer Learning — Réutiliser un savoir existantPourquoi personne n'entraîne un modèle à partir de zéro : d'où vient le transfer learning, ce qu'il fait gagner, et ses trois stratégies — feature extraction, fine-tuning et LoRA.2 min
  6. Étape 6: Épisode 5 : Les concepts clés autour du Transfer LearningPré-entraînement, fine-tuning, oubli catastrophique, freezing, domain shift et learning rate : les notions du transfer learning qu'on entend souvent, expliquées simplement avec une analogie pour chacune.2 min
  7. Étape 7: Épisode 6 : Embeddings et bases vectoriellesDes mots-clés au sens : comment les embeddings et la similarité cosinus permettent de chercher par proximité, pourquoi il faut une base vectorielle, et comment tout s'assemble en un RAG.3 min