#attention
3 articles about attention
Filtrer par thème
Tous#advanced#ai#allocation#associated-types#attention#azure#basics#beginner#beginners#blanket-implementations#borrow-checker#borrowing#bounds#box#branch-prediction#c#cache#clear#closures#code-duplication#collections#concurrence#concurrency#copy-on-write#cosmos-db#cow#dangling-pointer#data-races#deadlock#debugging#deduplication#desktop#developer-tools#dioxus#dispatch#drain#drop#dynamic-dispatch#embedded#embeddings#event-grid#filter#fine-tuning#flatten#fnmut#functions#gc#generic-types#generics#git#hashset#heap#heap-allocation#higher-order-functions#inline-assembly#integration#interfaces#into-iter#io-drivers#iterators#itérateurs#java#javascript#kql#library-design#lifetimes#llm#log-analytics#logic-apps#lora#machine-learning#matrix-multiplication#memory#memory-allocation#memory-safety#monomorphization#move#mémoire#object-safety#observability#optimization#opérateurs#ownership#performance#plugins#pointeurs-intelligents#polymorphisme#profiling#programming#python#rag#real-time#references#retain#rust#safety#service-bus#simd#sized#stack#stack-allocation#standard-library#state#static-dispatch#str#string#structs#supertraits#systems-programming#trait-bounds#trait-coherence#traits#transfer-learning#transformers#truncate#tutorial#type-safety#typescript#undefined-behavior#unsized#vec#vector-database#zero-cost-abstractions
llm27 septembre 2026
Épisode 1 : L'Attention, c'est juste 4 opérations mathématiques
Derrière les Transformers et le mécanisme d'attention, il n'y a que quatre opérations simples : multiplication matricielle, transposition, scaling et softmax. Les voici, en Rust.
llm27 septembre 2026
Épisode 2 : Q, K, V — Pourquoi 3 matrices et pas une seule ?
Query, Key, Value : pourquoi les vrais modèles projettent chaque mot dans trois espaces différents, et comment cette séparation des rôles rend l'attention plus fine.
llm27 septembre 2026
Épisode 3 : Embeddings — Absolus au départ, contextuels à l'arrivée
Un embedding, c'est le mot dans l'absolu ou dans son contexte ? Les deux, à des moments différents. Plus les trois détails d'ingénierie autour de l'attention : multi-head, masking et position encoding.