Back تحليل المفردات Arabic Anàlisi lèxica Catalan Lexikální analýza Czech Leksikalsk analyse Danish Lexikalische Analyse German Λεκτική ανάλυση Greek Lexical analysis English Analizador léxico Spanish تحلیل واژگانی FA ניתוח מילולי HE
« Tokenisation » redirige ici. Pour le procédé de sécurisation de données, voir Tokenisation (sécurité informatique).
En informatique, l’analyse lexicale, lexing ou tokenization est la conversion d’une chaîne de caractères (un texte) en une liste de symboles (tokens en anglais). Elle fait partie de la première phase de la chaîne de compilation. Ces symboles sont ensuite consommés lors de l'analyse syntaxique. Un programme réalisant une analyse lexicale est appelé un analyseur lexical, tokenizer[1] ou lexer. Un analyseur lexical est généralement combiné à un analyseur syntaxique pour analyser la syntaxe d'un texte.
- ↑ « Anatomy of a Compiler and The Tokenizer », sur www.cs.man.ac.uk (consulté le ).