Analyse lexicale avec Lex ou Flex ³

Structure du fichier Lex

Le fichier Lex peut se décomposer en trois parties, séparées chacune par une ligne qui ne comporte que deux signes pourcent (%%).

%{
//declarations en C
%}
//declarations Lex
%%
//regles de traduction
%%
//code C additionnel

Pour le code additionnel, ainsi que pour les méthodes utilisées dans les règles de traductions, nous utiliserons le langage C.

Table des matières Haut

Exemple de fichier Lex

%{
#include <stdio.h>
int lineNbr=0;
%}
 
%%
"\n"  {++lineNbr;}
.     {}
 
%%
int main()
{
  yylex();
  printf("%d lines found\n",lineNbr);
  return 0;
}

Ce fichier Lex nous permet de compter le nombre de lignes rencontrées dans le fichier analysé.
Il capture l'expression \n et associe comme action l'incrémentation⁴ de notre compteur lineNbr.
Pour tout autre caractère⁵ nous n'associons aucune action.

Table des matières Haut

Première partie du fichier Lex : déclarations

Deuxième partie du fichier Lex : productions

Nous retrouverons ici les les règles de traduction de la grammaire, chaque règle étant composée d'une production suivie le plus souvent par l'action sémantique qui correspond.

Table des matières Haut

Troisième partie du fichier Lex : code

Si nous ne spécifions pas une fonction main, celle par défaut de la bibliothèque Lex sera utilisée. La fonction main par défaut de la bibliothèque Lex se contente de boucler sur un appel de la fonction yylex jusqu'à la fin du fichier, et dans ce cas elle renvoie la valeur 0.

Table des matières Haut

Commandes Lex à exécuter

Voici un exemple d'utilisation des commandes Lex ou Flex.

steph@astate:∼$ cd /mnt/steph_docs/FUNDP/lsd010
steph@astate:/mnt/steph_docs/FUNDP/lsd010$ flex *l
steph@astate:/mnt/steph_docs/FUNDP/lsd010$

Reprenons notre exemple (fichier test.l)... Une fois que nous avons exécuté la commande flex test.l, nous avons un nouveau fichier lex.yy.c qui comporte le code compilé par Lex.

Lex inclut à ce moment le fichier y.tab.c qui a été généré par Yacc, dans lequel nous pouvons retrouver les déclarations des différents jetons sous la forme de constantes (il est ensuite nettement plus facile de manipuler ces constantes sous la forme d'entiers au lieu du jeton lui-même).

Lex génère ensuite un analyseur lexical dans un fichier lex.yy.c qui inclut entre-autres la fonction yylex.

Pour un simple exemple comme celui-ci, Lex nous génère un fichier de 1755 lignes de codes C.

Voici quelques extraits de ce fichier, qui montrent certaines correspondances avec ce que nous avions défini dans le fichier test.l :

// ...debut du fichier
// ligne 445
char *yytext;
#line 1 "test.l"
#line 2 "test.l"
#include <stdio.h>
int lineNbr=0;
#line 461 "lex.yy.c"
// ...
// ligne 733
/* rule 1 can match eol */
YY_RULE_SETUP
#line 7 "test.l"
{++lineNbr;}
	YY_BREAK
// ...
// ligne 1746
#line 10 "test.l"
 
 
int main()
{
  yylex();
  printf("%d lines found\n",lineNbr);
  return 0;
}

Nous pouvons remarquer la déclaration que nous avions fait de lineNbr, son incrémentation quand un saut de ligne est rencontré dans le fichier, et la fonction main.

Vous pouvez consulter le code source de l'exemple du compilateur LSD⁰10 pour un fichier lex.yy.c complet à cette adresse : https://www.gaudry.be/langages-lsd10-source-rf-project/source/lex.yy.c.html.

Table des matières Haut

Directives spéciales de Lex

• ECHO permet de copier yytext dans la sortie de l'analyseur.
• BEGIN suivi d'un nom, place au démarrage l'analyseur dans l'état souhaité.
• REJECT force l'analyseur à évaluer la "deuxième meilleur règle".
• yymore() force l'analyseur à concaténer la valeur actuelle de yytext à la prochaine valeur que prendra yytext.
• unput(c) remplace le caractère c sur le flux d'entrée.
• YY_FLUSH_BUFFER vide le tampon interne de l'analyseur.
• yyterminate() normalement appelée lorsque EOF est rencontré. Cette directive arrête l'analyseur et renvoie la valeur 0, comme si tout le texte avait été traité.

Table des matières Haut

Variables Lex

• char *yytext élément lexical courant.
• int yyleng taille de l'élément lexicat courant.
• FILE *yyin fichier à partir duquel Lex lit.
• FILE *yyout fichier de sortie (dans lequel Lex affiche les ECHO).
• int YY_START état courant de démarrage de l'analyseur.

You are on the French version of the site, but your system indicates that you prefer to use the English language.
The entire site is not translated yet, but the menus and buttons on the interface are largely translated.

Would you like to reach the page in English?
Click here to continue in English: Consult the English version of this page

U bevindt zich op de Franse versie van de site, maar uw systeem geeft aan dat u liever de Nederlandse taal gebruikt.
De hele site is nog niet vertaald, maar de menu's en knoppen op de interface zijn grotendeels vertaald.

Wilt u de pagina in het Nederlands bereiken?
Klik hier om door te gaan in het Nederlands: Raadpleeg de Nederlandse versie van deze pagina

Sie befinden sich in der französischen Version der Website, Ihr System gibt jedoch an, dass Sie die deutsche Sprache bevorzugen.
Die gesamte Site ist noch nicht übersetzt, aber die Menüs und Schaltflächen auf der Benutzeroberfläche sind weitgehend übersetzt.

Möchten Sie die Seite auf Deutsch erreichen?
Klicken Sie hier, um fortzufahren: Konsultieren Sie die deutsche Version dieser Seite