Please enable JavaScript.

Coggle requires JavaScript to display documents.

Análisis léxico image, image, image, image, image, image, image, image…

- - - - Identificadores
        
        Comienzan con una letra seguida de una secuencia arbitraria de letras, dígitos o guiones bajos. Como a, Ab123, next_one.
      - Constantes enteras
        
        Como 12345
      - Las constantes de caracteres pueden adoptar varias formas
        
        La forma simple es un solo carácter encerrado entre comillas simples ('a').
        
        Pueden utilizarse secuencias de escape ('\n') y los caracteres pueden expresarse como valores octales o hexadecimales
      - Las constantes flotantes pueden expresarse de varias maneras
        
        La representación es una parte entera seguida de un punto y una parte fraccionaria.
        
        También se puede especificar el tipo de la constante.
      - Las constantes de cadena son secuencias de caracteres encerradas entre comillas dobles.
      - Las fichas de los operadores son numerosas, pero su estructura es más sencilla.
      - Las palabras clave y reservadas tienen un significado especial en la sintaxis del lenguaje.
      - Los comentarios tienen que ser analizados por el analizador léxico para que puedan ser ignorados.
  - - - Se describen empezando por una letra, seguida de una secuencia de letras o dígitos.
    - - • Compruebe la sintaxis y asegúrese de que las formas posibles de constantes numéricas se tratan adecuadamente.
      - • La lectura y el análisis de las constantes numéricas para la mayoría de los idiomas requerirá el uso de looka-head.
      - • Si hay límite en el rango de las constantes enteras, el analizador léxico debería comprobar si hay constantes fuera de rango.
      - • Las constantes de coma flotante pueden tener sintaxis compleja con una serie de representaciones alternativas.
  - - - El analizador léxico puede distinguir entre identificadores y palabras reservadas.
      - Los espacios en blanco y los comentarios no se pasan como tokens.
      - Hay tres casos de tokens de dos caracteres. Son <=, + = y ++.
- - - - • El conjunto de tokens léxicos devueltos por el analizador léxico se define como un tipo enum.
      - • La función de análisis léxico, lex, devuelve un único valor entero.
      - • Para que la codificación del analizador léxico sea manejable, utilizaremos un lookahead de un carácter.
      - • Un token individual se representa como un valor int, devuelto por la función lex.
  - - - Pueden insertarse entre los tokens léxicos.
      - La primera acción de la función lex tiene que ser saltar los caracteres de espacio en blanco.
      - No es factible confiar en la existencia de espacios en blanco para separar los tokens.
    - - El valor de ch determinará el token que se reconoce.
      - El cuerpo principal de la función lex consiste en un if .. then .. else if .. then .. else if ... o una estructura switch .. case .. case ...
      - Uso de ch = getchar(); para mantener el lookahead de un carácter antes de salir de la función lex.
    - - Tenemos que lidiar con los tokens <, =, >, <=, ==, >= y !=.
      - El lookahead de un carácter ayuda aquí.
    - - Los identificadores y palabras reservadas deben comenzar con una letra minúscula, pero pueden continuar con letras minúsculas o dígitos.
      - La cadena de caracteres del identificador o palabra reservada se acumula en el identificador de la matriz.
      - La identidad del token léxico se almacena en la variable lextoken y será devuelto como resultado de la llamada a la función lex.
      - Los identificadores más largos que los caracteres MAXIDLEN se truncan silenciosamente.
    - - Se manejan convirtiendo un flujo de caracteres de dígitos decimales en un binario interno.
      - El analizador léxico puede devolver una representación de cadena de caracteres del número.
      - En algunos lenguajes e implementaciones es probable que el valor absoluto del mayor número negativo sea mayor que el mayor número positivo.
      - Algunos lenguajes hacen declaraciones explícitas en sus definiciones sobre los límites de tamaño de las constantes.
    - - El lenguaje DL admite comentarios entre corchetes / y /.
      - Encontrado el carácter /, comienza un comentario si el siguiente carácter es *. La variable ingreso está establecida en TRUE.
      - El comentario finaliza si se detecta el final de la entrada o si se encuentra el corchete de comentario de cierre.
      - Cuando el bucle while sale después de encontrar el corchete de cierre del comentario, ch contiene el carácter que sigue al comentario, listo para una llamada recursiva a lex.
    - - El analizador léxico puede detectar una serie de errores, leer un carácter inesperado, no en el alfabeto del lenguaje.
        
        Estos errores deben comunicarse al usuario del compilador.
      - El compilador tiene que recuperarse del error para que el análisis de la entrada pueda continuar.
      - La fase de análisis de sintaxis tiene que ocuparse de la notificación de errores y la recuperación de errores.
      - Una forma de hacerlo es devolver un token léxico especial cuando se detecta un error, y el analizador de sintaxis puede manejar el error.
      - Ya que el analizador de sintaxis se ha integrado con el analizador léxico y está lidiando con los errores, las llamadas se pueden eliminar.
  - - - La sintaxis de los identificadores y palabras reservadas o clave es fácil de especificar, las reglas deben seguirse en el analizador léxico.
      - Permitir identificadores largos requiere un tipo de estructura de datos para el almacenamiento de los caracteres de los identificadores.
      - El analizador léxico necesita acceso a una estructura de datos que contenga las palabras clave del lenguaje para que puedan identificarse y devolverse.
      - Algunos compiladores usan parte de la tabla de símbolos, a menudo se utilizan tablas hash.
    - - La complejidad del código de análisis aumenta al tratar con diferentes tipos de constantes numéricas.
      - Las constantes de punto flotante tienen sintaxis compleja y requieren un enfoque sistemático para la codificación de su análisis léxico.
      - Es sensato desconectar la lectura y el análisis de una constante numérica de su conversión a una forma binaria interna.
    - - La prueba debe ser sistemática y exhaustiva.
      - El programa principal puede generar la identidad del token devuelto en cada llamada.
      - Hacer uso de una biblioteca de programas de prueba como entrada al analizador léxico es un buen primer paso.
      - El analizador léxico debe probarse con entradas erróneas, como programas de prueba con errores sintácticos, datos aleatorios, etc.
      - Dichas pruebas con datos aleatorios pueden resaltar problemas con el manejo de errores.
      - El analizador léxico debe ser capaz de tratar cualquier entrada y reportar tokens de error cuando sea necesario.
    - - Algunos lenguajes solo pueden distinguir entre palabras clave e identificadores.
      - Un ejemplo es el lenguaje PL / I donde las palabras clave no son palabras reservadas.
        
        IF THEN THEN THEN = ELSE; ELSE ELSE = THEN.
      - En FORTRAN los espacios en blanco son, en general, insignificantes.
      - Es esencial alguna forma de anticipación, y las soluciones prácticas pueden tener que recurrir al análisis léxico de múltiples pasadas.
    - - La estructura del analizador léxico es intuitiva, con una separación entre las secciones de código que tratan con cada token individual.
      - Para facilitar el manejo de los tokens complejos, se necesita un enfoque más estructurado.
      - Necesitamos una forma de generar una especificación formal de la sintaxis de los tokens y luego transformarla en código de reconocimiento.
      - Cuanto más se pueda automatizar este proceso, mejor.
- - - - Tiene producciones de la forma: A → a o A → aB
    - - Concatenación
      - Alternancia
      - Repetición
      - El operador de repetición tiene la prioridad más alta, seguido de la concatenación, la alternancia tiene la prioridad más baja.
      - Los paréntesis se pueden utilizar para agrupar símbolos.
    - - a (b | c) y ab | ac son expresiones regulares equivalentes.
  - - - Diagrama de transición para la expresión regular ( ab | c) ∗ D.
      - En esta forma de diagrama de transición hay un único estado inicial
      - Cada borde o transición en el diagrama está etiquetado con un carácter.
      - Estos caracteres se comparan con los caracteres leídos de la entrada durante el reconocimiento.
      - Proporciona un analizador sintáctico para instancias de expresiones regulares.
        
        La complejidad temporal es O(n), donde n es el número de caracteres de la entrada, y el coste del análisis sintáctico tiende a crecer linealmente con la longitud de la entrada.
        
        Si se introduce una entrada errónea las acciones son diferentes.
      - El diagrama de transición se puede representar en otras direcciones.
        
        Representándolo como una mesa de transición puede ser útil.
    - - Las entradas en la tabla de transición están vacías o contienen un solo estado siguiente.
      - No se pueden etiquetar dos bordes de un nodo que represente un estado con el mismo símbolo de entrada.
      - Estas máquinas se contrastan con máquinas de estado finito no deterministas donde un símbolo de entrada puede activar la máquina en más de un estado siguiente.
        
        Puede haber estados que tengan dos o más bordes etiquetados con el mismo símbolo de entrada.
      - Una máquina de estado finito no determinista puede tener múltiples estados iniciales.
      - Existe un algoritmo para transformar una expresión regular en una máquina de estado finito no determinista.
        
        Comience con la expresión regular, puede transformarse en una máquina de estados finitos no determinista.
        
        La máquina de estado finito no determinista se transforma en una máquina de estado finito determinista equivalente.
        
        La máquina determinista de estados finitos realiza un proceso de minimización de estados para garantizar que la máquina sea simple para el análisis sintáctico de instancias de la expresión regular original.
      - La sintaxis de los tokens individuales se expresa en términos de un conjunto de expresiones regulares.
        
        Estas expresiones se transforman en máquinas de estado finito deterministas minimizadas, luego pueden implementarse transformando la máquina de estado finito en código.
        
        El analizador léxico resultante tiene problemas de implementación, en lo que se refiere a la representación de una matriz de transición.
- - - - La programación a mano puede ser la única opción, ya que es posible que no existan herramientas de generación de analizadores léxicos compatibles con el lenguaje de programación.
      - El proceso de construcción del compilador depende menos de la disponibilidad de otras herramientas de software.
      - No existen limitaciones reales en las técnicas utilizadas para reconocer tokens.
      - El rendimiento del analizador léxico producido de puede ser muy bueno.
      - Es más probable que el código sea correcto, para tokens léxicos con una estructura compleja.
      - Las especificaciones de las expresiones regulares para los tokens léxicos pueden estar disponibles en la especificación del lenguaje o en la documentación.
  - - - La estructura consta de tres secciones, separadas por líneas que contienen solo los caracteres %%.
        
        definiciones
        %%
        normas
        %%
        código de usuario
        
        La sección de código de usuario se copia en la salida generada por flex y contiene funciones C que son llamadas por el código de la sección de reglas.
        
        La sección de reglas es una lista de pares expresión regular/acción C correspondiente.
        
        La sección de definiciones consiste en un conjunto de pares nombre/definición, para asociar nombres mnemónicos con expresiones regulares.
      - Se ejecuta el código C asociado a la expresión regular coincidente, y este código tiene la responsabilidad de devolver la identidad del token.
      - Cada vez que se llama a la función yylex(), ésta encuentra el siguiente token de la entrada.
      - Flex generará código C definiendo una función yylex().
      - Estas son las reglas que especifican las acciones del analizador léxico.
    - - Aspectos de una implementación:
        
        Los espacios en blanco pueden ignorarse y los caracteres restantes no reconocidos pueden marcarse como error y ser ignorados.
        
        Las fichas simples de uno o varios caracteres son mucho más fáciles.
        
        Las constantes de cadena se basan en una secuencia de caracteres encerrados entre comillas dobles.
        
        Los identificadores y palabras reservadas pueden tratarse conjuntamente.
        
        Los comentarios se reconocen mejor con una regla de la forma: "/*" { comment(); }
        
        Se necesita un programa principal para apoyar las pruebas del analizador léxico.
        
        Las identidades de los tokens reconocidos se devuelven como enteros, los tokens reciben nombres simbólicos.
      - Cuestiones de diseño:
        
        Es mejor tratar las palabras reservadas y los nombres utilizando la misma regla junto con algún código para comprobar si la cadena coincidente es una palabra reservada.
        
        La directiva #linea tiene que ser tratada en el analizador léxico.
        
        La identidad del token se codifica como un valor entero, los valores de los tokens, como constantes y los identificadores, se devuelven como cadenas.
    - - El valor de la constante se coloca en la variable global lexnuval para que esté disponible para el analizador de sintaxis.
      - Las palabras reservadas deben coincidir con los identificadores para evitar que una entrada como else sea reconocida como un identificador.
      - Los comentarios y espacios en blanco se ignoran y todos los tokens de un solo carácter se gestionan mediante la regla de coincidencia de todos los caracteres restantes.
      - Se definen los tokens de dos caracteres, seguidos de palabras reservadas, identificadores y constantes numéricas.
      - DL es un lenguaje con un pequeño conjunto de tokens léxicos fáciles de definir.
    - - Ejemplo
        
        Sección de código de usuario
        
        La entrada a flex define un programa principal para llamar repetidamente a yylex() dando salida al valor devuelto por yylex junto con una representación de cadena del token.
        
        Sección de reglas
        
        Cada regla consiste en una expresión regular/patrón seguido de la acción en código C que se debe realizar al coincidir con esa expresión regular.
        
        Consta de sólo cuatro reglas.
        
        Primera sección del código flex
        
        letter_or_digit coincide con una sola letra o dígito decimal.
        
        white_space coincide con un solo espacio, tabulador o nueva línea.
        
        other coincide con cualquier carácter individual excepto la nueva línea.
        
        digit coincide con un solo dígito decimal.
        
        Da nombres simbólicos a las expresiones regulares que se utilizan después en la sección de reglas.
        
        Este archivo se introduce en flex, generando un programa en C, por defecto, un archivo llamado lex.yy.c.
      - Flex genera una función yylex que se llama para obtener el siguiente token de la entrada.
      - El lenguaje para el que se escribe este analizador léxico incluye solo tres tokens léxicos distintos.
        
        Cualquier otro carácter: Los espacios en blanco se ignoran, pero puede utilizarse para separar palabras o números adyacentes.
        
        Un número: Consta de uno o más dígitos decimales.
        
        Una palabra: Consta de una letra seguida de un número arbitrario de letras o dígitos.