Распознавание идентификаторов и ключевых слов

Удаление пробелов и комментариев

Лексический анализатор

Основное назначение: лексический анализатор считывает символы из входного потока, группирует их в лексемы и передает токены, образуемые этими лексемами, вместе с их атрибутами последующим фазам компиляции.

Примечание. Иногда лексический анализатор считывает несколько лишних символов, прежде чем принять решение какой же токен должен быть передан синтаксическому анализатору. Если действительно прочитаны лишние сиволы, из необходимо вернуть во входной поток.

Например, лексический анализатор прочитал символ «>». Это «>» или «>=»? Чтобы ответить на этот вопрос необходимо прочитать следующий символ.

Если следующий символ «=», то необходим токен, соответствующий лексеме «>=».

В противном случае - токен, соответствующий лексеме «>». Но прочитан лишний символ. Этот символ необходимо вернуть во входной поток.

«», «\t», «\n» - «пробелы».

Комментарий – также будем считать «пробелом».

Эти конструкции не нужны синтаксическому анализатору. Поэтому сделаем так, чтобы лексический анализатор их игнорировал.

Распознаватель констант (целые числа)

NUM – цифра цифра*

Символ «*» над узлом – вернуть текущий символ во входной поток.

ID – буква (буква | цифра)*

Такие распознаватели (КА) строятся для каждой используемой конструкции

Построенные КА – собрать вместе

Дата добавления: 2013-12-14