Общие принципы построения лексических анализаторов

Пример 2

Атрибуты лексем

Если шаблону соответствует несколько лексем, лексический анализатор должен обеспечить дополнительную информацию о лексемах для последующих фаз компиляции. Например, шаблон num (рис.4)можетсоответствовать как строке 3.1416, так и 2.19, и при генерации кода крайне важно знать, какая именно строка соответствует шаблону.

Лексический анализатор хранит информацию о лексемах и связанных с ними атрибутах. На практике лексемы обычно имеют единственный атрибут – указатель на запись в таблице символов, в которой хранится информация о соответствующей лексеме. Для диагностических целей могут понадобиться как лексемы идентификаторов, так и номера строк, в которых они впервые появились в программе. Вся эта (и другая) информация может храниться в записях в таблице символов.

Лексемы и связанные с ними значения атрибутов для инструкции

E = M * 2

записываются как последовательность пар:

< id, указатель на запись в таблице символов для E>

< assign_op,>

< id, указатель на запись в таблице символов для M>

< mult_op,>

< num, целое значение 2>

В некоторых парах нет необходимости в значении атрибута – первого компонента вполне достаточно, чтобы идентифицировать лексему. В этом примере лексема num задана атрибутом с целым значением. Компилятор может хранить строку символов, составляющих число, в таблице символов, сделав, таким образом, атрибут лексемы num указателем на запись в таблице символов.

Лексический анализатор имеет дело с такими объектами, как различного рода константы и идентификаторы (к последним относятся и ключевые слова). Язык констант и идентификаторов в большинстве случаев является регулярным — то есть может быть описан с помощью регулярных грамматик. Распознавателями для регулярных языков являются конечные автоматы. Существуют правила, с помощью которых для любой регулярной грамматики может быть построен недетерминированный конечный автомат, рас­познающий цепочки языка, заданного этой грамматикой. Конечный автомат для каждой входной цепочки языка дает ответ на вопрос о том, принадлежит или нет цепочка языку, заданному автома­том.

В общем случае задача сканера несколько шире, чем просто проверка цепочки символов лексемы на соответствие ее входному языку. Кроме этого, сканер должен выполнить следующие действия:

· четко определить границы лексемы, которые в исходном тексте явно не заданы;

· выполнить действия для сохранения информации об обнаруженной лексеме (или выдать сообщение об ошибке, если лексема неверна).

Дата добавления: 2014-12-27