Синтаксис регулярных выражений

Строгое определение регулярного выражения выглядит довольно громоздко. Начнем с неформального описания.

Регулярное выражение представляет собой строку. Эта строка состоит из собственно регулярного выражения (шаблона), выделенного с помощью специального символа разделителя (это могут быть символы «/», «|», «{«, «!» и т.п) и модификатора, влияющего на способ обработки РВ.

В дальнейшем это описание будет расширено.

Например, в регулярном выражении /\d{3}-\d{2}-\d{2}/m символ «/»является разделителем, \d{3}-\d{2}-\d{2} – непосредственно регулярное выражение (шаблон), а m – модификатор.

Мощь регулярных выражений порождена в основе своей их способностью включать в шаблон альтернативы и повторения. Они кодируются в шаблоне с помощью метасимволов. Метасимвол отличается от любого другого символа тем, что имеет специальное значение.

Одним из основных метасимволов является обратный слэш «\». Он меняет тип символа, следующего за ним, на противоположный, т.е. если это был обычный символ, то он МОЖЕТ превратиться в метасимвол, если это был метасимвол, то он теряет свое специальное значение и становится обычным символом (это нужно для того, чтобы вставлять в текст специальные символы как обычные). Например, символ d в обычном режиме не имеет никаких специальных значений, но \d есть метасимвол, означающий «любая цифра». Символ «.» в обычном режиме означает «любой единичный символ», а «\.» означает просто точку.

Другое назначение обратного слэша – кодирование непечатных символов, таких как:

\n – cимвол перевода строки;

\e – символ escape;

\t – cимвол табуляции;

\xhh – символ в шестнадцатеричном коде, например \x41 есть буква A и т.д.

Еще одно назначение обратного слэша – обозначение генерируемых символьных типов, таких как:

\d – любая десятичная цифра (0-9);

\D – любой символ, не являющийся десятичной цифрой;

\s – любой пустой символ (пробел или табуляция);

\S – любой символ, не являющийся пустым;

\w – символ, используемый для написания Perl-слов (это буквы, цифры и символ подчеркивания), так называемый «словарный символ»;

\W – несловарный символ (все символы, кроме определяемых \w).

Что имеется в виду под «символьным типом»? Просто каждый метасимвол принимает значение (одно) из класса возможных значений, заданных автоматически или вручную. Символьные типы, задаваемые пользователем, описываются с помощью квадратных скобок (подробнее об этом позже). Выше приведены символьные типы, диапазон значений которых заранее определен языком программирования.

Пример использования приведенных выше метасимволов:

/\d\d\d plus \d is \w\w\w/

Это РВ означает: трехзначное число, за которым следует подстрока plus, любая цифра, затем is и слово из трех словарных символов. В частности, данному РВ удовлетворяют строки: «123 plus 3 is sum», «213 plus 4 is 217».

Вообще различают два множества метасимволов: те, что распознаются в любом месте шаблона, за исключением внутренности квадратных скобок, и те, что распознаются внутри квадратных скобок.

Квадратные скобки [ ] применяются для описания подмножеств и внутри регулярного выражения рассматриваются как один символ, который может принимать значения, перечисленные внутри этих скобок. Однако если первым символом внутри скобок является ^, то значением символьного класса могут быть только символы, НЕ перечисленные внутри скобок.

Примеры:

1. Символьный класс [абвгд] задает один из символов а, б, в, г, д, а класс [^абвгд] задает любой символ, кроме а, б, в, г, д.
2. Если написать [2бул]ки], то это выражение интерпретируется как один из символов 2, б, у, л, за которым следует строка ки], потому что первая встретившаяся закрывающая квадратная скобка (разбор происходит слева направо) заканчивает определение символьного класса. То есть это РВ совпадет с одной из строк 2ки], бки], уки] или лки].
3. С помощью РВ [0-9А-Яа-я] можно задать любую букву или цифру.

Метасимволы, распознаваемые вне квадратных скобок, можно разделить на группы следующим образом: определяющие положение искомого текста в строке, связанные с подвыражениями, ограничивающие символьный класс, квантификаторы и перечисление альтернатив.

Примеры (^ и $)

1. Пусть дан такой текст, записанный в виде строки:

2. $str = "11 aaa bbb ".3. "ccc 22 ddd ".4. "eee ggg 33";

Таблица 13.1. Метасимволы, распознаваемые ВНУТРИ квадратных скобок
Метасимвол	Значение
\	Переходный символ со множеством назначений
^	Отрицание класса, но только если это первый символ (например, «^\d» задает все, кроме цифр)
-	Задает диапазон символов (например, «0-9» задает все цифры, «A-Z» – все латинские буквы)
]	Вычисляет символьный класс

5. Регулярное выражение /\d\d/m может быть сопоставлено следующим подстрокам: 11, 22, 33. Если в начале РВ стоит ^, то совпадения ищутся в начале строки, поэтому выражение /^\d\d/m найдет только 11.

6. Когда в конце РВ стоит знак доллара $, поиск производится в конце строки, поэтому выражение /\d\d$/m найдет только 33.

7. Шаблону же /^\d\d\d$/ будет удовлетворять строка, целиком состоящая из трехзначного числа (т.е. она и начинается и заканчивается этим числом).

1. Найдем все html-теги, расположенные в начале каждой строки файла 1.htm.

9. <?10. //считываем файл в строку11. $str = file_get_contents('1.htm');12. $pattern = "!^<[^/]+>!mU";13. // осуществляем поиск14. $n = preg_match_all ($pattern, 15. $str, $res);16. // выводим результаты 17. for ($i=0;$i<$n;$i++) 18. echo htmlspecialchars($res[0][$i]).19. "<br>";20.?>

Таблица 13.2. Метасимволы, распознаваемые ВНЕ квадратных скобок
Метасимвол	Значение
\	Переходный символ со множеством назначений
^	Объявляет начало объекта (или строки в многострочном режиме). То есть этот символ определяет, что искомый текст должен находиться в начале строки. Альтернатива: «\A»
$	Объявляет конец объекта (или строки в многострочном режиме). То есть этот символ определяет, что искомый текст должен находиться в конце строки. Альтернативы: «\Z», «\z»
.	Совпадает с любым символом, кроме символа перевода строки (по умолчанию)
[	Начинает определение символьного класса
]	Заканчивает определение символьного класса
|	Разделяет перечисление альтернативных вариантов
(	Начинает подшаблон регулярное (подвыражение)
)	Заканчивает подшаблон
?	Расширяет значение «(», квантификаторов 0 или 1, и квантификатор минимизации
*	0 или больше повторений (квантификатор)
+	1 или больше повторений (квантификатор)
{	Начинает минимальный/максимальный квантификатор
}	Заканчивает минимальный/максимальный квантификатор

21. Шаблон ограничен восклицательными знаками. Первая «^» значит, что мы ищем совпадения в начале строк, потом идет символ «<» – его и ищем в строке, после него должно идти все, что угодно, кроме обратного слэша (конструкция «[^\]»), «+» говорит, что стоящий перед ним символ повторяется один и более раз и заканчивается все это символом «>». Таким образом, выделяются все теги в начале строк.

1. Мы хотим убедиться, что имя автора было записано правильно (сначала фамилия с большой буквы, потом инициалы через точку) и находится в конце строки.

23. <?24. //считываем файл в строку25. $str = file_get_contents('1.htm');26. $pattern = "!\s[А-Яа-я]+".27. "\s([А-Я]\.\s*)([А-Я]\.\s*)$!m";28. // шаблон ограничен восклицатель-29. // ными знаками, m – модификатор,30. // включающий многострочный режим31. // первый \s означает, что перед 32. // фамилией должен идти пустой 33. // символ (например, пробел) 34. // [А-Яа-я] задает одну из букв 35. // алфавита в любом регистре,а в 36. // комбинации со знаком плюс 37. // определяет,что эта буква 38. // повторяется один и более 39. // раз следующий \s означает, что 40. // между фамилией и инициалами 41. // должен быть пробел42. // Далее идет подвыражение, 43. // определяющее инициалы.44. // Это буква от А до Я, после45. // которой стоит точка ('\.')46. // Экранируем точку, чтобы 47. // избавиться от ее специального 48. // значения. После буквы с точкой 49. // может идти или не идти пробел 50. // или несколько. Вся конструкция 51. // повторяется минимум два раза.52. // Последний символ $ означает,53. // что фамилия с инициалами54. // должны находиться в конце 55. // строки. 56. //осуществляем поиск57. $n = preg_match_all ($pattern,58. $str, $res);59. // выводим результаты60. for ($i=0;$i<$n;$i++) 61. echo htmlspecialchars($res[0][$i]).62. "<br>"; 63.?>

Примеры (| и.)

1. Пусть имеется некий текст. Нам нужно найти всех упомянутых в нем людей со званиями.

<?$str = "Доцент Смирнов совершил". "открытие. Его учителем была ". "профессор Иванова. ". "Этим открытием Смирнов ". "завоевал себе степень ". "доктора. Раньше он был ". "только кандидат.";$pattern = "/(профессор|доцент)". "\s[А-Яа-я]+(\s|\.)/i";// осуществляем поиск$n = preg_match_all ($pattern, $str, $res);// выводим результатыfor ($i=0;$i<$n;$i++) echo htmlspecialchars($res[0][$i]). "<br>";?>

Метасимвол прямая черта «|» позволяет задавать альтернативные варианты. В примере мы хотели найти всех профессоров или доцентов. Для этого было создано подвыражение «(профессор|доцент)». После звания через пробел фамилия человека, которому оно принадлежит, – для этого существует комбинация «\s[А-Яа-я]+». После фамилии идет либо опять пробел, либо точка, если это конец предложения. Получаем опять два альтернативных варианта: «(\s|\.)» (здесь точка экранируется обратным слэшем, чтобы она понималась как обычная точка, без специального значения).

Подвыражения (подшаблоны)

В нескольких примерах мы уже использовали подвыражения. Настало время разобраться, что же это такое и какими свойствами они обладают

В РВ подшаблоны выделяют, заключая в круглые скобки. Для их обозначения кроме термина «подшаблон» также используют термин «подвыражение». Подшаблоны могут быть вложенными. Выделение части регулярного выражения в виде регулярного подвыражения делает следующее.

1. Локализует множество альтернатив.

Например, шаблон

жар(кое|птица|)

совпадает с одним из слов «жаркое», «жарптица» и «жар». Тогда как без скобок это было бы «жаркое», «птица» и пустая строка.

1. Устанавливает подшаблон как «захватывающий» подшаблон. Это значит, что, когда какая-то подстрока в тексте совпала с шаблоном, все подстроки, которые совпали с подшаблонами этого РВ, тоже возвращаются в качестве результата. Скобки, обозначающие начало подшаблона, пересчитываются слева направо (начиная с 1) для того, чтобы узнать, сколько подшаблонов нужно захватить.

Например, имеется такой шаблон:

победитель получит ((золотую|позолоченный) (медаль|кубок))

и строка, в которой ищутся совпадения с этим шаблоном: «победитель получит золотую медаль». Тогда кроме этой фразы будут еще захвачены и выданы как результаты поиска следующие совпадения в подвыражениях: «золотую медаль», «золотую», «медаль», пронумерованные 1, 2, 3 соответственно.

Однако это не всегда удобно. Для того чтобы избавиться от «захватывающего» эффекта подвыражения, после открывающей скобки пишут «?:». Тогда это подвыражение в результат поиска не включается и при нумерации остальных подшаблонов с «захватывающим» эффектом не учитывается.

победитель получит ((?:золотую|позолоченный) (медаль|кубок))

Пример 13.1. Применение?: (html, txt)

Тогда в условиях предыдущего примера получим искомую строку «победитель получит золотую медаль» и строки «золотую медаль», «медаль», пронумерованные 1 и 2 соответственно.

Если в html-файле название находится после <body> и отделено от него только пробелами или переводами строк, заключено в тег <h1> и после него тоже может идти сколько-то пробелов и переводов строк, то его можно найти с помощью следующего скрипта:

<?//считываем файл в строку$str = file_get_contents('1.htm');$pattern = "/<body.*?>[\n\s]*<h1>". "(.*?)<\/h1>[\n\s]*/m";// осуществляем поиск$n = preg_match_all ($pattern, $str, $res);echo $res[1][0]; // выводим заголовок?>

Пример 13.2. Поиск названия в html-файле (html, txt)

Заметим, что здесь выводится первое захваченное подвыражение, поскольку нам интересно только само название, а не все РВ. Так как в этом РВ есть только одно подвыражение, то его значение содержится в нулевом элементе первого массива результатов.

Повторения (квантификаторы)

В предыдущих примерах мы часто писали комбинации типа \d\d. Это значит, что цифра должна повторяться два раза. А что же делать, если повторений очень много или мы не знаем, сколько именно? Оказывается, нужно использовать специальные метасимволы.

Повторения описываются с помощью так называемых квантификаторов (метасимволов, задающих количественные отношения). Существует два типа квантификаторов: общие (задаются с помощью фигурных скобок) и сокращенные (это исторически сложившиеся сокращения наиболее распространенных квантификаторов).

Квантификаторы могут следовать за любым из перечисленных элементов:

• одиночный символ (возможно, в комбинации с обратным слэшем);
• метасимвол «точка»;
• символьный класс;
• обратная ссылка (о них расскажем позднее);
• подшаблон.

Общие квантификаторы задают минимальное и максимальное число дозволенных повторений элемента; эти два числа, разделенные запятой, заключаются в фигурные скобки. Числа не должны превышать 65 536 и первое число должно быть меньше или равно второму. Например,

x{1,3}

говорит о том, что символ «x» должен повторяться минимум один, а максимум три раза. Соответственно этому шаблону удовлетворяют строки: x, xx, xxx.

Если второй параметр отсутствует, но запятая есть, то повторений может быть сколько угодно. Таким образом,

[aeuoi]{2,}

значит, что любой из символов «a», «e», «u», «o», «i» в строке может повторяться два и более раз, а регулярное выражение

\d{3}

задает ровно три цифры.

Сокращенные квантификаторы задают наиболее используемые количественные отношения (повторения). Они придуманы для удобства, чтобы не перегружать и без того сложные выражения лишним синтаксисом.

Исходя из исторических традиций три наиболее часто встречающихся квантификатора имеют следующие обозначения:

* эквивалентно {0,} – то есть это ноль и более повторений;

+ эквивалентно {1,} – то есть это одно и более повторений;

? эквивалентно {0,1} – то есть это ноль или одно повторение.

Есть еще один важный момент, на который стоит обратить внимание при изучении квантификаторов. По умолчанию все квантификаторы «жадные», они стараются захватить как можно больше повторений элемента. То есть если указать, что символ должен повторяться один и более раз (например, с помощью *), совпадение произойдет со строкой, содержащей наибольшее число повторений указанного символа. Это может создать проблемы, например, при попытке выделить комментарии в программе на языке Cи или PHP. Комментарии в Cи и PHP записываются между символами /* и */, внутри которых тоже могут встречаться символы * и /. И попытка выявить Си-комментарии с помощью шаблона

/\*.* \*/

в строке

/* первый комментарий */ не комментарий /* второй комментарий */

не увенчается успехом из-за «жадности» элемента «.*» (будет найдена также строка «не комментарий»).

Для решения этой проблемы нужно написать знак вопроса после квантификатора. Тогда он перестанет быть «жадным» и попытается захватить как можно меньшее число повторений элемента, к которому он применен (квантификатор применяется к элементу, что стоит перед ним). Так что шаблон

/\*.*? \*/

успешно выделяет Си-комментарии.

В PHP существует опция PCRE_UNGREEDY, которая делает все квантификаторы «не жадными» по умолчанию и «жадными», если после них идет знак вопроса.

<?//Рассмотрим html-файл, где имеется //следующая строка:$str = "<div id=1>Привет</div> ". "<p>Текст, не заключенный в тег ". "div</p><div id=2>Пока</div>";// Если мы хотим найти текст, // содержащийся между тегами div, // естественно написать такой шаблон:$pattern = "!<div id=1>.*</div>!si";// Но этот шаблон слишком "жадный" // и захватит также и текст, // заключенный в нашем примере между // тегами <p>. Чтобы этого избежать, // нужно написать следующий шаблон, // отличающийся только наличием знака // вопроса, который запрещает // квантификатору быть "жадным".$pattern1 = "!<div id=1>.*?</div>!si";// Запускаем поиск в строке $str// совпадений с шаблонами // $pattern и $pattern1$s = preg_match_all ($pattern, $str, $res);$js = preg_match_all ($pattern1, $str, $res1);//выводим результаты поиска// функция htmlspecialchars позволяет // выводить html без // его обработки браузеромecho "Жадный шаблон:". htmlspecialchars($res[0][0]). "<br>";echo "Нежадный шаблон:". htmlspecialchars($res1[0][0]);?>

Пример 13.3. Использование "жадных" квантификаторов (html, txt)

Результаты работы скрипта:

«Жадный» шаблон:<div id=1>Привет</div> <p>Текст,не заключенный в тег div</p><div id=2>Пока</div> «Нежадный» шаблон:<div id=1>Привет</div>

Теперь мы в принципе можем решить задачу выделения содержания из html-файла, если оно заключено в теге <div id=content>. Предлагаем читателям проделать это самостоятельно.

Дата добавления: 2014-01-06