Модуль токенизации Tokenizer Tokenizer &reftitle.intro; Функции лексера поддерживают интерфейс ко встроенному в движок Zend Engine PHP-лексеру Tokenizer. Функции модуля помогают писать пользовательские утилиты анализа или модификации исходного PHP-кода без знания спецификации языка на лексическом уровне. Смотрите также приложение со списком лексем. &reference.tokenizer.setup; &reference.tokenizer.constants; &reference.tokenizer.examples; &reference.tokenizer.phptoken; &reference.tokenizer.reference;