Tokenizer &reftitle.intro; tokenizer 関数は、Zend Engine に組み込まれた PHP tokenizer へのインターフェイスを提供します。以下の関数により、 字句解析レベルの言語処理を行うことなく、 PHP ソースを解析/修正するツールを作成することが可能となります。 トークンに関する付録も参照ください。 &reference.tokenizer.setup; &reference.tokenizer.constants; &reference.tokenizer.examples; &reference.tokenizer.phptoken; &reference.tokenizer.reference;