词法分析器的功能是输入源程序，输出单词符号。词法分析器的单词符号常常表示成以下的二元式(单词种别码，单词符号的属性值)。

识别保留字：if、int、for、while、do、return、break、continue；

　　单词种别码为1。

其他的都识别为标识符；单词种别码为2。

常数为无符号整形数；单词种别码为3。

运算符包括：+、－、*、/、=、>、<、>=、<=、!= ；

单词种别码为4。

分隔符包括：,、 、{、}、(、)、【、】； 单词种别码为5。