实现一个词法分析器，词法分析程序的主要任务是从左到右扫描每行源程序，拼成单词，换成统一的内部表示 (token)输出，送给语法分析器。具体包括： –组织源程序的输入； –按规则拼单词，并转换成二元形式； –滤掉空白符，跳过注释、换行符及一些无用的符号(如字符常数的引号) （实验一已完成）； –进行行列计数，用于指出出错的行列号，并复制出错部分； –列表打印源程序； –发现并定位词法错误； –生成符号表。token 文件和符号表用作语法分析的输入部分。