词法分析程序中token代码是什么?

Python012

词法分析程序中token代码是什么?,第1张

token就是把程序的语句进行类似分词得到的单词。

它是下步语法分析的输入。

typedef

struct

Token

{

int

label

char

name[buf]

int

code

}Token

是一个结构体。

C语言中单词可以分为

保留字,就是int,while等。

标识符,例如int

mm就是标识符。

数字,有整数和小数

字符,+,-,.,*,等字符,其中也包括++,--,!=等。

label应该标识token的类型。

name表示的就是程序中对应的字符序列。例如:int等。

最后code的意思,看不出来。。。,不过个人认为,上面的两项就可以表示

token的信息。

主要是类型和内容。

(一)宏定义中的##

连接符与#

##

连接符号由两个井号组成,其功能是在带参数的宏定义中将两个子串(token)联接起来,从而形成一个新的子串。但它不可以是第一个或者最后一个子串。所谓的子串(token)就是指编译器能够识别的最小语法单元。具体的定义在编译原理里有详尽的解释,但不知道也无所谓。同时值得注意的是#符是把传递过来的参数当成字符串进行替代。下面来看看它们是怎样工作的。这是MSDN上的一个例子。

假设程序中已经定义了这样一个带参数的宏:

#define

paster(

n

)

printf(

"token"

#n

"

=

%d",

token##n

)

同时又定义了一个整形变量:

int

token9

=

9

现在在主程序中以下面的方式调用这个宏:

paster(

9

)

那么在编译时,上面的这句话被扩展为:

printf(

"token"

"9"

"

=

%d",

token9

)

注意到在这个例子中,paster(9)中的这个”9”被原封不动的当成了一个字符串,与”token”连接在了一起,从而成为了token9。而#n也被”9”所替代。

可想而知,上面程序运行的结果就是在屏幕上打印出token9=9

(二)"\"与一个较长占多行的宏

宏定义中允许包含两行以上命令的情形,此时必须在最右边加上"\"且该行"\"后不能再有任何字符,连注释部分都不能有,下面的每行最后的一定要是"\","\"后面加一个空格都会报错,更不能跟注释。

#define

exchange(a,b)

{\

int

t\

t=a\

a=b\

b=t\

}