c语言的词法分析器

Python011

c语言的词法分析器,第1张

任务1:识别小型语言所有单词的词法分析程序设计

源程序设计语言

G[<程序>]

<程序>→<变量说明><BEGIN>

<语句表>

<END>.

<变量说明>→VAR<变量表>:<类型>;|<空>

<变量表>→<变量表>,<变量>|<变量>

<类型>→INTEGER

<语句表>→<语句>

|

<语句><语句表>

<语句>→<赋值语句>|<条件语句>|<WHILE语句>|<复合语句>

<赋值语句>→<变量>:=<算术表达式>

<条件语句>→IF<关系表达式>THEN<语句>ELSE<语句>

<WHILE语句>→WHILE<关系表达式>DO<语句>

<复合语句>→BEGIN<语句表>END

<算术表达式>→<项>|<算术表达式>+<项>|<算术表达式>-<项>

<项>→<因式>|<项>*<因式>|<项>/<因式>

<因式>→<变量>|<整数>|(<算术表达式>)

<关系表达式>→<算术表达式><关系符><算术表达式>

<变量>→<标识符>

<标识符>→<标识符><字母>|<标识符><数字>|<字母>

<整数>→0|<非零数字><泛整数>

<泛整数>→<数字>|<数字><泛整数>|ε

<关系符>→<|<=|==|>|>=|<>

<字母>

→A|B|C|D|E|F|G|H|I|J|K|L|M|N|O|P|Q|R|S|T|U|V|W|X|Y|Z

<非零数字>→1|2|3|4|5|6|7|8|9

<数字>→<非零数字>|0

<空>→

要求和提示:

词法分析阶段,可以打开任意位置和名称的源文件进行词法分析,可以进行非法字符和数字后边跟字母的错误判断,如果没有错误则提示“词法分析正确完成!”,并且可以选择输出token.txt(token文件)string.txt(符号表)两个文件;

1.词法分析程序的主要任务如下:

组织源程序的输入,识别出源程序中的各个基本语法单位(也称为单词或语法符号),按规则转换成二元式的形式;

删除无用的空白字符、回车符、及其它非实质性符号;

删除注解行;

为后面的语法和语义分析提供二元式链表;

单词

编码

单词

编码

标识符

1

<

15

正整数

2

<=

16

BEGIN

3

>

17

END

4

>=

18

IF

5

<>

19

THEN

6

==

20

ELSE

7

21

WHILE

8

22

DO

9

:=

23

INTEGER

10

24

+

11

(

25

-

12

26

*

13

/

14

1)

对标识符的长度控制在8个字符(包括8个)以内,超过的做截断处理;

2)

数字不大于65535,否则报错;

3)

能跳过源程序中的空白格:两个单词之间的任何空格,制表符,回车,换行都是白空格,除了用来分隔单词以外,没有意义;

4)

能跳过注释:

a)

接连出现的/*到下一次接连出现的*/之间的任何文字都是注释(多行);

b)

从某行接连出现的//到该行的结尾的任何文字都是注释(单行)。

3.怎样编写词法分析程序:

1)

预处理:把源文件一个字符一个字符的读入词法分析程序设置的输入字符结构体数组中(输入缓冲区),读入过程要删除注释,删除多余的白空格;

2)

从源程序字符数组中获得单词,

编码为二元式.:

二元式采用结构体数组存储,

把单词类型和词元记录下来。

分解单词的方法:

1)

Case多路转换语句根据单词的特点直接编写;

2)

通过描述单词的正规文法得到相应的有穷自动机,通过case多路转换语句完成有穷自动机的处理流程。

3.编写词法分析程序要注意的问题:

1)

检查词法是否有错误

检查是否有非法字符:如

@,

&,

!

检查标志符和数字是否满足限制条件

检查注释符号是否配对

2)

符分隔单词

能够区分两个单词的符号为界符

有些界符不是单词:如白空格

有些界符仅仅用来分隔:如;

有些界符本身还是源程序不可缺少的单词,如(,

),

+,

/,

等等

有些界符包含两个字符:如<>,

>=等等

3)

输出词法错误

如果有错误,需要报告词法错误的原因。并且要能够越过错误,分解下一个单词,直到源程序结束。

4)

输出的二元式流保存在二元式结构体数组中。

C语言的基本词法由三部分组成:符号集、关键字、保留字。

符号集就是一门语言中允许出现的字符的集合,C语言的符号集就是ASCⅡ码表中的一些字符,在键盘上不能直接得到(比如说响铃字符),C语言引入了转义字符的概念,利用反斜杠符号〃\〃后加上字母的一个字符组合来表示这些字符,当在源程序中遇到这类字符组合时,虽然这个字符组合是一个字符串的形式,但C语言仍会自动将之理解成某一特定的字符。比如〃\〃,C语言在处理这个字符组合时,会自动理解成回车换行符号。转义字符经过进一步引申应用,形成了另外两种形式:〃\ddd〃和〃\xnn〃,这里〃\〃后的ddd和xnn分别代表三位八进制和两位十六进制数(打头的〃x〃只是标明后面跟着的是十六进制数),这两种形式不再局限于表示不可打印的字符,它们可以表示ASCⅡ码表中的任意字符,只要把所需表示的字符的ASCII码转换成八进制数或十六进制数即可。比如说字母〃A〃,ASCII码为65,65的八进制和十六进制分别为101和x41,所以,字母A可表示为〃\101〃或〃\x41〃,对转义字符应认真理解。

标识符就是用以标识的符号。正如现实生活中给每一个人都取一个名字一样,C语言中的每一个对象(如函数、变量等)都必须取一个标识符以和其它对象区别开。在C语言中,这个标识符是一个字符串,这个字符串的选定有一定的规则:必须是以字母或下划线开头的字母与数字的序列。除了这个基本的规则外,C语言对标识符的命名还有几个限制需加以注意:①长度最好不要超过八个字符。因C中对标识符只处理前8个字符,超过8个长度的部分将被C自动忽略掉。〃ABCDEFGH1〃和〃ABCDEFH2〃是同一个标识符②标识符不要与保留字同名,最好也不要与C提供的标准标识符,如库函数重名③应注意C语言对大小写字母是敏感的,ABcd和abcd是两个不同的标识符。

关键字实际上就是一些特殊的标识符,又称保留字,这些保留字不允许用户对它重新定义。

认真看一下,有你要得答案