编译原理之词法分析程序的设计与实现

一、程序要求（以python为例）。

1.词法分析程序（Lexical Analyzer）要求：

- 从左至右扫描构成源程序的字符流

-  识别出有词法意义的单词（Lexemes）

-  返回单词记录（单词类别，单词本身）

-  滤掉空格

-  跳过注释

-  发现词法错误

2.程序结构：

输入：字符流（什么输入方式，什么数据结构保存）

处理：

–遍历（什么遍历方式）

–词法规则

输出：单词流（什么输出形式）

–二元组

3.单词类别：

1.标识符（10）

2.无符号数（11）

3.保留字（一词一码）

4.运算符（一词一码）

5.界符（一词一码）

二、代码实现（以python为例）。

1.词法分析程序。

1 import re
 2 
 3 
 4 strs = "if sum >= 1000 then x : x - 1;#"+" "
 5 
 6 types = {'begin':1, 
 7          'if':2,
 8          'then':3,
 9          'while':4,
10          'do':5,
11          'end':6,
12          'l(l|d)*':10,
13          'dd*':11,
14          '+':13,
15          '-':14,
16          '*':15,
17          '/':16,
18          ':':17,
19          ':=':18,
20          '<':20,
21          '<=':21,
22          '<>':22,
23          '>':23,
24          '>=':24,
25          '=':25,
26          ';':26,
27          '(':27,
28          ')':28,
29          '#':0
30         }
31 
32 if __name__ == '__main__':
33     # strs = input('请输入程序代码：')+" " #补位
34     
35     index = 0
36     while index < len(strs):
37         keyIndex = 0
38         for key in types.keys():
39             if index+len(key) < len(strs):
40                 if strs[index:index+len(key)] == key and not re.match('^[=a-zA-Z0-9_-]$', strs[index+len(key)]):
41                     if not(strs[index] == '=' and re.match('^[<>]$', strs[index-1])):
42                         ss = strs[index:index+len(key)]
43                         print((ss, types.get(ss)))
44                 elif re.match('^[a-zA-Z0-9_]+', strs[index:]):
45                     ss = re.match('^([a-zA-Z0-9_]+)', strs[index:]).group()
46                     if not types.get(ss):
47                         if re.match('[a-zA-Z]+', ss):
48                             print((ss, '标识符'))
49                         elif re.match('\d+', ss):
50                             print((ss, '数字'))
51                         else:
52                             print((ss, '其他'))
53                     index += len(ss)
54             keyIndex+=1
55         index+=1

2.运行结果展示。