LR(1)语法分析器生成器(生成Action表和Goto表)java实现(一)

  • 2019 年 10 月 3 日
  • 筆記

  序言 : 在看过<自己实现编译器链接器>源码之后,最近在看<编译器设计>,但感觉伪代码还是有点太浮空。没有掌握的感觉,也因为内网几乎没有LR(1)语法分析器生成器的内容,于是我就自己做了一个LR(1)语法分析器生成器。这个生成器除部分代码借鉴了<编译器设计>这本书有上的一些伪代码之外,其他皆为自己写的,可能不是那么完美,但也具有一些借鉴作用。在这里我会将我的思路以及实现代码全部都放在这个贴上。

  说明 : 语法分析器生成器被称为编译器中的编译器,其方便快捷的特点使得在语法分析的过程中,许多编译器编写者在语法分析部分都喜欢采用的方法。语法分析器分为两类,一为生成语法分析器,其中包含生成表驱动语法分析器和生成代码语法分析器,二为手动编码语法分析器(顾明思意,手动编码就是自己写,具有可定制特殊语法的特点)。在这里是LR(1)表驱动语法分析器生成器。主要任务就是将BNF范式语句,转换为Action表和Goto表,然后编译器编写者利用这两个表来进行状态的转移去分析语法。

  首先观看这贴所需 :

  1) 了解 LR(1)的概念

  2) 了解表驱动语法分析器的大概实现原理

  3) 了解BNF范式

  4) 了解FA(有限状态自动机)

  5) 具有一定的数据结构与算法基础

  我的LR(1)语法分析器生成器介绍 :

  输入格式例子 : 

               start : <Goal>;  			<Goal> ::= <Expr>;  			<Expr> ::= <Term><Expr'>;  			<Expr'> ::= "+" <Term><Expr'>  					|	"-" <Term><Expr'>  					|	"ε";  			<Term> ::= <Factor><Term'>;  			<Term'> ::= "*" <Factor><Term'>  					|	"/" <Factor><Term'>  					|	"ε";  			<Factor> ::= "("<Expr>")"  					|	"num"  					|	"name";  			#

  首先,我的生成器采用的是标准输入(控制台输入),以#作为整个范式语句的结尾,这也是为了避免大量的代码去进行io操作之类的…在这里输入并非支持完整的BNF语法,而是取消了可选项[],和闭包{}等操作。可以将BNF范式以递归的形式代替闭包{},以枚举(或)的形式代替可选项。这也是为了避免出现太过复杂的数据形式去表示BNF范式。

  输入符号类型集 : 终结符(T),非终结符(NT),定义符号(::=),或符号(|)。

  特殊要求 :

  1) 为了词法分析的便捷,对终结符,非终结符的输入作出了一定的限制 : 终结符被包含于””之内,非终结符被包含于<>之内。

  2) 每句话以;结尾。

  3) 利用start : <NT>;来确定目标(开始)非终结符符号。 

  4) 特殊终结谷 : 空 “ε”,空是一个特殊的字符,也就是没有。

  对于代码实现的第一步考虑即 : 如何将BNF范式语句字符串转换为一个中间格式的数据表示?

  首先因为我将BNF削剪了,新语法的BNF产生式只需要利用一个NTNode来表示。因为每个产生式左端都为一个非终结符,而右端则用List<List<Integer>>来表示,所以每个NTNode包含这个非终结符的名称和这个List<List<Integer>>二维链表表示产生式右端。在这个List<List<Integer>>里,我是用一个整型来表示每个符号,首先我们可以先将终结符和非终结符映射在一张链表中,而这个表中的下标也就代表这个终结符或非终结符,但使用整型既可以表示终结符,也可以表示非终结符,这是怎么做到的呢?我采用一个 private static final int MASK = 0X80000000;来进行区分,如若这个符号是终结符,那么在表中我将其或上一个MASK,因为不可能有Integer.MAX_VALUE个T(终结符)或NT(非终结符),所以这必然是有效的。而当我们要访问时,即可通过这个链表中的元素来知道它是一个T还是NT,并且能找到它在对应的T链表或NT链表中的位置,在位置上记载这个符号的名称就可以得到它的名称了。又因为符号名称和符号所在下标是一个双射关系,所以我采用了一个Hash_Map来存储,非终结符Map,key : 非终结符名称,value : 非终结符在NTNode链表中的下标,终结符同理。这样就很好地用数据结构表示了BNF范式语句。

  代码版本1.0 : 

  实现了将BNF字符串使用CodeAnalyzer类转换成BnfContainer。

 

package cn.vizdl.LR1;    import java.util.ArrayList;  import java.util.HashMap;  import java.util.List;  import java.util.Scanner;    /*  项目名 :  LR(1) parser generator (LR(1)语法分析器生成器)  项目分析 :  	输入 : 输入某文件内存地址。且内部采用  <Expr> ::=  <Term> + <Factor>; 的结构输入的LR(1)语法。  	这里的仅支持 BNF范式内部的 终结符,非终结符,或运算,;(表示产生式结束),::=(表示为定义为)  	在这里不支持闭包,也就是{},因为闭包可以转换为非终结符的递归。  		输入文本格式 :  			start : <aim_name>  //aim_name表示起始符号名称  		例子 :  			start : <Goal>;  			<Goal> ::= <Expr>;  			<Expr> ::= <Expr> "+" <Term> | <Expr> "-" <Term>;  			<Term> ::= <Term> "*" <Factor> | <Term> "/" <Factor>;  			<Factor> ::= "number";  			#  		以#作为结尾  		输入分析 : 因为上下文无关语法是一个四元组,而LR(1)语法又是上下文无关语法的子集。所以采用四元组的形式来表示LR(1)语法,是不会损失信息的。  			四元组 (T,NT,S,P)  			T : 终结符集合  			NT : 非终结符集合  			S : 语法的起始符号(非终结符)  			P : 产生式集合  			T, NT都可以用一个hash_set来表示。  			P 可以分为两个部分,左侧一定是一个非终结符,右侧是一个支持或运算的产生式。  			产生式左端可以使用Node节点来表示,产生式右端可以使用多个链表(具体有几个取决于当前产生式有多少个或运算符)来表示。  			将当下语法分为三级,第一级是Expr,第二级别是Term,第三个级别是Factor  			<Expr> ::= <Term> { "|" <Term>}; //产生式(表达式)可以表达成多个小句子 或 起来  			<Term> ::= <Factor> { "+" <Factor>}; // + 表示连接  			<Factor> ::= <T> | <NT>  	输出 :Action 和 GoTo 表。  */  public class Demo {  	public static void main (String[] args) {  		//将输入的产生式都放入ch中  		Scanner scanner = new Scanner(System.in);  		String s = new String();  		String c;  		//输入处理...  		while (true) {  			c = scanner.nextLine();  			int i;  			for (i = 0; i < c.length(); i++) {  				if (c.charAt(i) != '#')  					s += c.charAt(i);  				else {  					scanner.close();  					break;  				}  			}  			if (i != c.length()) {  				break;  			}  		}  		//  		BnfContainer bc = new BnfContainer();  		CodeAnalyzer ca = new CodeAnalyzer(s, bc);  		ca.analyze();  		bc.printBNF();    	}  }    /**   * 用来装载BNF范式的信息。   */  class BnfContainer {  	/**  	 * 内部类,NT的节点。  	 * @author HP  	 */  	class NTNode {  		private String name; //符号id  		private List<List<Integer>> expr;  		public NTNode(String name) {  			expr = new ArrayList<List<Integer>>();  			this.name = name;  		}  		/**  		 * 添加一条expr  		 * 返回这个expr的下标  		 * @return  		 */  		public int addExpr() {  			expr.add(new ArrayList<Integer>());  			return expr.size() - 1;  		}  		/**  		 * 向下标为idx的expr添加value  		 * @param idx  		 * @param value  		 */  		public void addExprElement (int idx, int value) {  			this.expr.get(idx).add(value);  		}  		/**  		 * 向最后一个表达式添加value  		 * @param value  		 */  		public void addExprElement (int value) {  			this.addExprElement(this.expr.size() - 1, value);  		}    		public void printNTNode () {  			System.out.println("NTNumber : " + this.name);  			for (List<Integer> list : this.expr) {  				for (Integer val : list) {  					System.out.print(val + " ");  				}System.out.println();  			}  		}  	}      	//常量定义  	/**  	 * 这两个常量只出现在终结符  	 * 因为要将终结符和非终结符  	 * 放在同一个链表中  	 * 所以使用这个来辨别终结符和非终结符。  	 */  	private static final int MASK = 0X80000000; //掩码,用来给终结符做掩饰的编码。  	private static final int DECODE = 0X7fffffff; //解码,破译掩码得到原本的编码。  	/**  	 * 非终结符Map  	 * key : 非终结符名称  	 * value : 非终结符在production链表中的下标  	 */  	private HashMap<String,Integer> NTMap;  	/**  	 * 终结符Map  	 * key : 终结符名称  	 * value : 终结符在T链表中的下标  	 */  	private HashMap<String,Integer> TMap;  	// 终结符链表  	private ArrayList<String> T;  	// 产生式链表,因为一个非终结符一个产生式具有双射关系。  	private ArrayList<NTNode> production;  	//如若未设置,默认为0  	public int startIndex = 0;  	public BnfContainer() {  		//内部数据结构初始化  		NTMap = new HashMap<String,Integer>();  		TMap = new HashMap<String,Integer>();  		T = new ArrayList<String>();  		production = new ArrayList<NTNode>();  	}    	/**  	 * 设置开始非终结符  	 * @param name  	 */  	public void setStart (String name) {  		this.addNT(name);  		this.startIndex = this.NTMap.get(name);  	}    	/**  	 * 将非终结符的名字传入,即可添加一个非终结符节点。  	 * @param name  	 */  	public void addNT (String name) {  		if (name.isEmpty()) {  			System.out.println("终结符不可为空");  			System.exit(-1);  		}  		if (!NTMap.containsKey(name)) {  			NTNode node = new NTNode(name);  			NTMap.put(name, production.size());  			production.add(node);  		}  	}    	/**  	 * 将终结符传入,增加非终结符。  	 * @param name  	 */  	public void addT(String name) {  		if (!this.TMap.containsKey(name)) {  			this.TMap.put(name, T.size());  //System.out.println(name);  			this.T.add(name);  		}  	}    	/**  	 * 输入终结符名称  	 * 获取终结符编号  	 * 如若存在当前终结符,返回编号  	 * 否则返回-1,输出错误警告并且退出。  	 * @param name  	 * @return  	 */  	private int getTSerialNumber (String name) {  		this.notFindTWarning(name);  		return this.TMap.get(name) | BnfContainer.MASK;  	}    	/**  	 * 输入非终结符名称  	 * 获取非终结符编号  	 * 如若存在当前非终结符,返回编号  	 * 否则返回-1,输出错误警告并且退出。  	 * @param name  	 * @return  	 */  	private int getNTSerialNumber (String name) {  		this.notFindNTWarning(name);  		return this.NTMap.get(name);  	}    	/**  	 * 创建新的表达式并添加到名称为name的非终结符节点上  	 * 返回表达式编号  	 */  	public int creatNewExper(String name) {  		this.notFindNTWarning(name);  		NTNode ntn = this.production.get(this.NTMap.get(name));  		return ntn.addExpr();  	}  	/**  	 * 向左端非终结符名称为name的产生式  	 * 第idx表达式添加元素  	 * @param name  	 * @param idx  	 * @param isNt  	 */  	public void addExpeElement(String name, int idx,boolean isNt, String addElement) {  		NTNode ntn = this.production.get(this.NTMap.get(name));  		if (isNt) {  			this.notFindNTWarning(name);  			this.notFindNTWarning(addElement);  			ntn.addExprElement(idx, this.getNTSerialNumber(addElement));  		}else {  			this.addT(addElement);  			ntn.addExprElement(idx, this.getTSerialNumber(addElement));  		}  	}    	/**  	 * 向左端非终结符名称为name的产生式  	 * 最后一个表达式添加元素  	 * @param name  	 * @param list  	 */  	public void addExpeElement(String name,boolean isNt, String addElement) {  		NTNode ntn = this.production.get(this.NTMap.get(name));  		if (isNt) {  			this.notFindNTWarning(name);  			this.notFindNTWarning(addElement);  			ntn.addExprElement(this.getNTSerialNumber(addElement));  		}else {  			this.addT(addElement);  			ntn.addExprElement(this.getTSerialNumber(addElement));  		}  	}    	/**  	 * 如若找到了当前非终结符,什么都不会发生。  	 * 否则会提示并且退出程序  	 * @param name  	 */  	private void notFindNTWarning(String name) {  		if (!this.NTMap.containsKey(name)) {  			System.out.println("错误的非终结符" + name + "!");  			System.exit(-1);  		}  	}  	/**  	 * 如若找到了当前终结符,什么都不会发生。  	 * 否则会提示并且退出程序  	 * @param name  	 */  	private void notFindTWarning(String name) {  		if (!this.TMap.containsKey(name)) {  			System.out.println("错误的终结符" + name + "!");  			System.exit(-1);  		}  	}    	public void printBNF() {  		System.out.println("开始非终结符为 : " + this.production.get(startIndex).name);  		System.out.println("终结符对应表 : ");  		for (int i = 0; i < this.T.size(); i++) {  			System.out.println(this.T.get(i) + " : " + (i | MASK));  		}  		System.out.println("非终结符对应表 : ");  		for (int i = 0; i < this.production.size(); i++) {  			System.out.println(this.production.get(i).name + " : " + i);  		}  		for (NTNode ntn : this.production) {  			ntn.printNTNode();  		}  	}  }    /**   * 代码分析器   * 可以将代码转换为信息等价的数据结构   */  class CodeAnalyzer {  	class Token{  		boolean isNt;  		String name;  		public Token (boolean isNt, String name) {  			this.isNt = isNt;  			this.name = name;  		}  	}  	private char[] text;  	private int textSize = 0; //字符串有效长度  	private int point = 0; //text解析进度的指针  	private BnfContainer bc;  	private Token token;  	String left; //左侧非终结符  	private int count = 0; //记录当前已经解析到哪个产生式了  	public CodeAnalyzer (String text, BnfContainer bc) {  		this.bc = bc;  		//初始化代码分析器  		this.initText(text);  		this.initStartSymbol();  		this.initCodeAnalyzer();  	}  	/**  	 * 输入字符串文本,返回处理完毕的字符数组。  	 * @param s  	 * @return  	 */  	private void initText(String s) {  		this.text = s.toCharArray();  		int idx = 0;  		//将字符串变为一个紧凑的字符数组(去除一些妨碍的字符)  		while (idx < text.length) {  			if (text[idx] == 'r' || text[idx] == 'n' || text[idx] == 't' || text[idx] == ' ') {  				idx++;  			}else {  				text[textSize++] = text[idx++];  			}  		}  	}    	private void initStartSymbol() {  		// 验证是否存在start:<  		point = 0;  		char[] needle = { 's', 't', 'a', 'r', 't', ':', '<' };  		if (textSize <= needle.length) {  			this.notFindStartNT();  		}  		point = 0;  		while (point < needle.length) {  			if (needle[point] == text[point]) {  				point++;  			} else {  				this.notFindStartNT();  			}  		}  		point = needle.length;  		while (point < textSize && text[point] != '>') {  			point++;  		}  		this.bc.setStart(new String(text, needle.length, point - needle.length));  		this.skip(Type.RT);  		this.skip(Type.SEMICOLON);  	}  	/**  	 * 通过skip来跳过字符  	 */  	enum Type{  		LT, //左尖括号  		RT, //右尖括号  		SEMICOLON, //分号  		QUOTE, //双引号  		OR, //或  		COLON, // :  		EQ, //等于号  	}  	private void skip (Type t) {  		switch(t) {  		case LT:  			this.skip('<');  			break;  		case RT:  			this.skip('>');  			break;  		case OR:  			this.skip('|');  			break;  		case SEMICOLON:  			this.skip(';');  			break;  		case QUOTE:  			this.skip('"');  			break;  		case COLON:  			this.skip(':');  			break;  		case EQ:  			this.skip('=');  			break;  		}  	}  	private void skip (char c) {  		if (point >= this.textSize || this.text[point] != c) {  			System.out.println("第" + this.count + "个产生式,缺少符号  " + c);  			System.exit(-1);  		}  		point++;  	}  	/**  	 * 报错 : 没有找到目标(开始)非终结符号! 并退出程序。  	 */  	private void notFindStartNT() {  		System.out.println("没有找到目标非终结符号!");  		System.exit(-1);  	}    	/**  	 * 之所以一开始就要添加非终结符,而不在解析BNF时候添加  	 * 是因为,非终结符存在定义的问题,如若 没有定义  	 * 但有使用(只在右侧出现,未在左侧定义),这个就是错误的。  	 */  	private void initCodeAnalyzer() {  		int idx = this.point;  		this.point = 0;  		this.count = 0;  		while (true) {  			while (this.point < textSize && text[this.point] != ';') {  				this.point++;  			}this.point++;  			this.count++;  			//如若分号后面没有左括号  			if (this.point >= textSize) {  				break;  			}  			String name = this.getNT();  			bc.addNT(name);  		}this.count = 0;  		this.point = idx;  	}    	/**  	 * BNF  	 * 从point开始解析字符串。  	 * <Goal> ::= {<Production>}  	 * <Production> ::= <左侧非终结符> "::=" <Expr>;  	 * <Expr> ::= <Term> { "|" <Term>}";";  	 * <Term> ::= {<Factor>}; 	//Term在这就是多个终结符或非终结符相连接  	 * <Factor> ::= <T> | <NT>  	 */  	public void analyze() {  		while (point < this.textSize) {  			this.count++;  			production();  		}  	}    	public void production(){  		//先跳过左侧非终结符  		this.left = this.getNT();  		this.skipDefineSymol();  		this.expr();  	}  	/**  	 * 跳过 ::=  	 */  	public void skipDefineSymol() {  		skip(Type.COLON);  		skip(Type.COLON);  		skip(Type.EQ);  	}  	/**  	 * 获取非终结符  	 * <xxx>  	 */  	public String getNT () {  		skip(Type.LT);  		StringBuilder res = new StringBuilder();  		while (this.point < this.textSize && text[this.point] != '>') {  			res.append(text[this.point++]);  		}  		skip(Type.RT);  		return res.toString();  	}    	/**  	 * 当前指针指向 "T" 中第一个"  	 * @return  	 */  	public String getT() {  		this.skip(Type.QUOTE);  		StringBuilder res = new StringBuilder();  		while (this.point < this.textSize && this.text[this.point] != '"') {  			res.append(text[this.point++]);  		}  		this.skip(Type.QUOTE);  		return res.toString();  	}    	/**  	 * 当前指针指向 ::= <T>... 中 = 后一个符号  	 */  	public void expr(){  		this.term();  		while (this.point < this.textSize && text[this.point] == '|') {  			this.skip(Type.OR);  			term();  		}this.skip(Type.SEMICOLON);  	}    	/**  	 * 如若还有符号,当前符号指向 终结符或非终结符的符号  < 或者 "  	 */  	public void term(){  		//创建一个属于当前term的链表  		bc.creatNewExper(this.left);  		while (this.point < this.textSize && (text[this.point] == '"' || text[this.point] == '<')) {  			factor();  			bc.addExpeElement(this.left, token.isNt, token.name);  		}  	}    	/**  	 * 通过factor获取token  	 */  	public void factor(){  		//非终结符  		if (text[this.point] == '"') {  			String name = this.getT();  			this.token = new Token(false, name);  		}else {  			String name = this.getNT();  			token = new Token (true, name);  		}  	}  }  

   下一篇完整代码连接 : https://www.cnblogs.com/vizdl/p/11331278.html