您当前的位置: 首页 > 

柳鲲鹏

暂无认证

  • 0浏览

    0关注

    4642博文

    0收益

  • 0浏览

    0点赞

    0打赏

    0留言

私信
关注
热门博文

自己写代码解析工具的注意事项

柳鲲鹏 发布时间:2019-06-16 18:07:28 ,浏览量:0

  因为工作需要,吾又写了一套代码解析工具。为什么要又呢?因为写过多次。这东西说起来玄乎,特别是编译原理,看得稀里糊涂,实际上呢?就是几个阶段,分词(根据规则切成不同的标记)、文法(是否符合规则)、语义(就是产生相应的编译结果)。对于咱们来讲,只关心分词即可。

  如果写代码解析工具,如何着手,需要注意什么?根据自己遇到的问题,总结如下:

  源码文件是什么编码。有时发现一直处理不对,其实就是编码错了。而编码一错,后面就不用提了。咱们一般是遇到的GBK、UTF8。

  解析时是采用被动模式(解析器得到一个标记,即调用回调),还是主动模式(由程序调用解析器的next())。考虑到有时需要向前看一个标记,所以吾建议使用主动模式。

  代码中的注释。注释中会包含大量的文本,必须作为一个整体看待。比如常见的//,/* */。

  文本字串。比如说'a', ‘\"'",abc\\123"。这些也必须作为一个整体切出来。这其中最需要注意的就是转义。

  分隔符。分隔符一般是空格、回车、换行、注释。

  算数。就是有效的标记。

  算子。+-*/[]()等等。

关注
打赏
1665724893
查看更多评论
立即登录/注册

微信扫码登录

0.0508s