Initial Commit

src/token.rs

@@ -0,0 +1,88 @@
+//! The Token defines an interface between lexer and parser
+
+use crate::span::Span;
+
+#[derive(Clone, Debug)]
+pub struct Token {
+    pub lexeme: String,
+    pub kind: TKind,
+    pub span: Span,
+}
+
+#[derive(Clone, Copy, Debug, PartialEq, Eq)]
+pub enum TKind {
+    Comment,
+    Break,
+    Const,
+    Do,
+    Else,
+    False,
+    Fn,
+    If,
+    Let,
+    Loop,
+    Macro,
+    Match,
+    Return,
+    True,
+    While,
+
+    Identifier, // or Keyword
+    Character,
+    String,
+    Integer,    // 0(x[0-9A-Fa-f]* | d[0-9]* | o[0-7]* | b[0-1]*) | [1-9][0-9]*
+    LCurly,     // {
+    RCurly,     // }
+    LBrack,     // [
+    RBrack,     // ]
+    LParen,     // (
+    RParen,     // )
+    Amp,        // &
+    AmpAmp,     // &&
+    AmpEq,      // &=
+    Arrow,      // ->
+    At,         // @
+    Backslash,  // \
+    Bang,       // !
+    BangBang,   // !!
+    BangEq,     // !=
+    Bar,        // |
+    BarBar,     // ||
+    BarEq,      // |=
+    Colon,      // :
+    ColonColon, // ::
+    Comma,      // ,
+    Dot,        // .
+    DotDot,     // ..
+    DotDotEq,   // ..=
+    Eq,         // =
+    EqEq,       // ==
+    FatArrow,   // =>
+    Grave,      // `
+    Gt,         // >
+    GtEq,       // >=
+    GtGt,       // >>
+    GtGtEq,     // >>=
+    Hash,       // #
+    HashBang,   // #!
+    Lt,         // <
+    LtEq,       // <=
+    LtLt,       // <<
+    LtLtEq,     // <<=
+    Minus,      // -
+    MinusEq,    // -=
+    Plus,       // +
+    PlusEq,     // +=
+    Question,   // ?
+    Rem,        // %
+    RemEq,      // %=
+    Semi,       // ;
+    Slash,      // /
+    SlashEq,    // /=
+    Star,       // *
+    StarEq,     // *=
+    Tilde,      // ~
+    Xor,        // ^
+    XorEq,      // ^=
+    XorXor,     // ^^
+}