Compare commits
2 Commits
| Author | SHA1 | Date | |
|---|---|---|---|
| ed04fe873b | |||
| 2b9996da7c |
+11
-9
@@ -22,15 +22,10 @@ func (p *Parser) lexStart() (lexer.StateFn, error) {
|
||||
return nil, err
|
||||
case IsNewLine(r):
|
||||
// new line
|
||||
p.src.UnreadRune()
|
||||
p.lexNewLine()
|
||||
|
||||
p.src.Discard()
|
||||
p.pos.StepLine()
|
||||
p.lexNewLine(r)
|
||||
case IsSpace(r):
|
||||
// whitespace
|
||||
p.src.Discard()
|
||||
p.pos.Step()
|
||||
p.lexWhitespace()
|
||||
default:
|
||||
// token
|
||||
p.src.UnreadRune()
|
||||
@@ -49,9 +44,13 @@ func (p *Parser) lexToken() (lexer.StateFn, error) {
|
||||
return p.lexStart, nil
|
||||
}
|
||||
|
||||
func (p *Parser) lexNewLine() {
|
||||
func (p *Parser) lexWhitespace() {
|
||||
p.src.Discard()
|
||||
p.pos.Step()
|
||||
}
|
||||
|
||||
func (p *Parser) lexNewLine(r1 rune) {
|
||||
// r1 is warrantied to be either \n or \r
|
||||
r1, _, _ := p.src.ReadRune()
|
||||
r2, _, err := p.src.ReadRune()
|
||||
|
||||
switch {
|
||||
@@ -66,4 +65,7 @@ func (p *Parser) lexNewLine() {
|
||||
// LN
|
||||
p.src.UnreadRune()
|
||||
}
|
||||
|
||||
p.src.Discard()
|
||||
p.pos.StepLine()
|
||||
}
|
||||
|
||||
Reference in New Issue
Block a user