Compare commits
2 Commits
| Author | SHA1 | Date | |
|---|---|---|---|
| ed04fe873b | |||
| 2b9996da7c |
+11
-9
@@ -22,15 +22,10 @@ func (p *Parser) lexStart() (lexer.StateFn, error) {
|
|||||||
return nil, err
|
return nil, err
|
||||||
case IsNewLine(r):
|
case IsNewLine(r):
|
||||||
// new line
|
// new line
|
||||||
p.src.UnreadRune()
|
p.lexNewLine(r)
|
||||||
p.lexNewLine()
|
|
||||||
|
|
||||||
p.src.Discard()
|
|
||||||
p.pos.StepLine()
|
|
||||||
case IsSpace(r):
|
case IsSpace(r):
|
||||||
// whitespace
|
// whitespace
|
||||||
p.src.Discard()
|
p.lexWhitespace()
|
||||||
p.pos.Step()
|
|
||||||
default:
|
default:
|
||||||
// token
|
// token
|
||||||
p.src.UnreadRune()
|
p.src.UnreadRune()
|
||||||
@@ -49,9 +44,13 @@ func (p *Parser) lexToken() (lexer.StateFn, error) {
|
|||||||
return p.lexStart, nil
|
return p.lexStart, nil
|
||||||
}
|
}
|
||||||
|
|
||||||
func (p *Parser) lexNewLine() {
|
func (p *Parser) lexWhitespace() {
|
||||||
|
p.src.Discard()
|
||||||
|
p.pos.Step()
|
||||||
|
}
|
||||||
|
|
||||||
|
func (p *Parser) lexNewLine(r1 rune) {
|
||||||
// r1 is warrantied to be either \n or \r
|
// r1 is warrantied to be either \n or \r
|
||||||
r1, _, _ := p.src.ReadRune()
|
|
||||||
r2, _, err := p.src.ReadRune()
|
r2, _, err := p.src.ReadRune()
|
||||||
|
|
||||||
switch {
|
switch {
|
||||||
@@ -66,4 +65,7 @@ func (p *Parser) lexNewLine() {
|
|||||||
// LN
|
// LN
|
||||||
p.src.UnreadRune()
|
p.src.UnreadRune()
|
||||||
}
|
}
|
||||||
|
|
||||||
|
p.src.Discard()
|
||||||
|
p.pos.StepLine()
|
||||||
}
|
}
|
||||||
|
|||||||
Reference in New Issue
Block a user