Compare commits
2 Commits
| Author | SHA1 | Date | |
|---|---|---|---|
| ed04fe873b | |||
| 2b9996da7c |
+20
-27
@@ -23,12 +23,9 @@ func (p *Parser) lexStart() (lexer.StateFn, error) {
|
|||||||
case IsNewLine(r):
|
case IsNewLine(r):
|
||||||
// new line
|
// new line
|
||||||
p.lexNewLine(r)
|
p.lexNewLine(r)
|
||||||
p.src.Discard()
|
|
||||||
p.pos.StepLine()
|
|
||||||
case IsSpace(r):
|
case IsSpace(r):
|
||||||
// whitespace
|
// whitespace
|
||||||
p.src.Discard()
|
p.lexWhitespace()
|
||||||
p.pos.Step()
|
|
||||||
default:
|
default:
|
||||||
// token
|
// token
|
||||||
p.src.UnreadRune()
|
p.src.UnreadRune()
|
||||||
@@ -47,32 +44,28 @@ func (p *Parser) lexToken() (lexer.StateFn, error) {
|
|||||||
return p.lexStart, nil
|
return p.lexStart, nil
|
||||||
}
|
}
|
||||||
|
|
||||||
|
func (p *Parser) lexWhitespace() {
|
||||||
|
p.src.Discard()
|
||||||
|
p.pos.Step()
|
||||||
|
}
|
||||||
|
|
||||||
func (p *Parser) lexNewLine(r1 rune) {
|
func (p *Parser) lexNewLine(r1 rune) {
|
||||||
// r1 is warrantied to be either \n or \r
|
// r1 is warrantied to be either \n or \r
|
||||||
r2, _, err := p.src.ReadRune()
|
r2, _, err := p.src.ReadRune()
|
||||||
|
|
||||||
switch r1 {
|
switch {
|
||||||
case '\r':
|
case r1 == '\r' && r2 == '\n':
|
||||||
switch {
|
// CR LN
|
||||||
case r2 == '\n':
|
case r1 == '\r' && err == nil:
|
||||||
// CR LN
|
// CR
|
||||||
case err == nil:
|
p.src.UnreadRune()
|
||||||
// CR
|
case r2 == '\r':
|
||||||
p.src.UnreadRune()
|
// LN CR
|
||||||
default:
|
case err == nil:
|
||||||
// CR EOF
|
// LN
|
||||||
}
|
p.src.UnreadRune()
|
||||||
case '\n':
|
|
||||||
switch {
|
|
||||||
case r2 == '\r':
|
|
||||||
// LN CR
|
|
||||||
case err == nil:
|
|
||||||
// LN
|
|
||||||
p.src.UnreadRune()
|
|
||||||
default:
|
|
||||||
// LN EOF
|
|
||||||
}
|
|
||||||
default:
|
|
||||||
panic("unreachable")
|
|
||||||
}
|
}
|
||||||
|
|
||||||
|
p.src.Discard()
|
||||||
|
p.pos.StepLine()
|
||||||
}
|
}
|
||||||
|
|||||||
Reference in New Issue
Block a user