Compare commits
2 Commits
| Author | SHA1 | Date | |
|---|---|---|---|
| 8f34cdf891 | |||
| 70c8ed1d34 |
+27
-20
@@ -23,9 +23,12 @@ func (p *Parser) lexStart() (lexer.StateFn, error) {
|
||||
case IsNewLine(r):
|
||||
// new line
|
||||
p.lexNewLine(r)
|
||||
p.src.Discard()
|
||||
p.pos.StepLine()
|
||||
case IsSpace(r):
|
||||
// whitespace
|
||||
p.lexWhitespace()
|
||||
p.src.Discard()
|
||||
p.pos.Step()
|
||||
default:
|
||||
// token
|
||||
p.src.UnreadRune()
|
||||
@@ -44,28 +47,32 @@ func (p *Parser) lexToken() (lexer.StateFn, error) {
|
||||
return p.lexStart, nil
|
||||
}
|
||||
|
||||
func (p *Parser) lexWhitespace() {
|
||||
p.src.Discard()
|
||||
p.pos.Step()
|
||||
}
|
||||
|
||||
func (p *Parser) lexNewLine(r1 rune) {
|
||||
// r1 is warrantied to be either \n or \r
|
||||
r2, _, err := p.src.ReadRune()
|
||||
|
||||
switch {
|
||||
case r1 == '\r' && r2 == '\n':
|
||||
// CR LN
|
||||
case r1 == '\r' && err == nil:
|
||||
// CR
|
||||
p.src.UnreadRune()
|
||||
case r2 == '\r':
|
||||
// LN CR
|
||||
case err == nil:
|
||||
// LN
|
||||
p.src.UnreadRune()
|
||||
switch r1 {
|
||||
case '\r':
|
||||
switch {
|
||||
case r2 == '\n':
|
||||
// CR LN
|
||||
case err == nil:
|
||||
// CR
|
||||
p.src.UnreadRune()
|
||||
default:
|
||||
// CR EOF
|
||||
}
|
||||
case '\n':
|
||||
switch {
|
||||
case r2 == '\r':
|
||||
// LN CR
|
||||
case err == nil:
|
||||
// LN
|
||||
p.src.UnreadRune()
|
||||
default:
|
||||
// LN EOF
|
||||
}
|
||||
default:
|
||||
panic("unreachable")
|
||||
}
|
||||
|
||||
p.src.Discard()
|
||||
p.pos.StepLine()
|
||||
}
|
||||
|
||||
Reference in New Issue
Block a user