Compare commits
3 Commits
| Author | SHA1 | Date | |
|---|---|---|---|
| 5946932fc9 | |||
| 121485ac3c | |||
| 328bf79101 |
Vendored
-7
@@ -1,7 +0,0 @@
|
|||||||
{
|
|
||||||
"cSpell.words": [
|
|
||||||
"asciigoat",
|
|
||||||
"Subname",
|
|
||||||
"unescapes"
|
|
||||||
]
|
|
||||||
}
|
|
||||||
@@ -53,12 +53,6 @@ func (field Field) String() string {
|
|||||||
return buf.String()
|
return buf.String()
|
||||||
}
|
}
|
||||||
|
|
||||||
// GoString generates a string output for "%#v"
|
|
||||||
func (*Field) GoString() string {
|
|
||||||
var buf bytes.Buffer
|
|
||||||
return buf.String()
|
|
||||||
}
|
|
||||||
|
|
||||||
func writeSectionToBuffer(w *bytes.Buffer, sec *Section, nl string) int {
|
func writeSectionToBuffer(w *bytes.Buffer, sec *Section, nl string) int {
|
||||||
var written, n int
|
var written, n int
|
||||||
|
|
||||||
@@ -96,12 +90,6 @@ func (sec *Section) String() string {
|
|||||||
return buf.String()
|
return buf.String()
|
||||||
}
|
}
|
||||||
|
|
||||||
// GoString generates a string output for "%#v"
|
|
||||||
func (*Section) GoString() string {
|
|
||||||
var buf bytes.Buffer
|
|
||||||
return buf.String()
|
|
||||||
}
|
|
||||||
|
|
||||||
// WriteTo writes a INI representation of the document
|
// WriteTo writes a INI representation of the document
|
||||||
// onto the provided writer.
|
// onto the provided writer.
|
||||||
func (doc *Document) WriteTo(w io.Writer) (int64, error) {
|
func (doc *Document) WriteTo(w io.Writer) (int64, error) {
|
||||||
@@ -114,9 +102,3 @@ func (doc *Document) String() string {
|
|||||||
buf := doc.AsBuffer(WriteNewLine)
|
buf := doc.AsBuffer(WriteNewLine)
|
||||||
return buf.String()
|
return buf.String()
|
||||||
}
|
}
|
||||||
|
|
||||||
// GoString generates a string output for "%#v"
|
|
||||||
func (Document) GoString() string {
|
|
||||||
var buf bytes.Buffer
|
|
||||||
return buf.String()
|
|
||||||
}
|
|
||||||
|
|||||||
-49
@@ -1,49 +0,0 @@
|
|||||||
package ini
|
|
||||||
|
|
||||||
import (
|
|
||||||
"bytes"
|
|
||||||
"io"
|
|
||||||
"strings"
|
|
||||||
|
|
||||||
"asciigoat.org/core"
|
|
||||||
"asciigoat.org/ini/parser"
|
|
||||||
)
|
|
||||||
|
|
||||||
// Decoder ...
|
|
||||||
type Decoder struct {
|
|
||||||
io.Closer
|
|
||||||
|
|
||||||
p *parser.Parser
|
|
||||||
}
|
|
||||||
|
|
||||||
// Decode ...
|
|
||||||
func (dec *Decoder) Decode() error {
|
|
||||||
defer dec.Close()
|
|
||||||
|
|
||||||
return dec.p.Run()
|
|
||||||
}
|
|
||||||
|
|
||||||
// NewDecoder creates a Decoder over the provided [io.Reader]
|
|
||||||
func NewDecoder(r io.Reader) *Decoder {
|
|
||||||
rc := core.NewReadCloser(r)
|
|
||||||
switch {
|
|
||||||
case rc == nil:
|
|
||||||
return nil
|
|
||||||
default:
|
|
||||||
dec := &Decoder{
|
|
||||||
p: parser.NewParser(rc),
|
|
||||||
Closer: rc,
|
|
||||||
}
|
|
||||||
return dec
|
|
||||||
}
|
|
||||||
}
|
|
||||||
|
|
||||||
// NewDecoderBytes creates a Decoder over a provided bytes array
|
|
||||||
func NewDecoderBytes(b []byte) *Decoder {
|
|
||||||
return NewDecoder(bytes.NewReader(b))
|
|
||||||
}
|
|
||||||
|
|
||||||
// NewDecoderString creates a Decoder over a provided string of data
|
|
||||||
func NewDecoderString(s string) *Decoder {
|
|
||||||
return NewDecoder(strings.NewReader(s))
|
|
||||||
}
|
|
||||||
@@ -8,7 +8,7 @@ replace (
|
|||||||
)
|
)
|
||||||
|
|
||||||
require (
|
require (
|
||||||
asciigoat.org/core v0.3.9
|
asciigoat.org/core v0.3.7
|
||||||
github.com/mgechev/revive v1.3.3
|
github.com/mgechev/revive v1.3.3
|
||||||
golang.org/x/tools v0.12.0
|
golang.org/x/tools v0.12.0
|
||||||
)
|
)
|
||||||
|
|||||||
+46
-17
@@ -5,42 +5,71 @@ import "asciigoat.org/core/lexer"
|
|||||||
// Run parses the source
|
// Run parses the source
|
||||||
func (p *Parser) Run() error {
|
func (p *Parser) Run() error {
|
||||||
p.setDefaults()
|
p.setDefaults()
|
||||||
|
p.pos.Reset()
|
||||||
|
|
||||||
return lexer.Run(p.lexStart)
|
return lexer.Run(p.lexStart)
|
||||||
}
|
}
|
||||||
|
|
||||||
func (p *Parser) lexStart() (lexer.StateFn, error) {
|
func (p *Parser) lexStart() (lexer.StateFn, error) {
|
||||||
for {
|
for {
|
||||||
r, _, err := p.p.ReadRune()
|
r, _, err := p.src.ReadRune()
|
||||||
switch {
|
switch {
|
||||||
case err != nil:
|
case err != nil:
|
||||||
return p.emitError("", err)
|
return p.emitError("", err)
|
||||||
case IsNewLine(r):
|
case IsNewLine(r):
|
||||||
// new line
|
// new line
|
||||||
p.p.UnreadRune()
|
p.lexMoreNewLine(r)
|
||||||
p.p.AcceptNewLine()
|
|
||||||
p.stepLine()
|
p.stepLine()
|
||||||
case IsSpace(r):
|
case IsSpace(r):
|
||||||
// whitespace
|
// whitespace
|
||||||
p.stepString()
|
p.stepRune()
|
||||||
case IsCommentStart(r):
|
case IsCommentStart(r):
|
||||||
// switch to comment lexer
|
// switch to comment lexer
|
||||||
p.p.UnreadRune()
|
p.src.UnreadRune()
|
||||||
return p.lexComment, nil
|
return p.lexComment, nil
|
||||||
case IsSectionStart(r):
|
case IsSectionStart(r):
|
||||||
// section
|
// section
|
||||||
return p.lexSectionStart, nil
|
return p.lexSectionStart, nil
|
||||||
default:
|
default:
|
||||||
// entry
|
// entry
|
||||||
p.p.UnreadRune()
|
p.src.UnreadRune()
|
||||||
return p.lexEntryStart, nil
|
return p.lexEntryStart, nil
|
||||||
}
|
}
|
||||||
}
|
}
|
||||||
}
|
}
|
||||||
|
|
||||||
|
func (p *Parser) lexMoreNewLine(r1 rune) {
|
||||||
|
// r1 is warrantied to be either '\r' or '\n'
|
||||||
|
r2, _, err := p.src.ReadRune()
|
||||||
|
switch r1 {
|
||||||
|
case '\n':
|
||||||
|
switch {
|
||||||
|
case r2 == '\r':
|
||||||
|
// LN CR
|
||||||
|
case err == nil:
|
||||||
|
// LN
|
||||||
|
p.src.UnreadRune()
|
||||||
|
default:
|
||||||
|
// LN EOF
|
||||||
|
}
|
||||||
|
case '\r':
|
||||||
|
switch {
|
||||||
|
case r2 == '\n':
|
||||||
|
// CR LN
|
||||||
|
case err == nil:
|
||||||
|
// CR
|
||||||
|
p.src.UnreadRune()
|
||||||
|
default:
|
||||||
|
// CR EOF
|
||||||
|
}
|
||||||
|
default:
|
||||||
|
panic("unreachable")
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
func (p *Parser) lexComment() (lexer.StateFn, error) {
|
func (p *Parser) lexComment() (lexer.StateFn, error) {
|
||||||
// until the end of the line
|
// until the end of the line
|
||||||
p.p.AcceptAll(IsNotNewLine)
|
p.src.AcceptAll(IsNotNewLine)
|
||||||
|
|
||||||
err := p.emitString(TokenComment)
|
err := p.emitString(TokenComment)
|
||||||
return p.lexStart, err
|
return p.lexStart, err
|
||||||
@@ -52,11 +81,11 @@ func (p *Parser) lexSectionStart() (lexer.StateFn, error) {
|
|||||||
}
|
}
|
||||||
|
|
||||||
// remove whitespace between `[` and the name
|
// remove whitespace between `[` and the name
|
||||||
if p.p.AcceptAll(IsSpaceNotNewLine) {
|
if p.src.AcceptAll(IsSpaceNotNewLine) {
|
||||||
p.stepString()
|
p.stepString()
|
||||||
}
|
}
|
||||||
|
|
||||||
if !p.p.AcceptAll(IsName) {
|
if !p.src.AcceptAll(IsName) {
|
||||||
// no name
|
// no name
|
||||||
return p.emitError("section name missing", lexer.ErrUnacceptableRune)
|
return p.emitError("section name missing", lexer.ErrUnacceptableRune)
|
||||||
}
|
}
|
||||||
@@ -65,12 +94,12 @@ func (p *Parser) lexSectionStart() (lexer.StateFn, error) {
|
|||||||
return nil, err
|
return nil, err
|
||||||
}
|
}
|
||||||
|
|
||||||
// remove whitespace between the name and the closing `]`
|
// remove whitespace between the name andthe closing `]`
|
||||||
if p.p.AcceptAll(IsSpaceNotNewLine) {
|
if p.src.AcceptAll(IsSpaceNotNewLine) {
|
||||||
p.stepString()
|
p.stepString()
|
||||||
}
|
}
|
||||||
|
|
||||||
r, _, err := p.p.ReadRune()
|
r, _, err := p.src.ReadRune()
|
||||||
switch {
|
switch {
|
||||||
case err != nil:
|
case err != nil:
|
||||||
return p.emitError("", err)
|
return p.emitError("", err)
|
||||||
@@ -83,17 +112,17 @@ func (p *Parser) lexSectionStart() (lexer.StateFn, error) {
|
|||||||
}
|
}
|
||||||
|
|
||||||
func (p *Parser) lexEntryStart() (lexer.StateFn, error) {
|
func (p *Parser) lexEntryStart() (lexer.StateFn, error) {
|
||||||
p.p.AcceptAll(IsName)
|
p.src.AcceptAll(IsName)
|
||||||
if err := p.emitString(TokenFieldKey); err != nil {
|
if err := p.emitString(TokenFieldKey); err != nil {
|
||||||
return nil, err
|
return nil, err
|
||||||
}
|
}
|
||||||
|
|
||||||
// ignore whitespace between key and the '=' sign
|
// ignore whitespace between key and the '=' sign
|
||||||
if p.p.AcceptAll(IsSpaceNotNewLine) {
|
if p.src.AcceptAll(IsSpaceNotNewLine) {
|
||||||
p.stepString()
|
p.stepString()
|
||||||
}
|
}
|
||||||
|
|
||||||
r, _, err := p.p.ReadRune()
|
r, _, err := p.src.ReadRune()
|
||||||
switch {
|
switch {
|
||||||
case err != nil:
|
case err != nil:
|
||||||
return p.emitError("", err)
|
return p.emitError("", err)
|
||||||
@@ -102,11 +131,11 @@ func (p *Parser) lexEntryStart() (lexer.StateFn, error) {
|
|||||||
}
|
}
|
||||||
|
|
||||||
// ignore whitespace between the '=' and the value
|
// ignore whitespace between the '=' and the value
|
||||||
if p.p.AcceptAll(IsSpaceNotNewLine) {
|
if p.src.AcceptAll(IsSpaceNotNewLine) {
|
||||||
p.stepString()
|
p.stepString()
|
||||||
}
|
}
|
||||||
|
|
||||||
p.p.AcceptAll(IsNotNewLine)
|
p.src.AcceptAll(IsNotNewLine)
|
||||||
if err := p.emitString(TokenFieldValue); err != nil {
|
if err := p.emitString(TokenFieldValue); err != nil {
|
||||||
return nil, err
|
return nil, err
|
||||||
}
|
}
|
||||||
|
|||||||
@@ -43,11 +43,6 @@ var (
|
|||||||
IsCommentStart = lexer.NewIsIn(RunesComment)
|
IsCommentStart = lexer.NewIsIn(RunesComment)
|
||||||
)
|
)
|
||||||
|
|
||||||
// IsAny accepts any rune
|
|
||||||
func IsAny(_ rune) bool {
|
|
||||||
return true
|
|
||||||
}
|
|
||||||
|
|
||||||
// IsSpaceNotNewLine indicates a rune is whitespace but not a new line
|
// IsSpaceNotNewLine indicates a rune is whitespace but not a new line
|
||||||
func IsSpaceNotNewLine(r rune) bool {
|
func IsSpaceNotNewLine(r rune) bool {
|
||||||
return IsSpace(r) && !IsNewLine(r)
|
return IsSpace(r) && !IsNewLine(r)
|
||||||
|
|||||||
+27
-16
@@ -1,4 +1,4 @@
|
|||||||
// Package parser parses ini-style files
|
// Package parser parses dosini-style files
|
||||||
package parser
|
package parser
|
||||||
|
|
||||||
import (
|
import (
|
||||||
@@ -8,9 +8,10 @@ import (
|
|||||||
"asciigoat.org/core/lexer"
|
"asciigoat.org/core/lexer"
|
||||||
)
|
)
|
||||||
|
|
||||||
// Parser parses a ini-style document
|
// Parser parses a dosini-style document
|
||||||
type Parser struct {
|
type Parser struct {
|
||||||
p TextParser
|
src *lexer.Reader
|
||||||
|
pos lexer.Position
|
||||||
|
|
||||||
// OnToken is called for each identified token. if it returns an error
|
// OnToken is called for each identified token. if it returns an error
|
||||||
// parsing is interrupted.
|
// parsing is interrupted.
|
||||||
@@ -50,13 +51,15 @@ func (p *Parser) setDefaults() {
|
|||||||
}
|
}
|
||||||
|
|
||||||
func (p *Parser) emitString(typ TokenType) error {
|
func (p *Parser) emitString(typ TokenType) error {
|
||||||
pos, s := p.p.Emit()
|
s := p.src.Emit()
|
||||||
return p.OnToken(pos, typ, s)
|
err := p.OnToken(p.pos, typ, s)
|
||||||
|
p.pos.StepN(len(s))
|
||||||
|
|
||||||
|
return err
|
||||||
}
|
}
|
||||||
|
|
||||||
func (p *Parser) emitError(content string, err error) (lexer.StateFn, error) {
|
func (p *Parser) emitError(content string, err error) (lexer.StateFn, error) {
|
||||||
pos := p.p.Position()
|
err2 := p.OnError(p.pos, content, err)
|
||||||
err2 := p.OnError(pos, content, err)
|
|
||||||
switch {
|
switch {
|
||||||
case err2 != nil:
|
case err2 != nil:
|
||||||
// return wrapped error
|
// return wrapped error
|
||||||
@@ -74,25 +77,33 @@ func (p *Parser) emitInvalidRune(r rune) (lexer.StateFn, error) {
|
|||||||
// stepLine discards the data and moves the position
|
// stepLine discards the data and moves the position
|
||||||
// to the next line.
|
// to the next line.
|
||||||
func (p *Parser) stepLine() {
|
func (p *Parser) stepLine() {
|
||||||
p.p.StepLine()
|
p.src.Discard()
|
||||||
|
p.pos.StepLine()
|
||||||
|
}
|
||||||
|
|
||||||
|
// stepRune discards the data and moves the position
|
||||||
|
// one rune forward on the same line.
|
||||||
|
func (p *Parser) stepRune() {
|
||||||
|
p.src.Discard()
|
||||||
|
p.pos.Step()
|
||||||
}
|
}
|
||||||
|
|
||||||
// stepString discards the data and moves the position
|
// stepString discards the data and moves the position
|
||||||
// forward on the same line the length of the discarded
|
// forward on the same line the length of the discarded
|
||||||
// content.
|
// content.
|
||||||
func (p *Parser) stepString() {
|
func (p *Parser) stepString() {
|
||||||
p.p.Step()
|
s := p.src.Emit()
|
||||||
|
p.pos.StepN(len(s))
|
||||||
}
|
}
|
||||||
|
|
||||||
// NewParser creates a ini-style parser using
|
// NewParser creates a dosini-style parser using
|
||||||
// an [io.Reader] as source
|
// an [io.Reader] as source
|
||||||
func NewParser(r io.Reader) *Parser {
|
func NewParser(r io.Reader) *Parser {
|
||||||
var p *Parser
|
if r == nil {
|
||||||
|
return nil
|
||||||
if r != nil {
|
|
||||||
p = new(Parser)
|
|
||||||
p.p.Init(r)
|
|
||||||
}
|
}
|
||||||
|
|
||||||
return p
|
return &Parser{
|
||||||
|
src: lexer.NewReader(r),
|
||||||
|
}
|
||||||
}
|
}
|
||||||
|
|||||||
-103
@@ -1,103 +0,0 @@
|
|||||||
package parser
|
|
||||||
|
|
||||||
import (
|
|
||||||
"bytes"
|
|
||||||
"io"
|
|
||||||
"strings"
|
|
||||||
|
|
||||||
"asciigoat.org/core/lexer"
|
|
||||||
)
|
|
||||||
|
|
||||||
// TextParser is a generic text parser.
|
|
||||||
type TextParser struct {
|
|
||||||
*lexer.Reader
|
|
||||||
pos lexer.Position
|
|
||||||
}
|
|
||||||
|
|
||||||
// Init initializes the [TextParser] with a non-nil [io.Reader].
|
|
||||||
func (p *TextParser) Init(r io.Reader) {
|
|
||||||
switch {
|
|
||||||
case p == nil || r == nil:
|
|
||||||
panic("invalid call")
|
|
||||||
case p.Reader != nil:
|
|
||||||
panic("parser already initialized")
|
|
||||||
default:
|
|
||||||
p.Reader = lexer.NewReader(r)
|
|
||||||
p.pos.Reset()
|
|
||||||
}
|
|
||||||
}
|
|
||||||
|
|
||||||
// InitBytes initializes the [TextParser] with a byte array
|
|
||||||
func (p *TextParser) InitBytes(b []byte) {
|
|
||||||
p.Init(bytes.NewReader(b))
|
|
||||||
}
|
|
||||||
|
|
||||||
// InitString initializes the [TextParser] with a byte array
|
|
||||||
func (p *TextParser) InitString(s string) {
|
|
||||||
p.Init(strings.NewReader(s))
|
|
||||||
}
|
|
||||||
|
|
||||||
// Discard shadows [lexer.Reader]'s, and takes in consideration
|
|
||||||
// new lines on the discarded data when moving the position
|
|
||||||
func (p *TextParser) Discard() {
|
|
||||||
s := p.Reader.Emit()
|
|
||||||
l := GetPositionalLength(s)
|
|
||||||
p.pos.Add(l)
|
|
||||||
}
|
|
||||||
|
|
||||||
// Emit returns the accepted text, its position, and
|
|
||||||
// moves the cursor position accordingly
|
|
||||||
func (p *TextParser) Emit() (lexer.Position, string) {
|
|
||||||
pos := p.pos
|
|
||||||
s := p.Reader.Emit()
|
|
||||||
l := GetPositionalLength(s)
|
|
||||||
p.pos.Add(l)
|
|
||||||
|
|
||||||
return pos, s
|
|
||||||
}
|
|
||||||
|
|
||||||
// Step discards what's been accepted and increments the
|
|
||||||
// position assuming they all increment the column counter
|
|
||||||
func (p *TextParser) Step() {
|
|
||||||
s := p.Reader.Emit()
|
|
||||||
p.pos.StepN(len(s))
|
|
||||||
}
|
|
||||||
|
|
||||||
// StepLine discards what's been accepted and moves then
|
|
||||||
// position to the beginning of the next line
|
|
||||||
func (p *TextParser) StepLine() {
|
|
||||||
p.Reader.Discard()
|
|
||||||
p.pos.StepLine()
|
|
||||||
}
|
|
||||||
|
|
||||||
// Position returns the position of the first character
|
|
||||||
// of the accepted text
|
|
||||||
func (p *TextParser) Position() lexer.Position {
|
|
||||||
return p.pos
|
|
||||||
}
|
|
||||||
|
|
||||||
// AcceptNewLine checks if next is a new line.
|
|
||||||
// It accepts "\n", "\n\r", "\r" and "\r\n".
|
|
||||||
func (p *TextParser) AcceptNewLine() bool {
|
|
||||||
r1, _, err := p.ReadRune()
|
|
||||||
switch {
|
|
||||||
case err != nil:
|
|
||||||
return false
|
|
||||||
case r1 == '\n':
|
|
||||||
p.AcceptRune('\r')
|
|
||||||
return true
|
|
||||||
case r1 == '\r':
|
|
||||||
p.AcceptRune('\n')
|
|
||||||
return true
|
|
||||||
default:
|
|
||||||
p.UnreadRune()
|
|
||||||
return false
|
|
||||||
}
|
|
||||||
}
|
|
||||||
|
|
||||||
// AcceptRune checks if next is the specified rune
|
|
||||||
func (p *TextParser) AcceptRune(r rune) bool {
|
|
||||||
return p.Accept(func(r2 rune) bool {
|
|
||||||
return r == r2
|
|
||||||
})
|
|
||||||
}
|
|
||||||
@@ -1,38 +0,0 @@
|
|||||||
package parser
|
|
||||||
|
|
||||||
import (
|
|
||||||
"io"
|
|
||||||
|
|
||||||
"asciigoat.org/core/lexer"
|
|
||||||
)
|
|
||||||
|
|
||||||
type positionLengthParser struct {
|
|
||||||
TextParser
|
|
||||||
|
|
||||||
lexer.Position
|
|
||||||
}
|
|
||||||
|
|
||||||
func (p *positionLengthParser) lexStart() (lexer.StateFn, error) {
|
|
||||||
for {
|
|
||||||
switch {
|
|
||||||
case p.AcceptNewLine():
|
|
||||||
p.Position.StepLine()
|
|
||||||
case p.Accept(IsAny):
|
|
||||||
p.Position.StepN(1)
|
|
||||||
default:
|
|
||||||
return nil, io.EOF
|
|
||||||
}
|
|
||||||
}
|
|
||||||
}
|
|
||||||
|
|
||||||
// GetPositionalLength calculates the [lexer.Position] at
|
|
||||||
// the end of a text.
|
|
||||||
func GetPositionalLength(s string) lexer.Position {
|
|
||||||
var p positionLengthParser
|
|
||||||
if s == "" {
|
|
||||||
p.InitString(s)
|
|
||||||
|
|
||||||
_ = lexer.Run(p.lexStart)
|
|
||||||
}
|
|
||||||
return p.Position
|
|
||||||
}
|
|
||||||
@@ -1,15 +0,0 @@
|
|||||||
package ini
|
|
||||||
|
|
||||||
import "io"
|
|
||||||
|
|
||||||
// ReadInto ...
|
|
||||||
func ReadInto(v any, r io.Reader) error {
|
|
||||||
dec := NewDecoder(r)
|
|
||||||
|
|
||||||
return dec.Unmarshal(v)
|
|
||||||
}
|
|
||||||
|
|
||||||
// Unmarshal ...
|
|
||||||
func (dec *Decoder) Unmarshal(any) error {
|
|
||||||
return dec.p.Run()
|
|
||||||
}
|
|
||||||
Reference in New Issue
Block a user