jade_lex.go 11 KB

123456789101112131415161718192021222324252627282930313233343536373839404142434445464748495051525354555657585960616263646566676869707172737475767778798081828384858687888990919293949596979899100101102103104105106107108109110111112113114115116117118119120121122123124125126127128129130131132133134135136137138139140141142143144145146147148149150151152153154155156157158159160161162163164165166167168169170171172173174175176177178179180181182183184185186187188189190191192193194195196197198199200201202203204205206207208209210211212213214215216217218219220221222223224225226227228229230231232233234235236237238239240241242243244245246247248249250251252253254255256257258259260261262263264265266267268269270271272273274275276277278279280281282283284285286287288289290291292293294295296297298299300301302303304305306307308309310311312313314315316317318319320321322323324325326327328329330331332333334335336337338339340341342343344345346347348349350351352353354355356357358359360361362363364365366367368369370371372373374375376377378379380381382383384385386387388389390391392393394395396397398399400401402403404405406407408409410411412413414415416417418419420421422423424425426427428429430431432433434435436437438439440441442443444445446447448449450451452453454455456457458459460461462463464465466467468469470471472473474475476477478479480481482483484485486487488489490491492493494495496497498499500501502503504505506507508509510511512513514515516517518519520521522523524525526527528529530531532533534535536537538539540541542543544545546547548549550551552553554555556557558559560561562563564565566567568569570571572573574575576577578579580581582583584585586587588589590591592593594595596597598599600601602603604605606607608609610611612613614615616617618619620621622623624625626627628629630631632633634635636637638639640641642643644645646647648649650651652653654655656657658659660661
  1. package jade
  2. import (
  3. "strings"
  4. )
  5. func lexIndents(l *lexer) stateFn {
  6. d := l.indents()
  7. if d == -1 {
  8. l.depth = 0
  9. l.emit(itemEmptyLine)
  10. } else {
  11. l.depth = d
  12. l.emit(itemIdent)
  13. }
  14. return lexTags
  15. }
  16. func (l *lexer) indents() (depth int) {
  17. for {
  18. switch l.next() {
  19. case ' ':
  20. depth += 1
  21. case '\t':
  22. depth += TabSize
  23. case '\r':
  24. // skip
  25. case '\n':
  26. return -1
  27. default:
  28. l.backup()
  29. return
  30. }
  31. }
  32. }
  33. func lexEndLine(l *lexer) stateFn {
  34. switch r := l.next(); {
  35. case r == '\r':
  36. if l.next() == '\n' {
  37. l.emit(itemEndL)
  38. return lexIndents
  39. }
  40. return l.errorf("lexTags: standalone '\\r' ")
  41. case r == '\n':
  42. l.emit(itemEndL)
  43. return lexIndents
  44. case r == eof:
  45. l.depth = 0
  46. l.emit(itemEOF)
  47. return nil
  48. default:
  49. return l.errorf("lexEndLine: unexpected token %#U `%s`", r, string(r))
  50. }
  51. }
  52. // lexTags scans tags.
  53. func lexTags(l *lexer) stateFn {
  54. switch r := l.next(); {
  55. case isEndOfLine(r), r == eof:
  56. l.backup()
  57. return lexEndLine
  58. case r == ' ' || r == '\t':
  59. l.backup()
  60. return lexIndents
  61. //
  62. //
  63. case r == '.':
  64. n := l.skipSpaces()
  65. if n == 0 {
  66. l.emit(itemDiv)
  67. return lexClass
  68. }
  69. if n == -1 {
  70. l.ignore()
  71. return lexLongText
  72. }
  73. return l.errorf("lexTags: class name cannot start with a space.")
  74. case r == '#':
  75. l.emit(itemDiv)
  76. return lexID
  77. case r == ':':
  78. l.ignore()
  79. if l.emitWordByType(itemFilter) {
  80. return lexFilter
  81. }
  82. return l.errorf("lexTags: expect filter name")
  83. case r == '|':
  84. r = l.next()
  85. if r != ' ' {
  86. l.backup()
  87. }
  88. l.ignore()
  89. return lexText
  90. case r == '<':
  91. l.emitLineByType(itemHTMLTag)
  92. return lexEndLine
  93. case r == '+':
  94. l.skipSpaces()
  95. l.ignore()
  96. if l.emitWordByType(itemMixinCall) {
  97. return lexAfterTag
  98. }
  99. return l.errorf("lexTags: expect mixin name")
  100. case r == '/':
  101. return lexComment
  102. case r == '-':
  103. l.ignore()
  104. return lexCode
  105. case r == '=':
  106. l.skipSpaces()
  107. l.ignore()
  108. l.emitLineByType(itemCodeBuffered)
  109. return lexEndLine
  110. case r == '!':
  111. np := l.next()
  112. if np == '=' {
  113. l.skipSpaces()
  114. l.ignore()
  115. l.emitLineByType(itemCodeUnescaped)
  116. return lexEndLine
  117. }
  118. if np == '!' && l.next() == '!' && l.depth == 0 {
  119. if l.skipSpaces() != -1 {
  120. l.ignore()
  121. l.emitLineByType(itemDoctype)
  122. return lexEndLine
  123. }
  124. }
  125. return l.errorf("expect '=' after '!'")
  126. case isAlphaNumeric(r):
  127. l.backup()
  128. return lexTagName
  129. default:
  130. return l.errorf("lexTags: unexpected token %#U `%s`", r, string(r))
  131. }
  132. }
  133. //
  134. //
  135. func lexID(l *lexer) stateFn {
  136. if l.emitWordByType(itemID) {
  137. return lexAfterTag
  138. }
  139. return l.errorf("lexID: expect id name")
  140. }
  141. func lexClass(l *lexer) stateFn {
  142. if l.emitWordByType(itemClass) {
  143. return lexAfterTag
  144. }
  145. return l.errorf("lexClass: expect class name")
  146. }
  147. func lexFilter(l *lexer) stateFn {
  148. l.multiline()
  149. l.emit(itemFilterText)
  150. return lexIndents
  151. }
  152. func lexCode(l *lexer) stateFn {
  153. if l.skipSpaces() == -1 {
  154. l.multiline()
  155. l.emit(itemCode)
  156. return lexIndents
  157. } else {
  158. l.ignore()
  159. l.emitLineByType(itemCode)
  160. return lexEndLine
  161. }
  162. }
  163. func lexComment(l *lexer) stateFn {
  164. sp := l.next()
  165. tp := l.peek()
  166. if sp == '/' {
  167. if tp == '-' {
  168. l.multiline()
  169. l.ignore()
  170. return lexIndents
  171. } else {
  172. l.ignore()
  173. l.multiline()
  174. l.emit(itemComment)
  175. return lexIndents
  176. }
  177. }
  178. return l.errorf("lexComment: unexpected token '%#U' expect '/'", sp)
  179. }
  180. //
  181. //
  182. func lexText(l *lexer) stateFn {
  183. if l.skipSpaces() == -1 {
  184. l.ignore()
  185. return lexEndLine
  186. }
  187. return text(l)
  188. }
  189. func lexLongText(l *lexer) stateFn {
  190. l.longtext = true
  191. return text(l)
  192. }
  193. func text(l *lexer) stateFn {
  194. for {
  195. switch r := l.next(); {
  196. case r == '\\':
  197. l.next()
  198. continue
  199. case r == '#':
  200. sp := l.peek()
  201. if sp == '[' {
  202. l.backup()
  203. if l.pos > l.start {
  204. l.emit(itemText)
  205. }
  206. l.next()
  207. l.next()
  208. l.skipSpaces()
  209. l.interpolation += 1
  210. l.depth += 1
  211. // l.emit(itemInterpolation)
  212. l.ignore()
  213. return lexTags
  214. }
  215. if sp == '{' {
  216. l.interpol(itemCodeBuffered)
  217. }
  218. case r == '$':
  219. sp := l.peek()
  220. if sp == '{' {
  221. l.interpol(itemCodeBuffered)
  222. }
  223. case r == '!':
  224. sp := l.peek()
  225. if sp == '{' {
  226. l.interpol(itemCodeUnescaped)
  227. }
  228. case r == ']':
  229. if l.interpolation > 0 {
  230. l.backup()
  231. if l.pos > l.start {
  232. l.emit(itemText)
  233. }
  234. l.next()
  235. // l.emit(itemInterpolationEnd)
  236. l.ignore()
  237. l.interpolation -= 1
  238. l.depth -= 1
  239. }
  240. case r == eof:
  241. l.backup()
  242. l.emit(itemText)
  243. return lexEndLine
  244. case r == '\n':
  245. if l.longtext {
  246. var (
  247. indent int
  248. pos Pos
  249. )
  250. l.backup()
  251. pos = l.pos
  252. l.next()
  253. indent = l.indents()
  254. if indent != -1 {
  255. if indent < l.depth {
  256. l.pos = pos
  257. if l.pos > l.start {
  258. l.emit(itemText)
  259. }
  260. l.longtext = false
  261. return lexIndents
  262. }
  263. } else {
  264. l.backup()
  265. }
  266. } else {
  267. l.backup()
  268. if l.pos > l.start {
  269. l.emit(itemText)
  270. }
  271. return lexIndents
  272. }
  273. }
  274. }
  275. }
  276. func (l *lexer) interpol(item itemType) {
  277. l.backup()
  278. if l.pos > l.start {
  279. l.emit(itemText)
  280. }
  281. l.next()
  282. l.next()
  283. l.skipSpaces()
  284. l.ignore()
  285. Loop:
  286. for {
  287. switch r := l.next(); {
  288. case r == '`':
  289. l.toStopRune('`', false)
  290. case r == '"':
  291. l.toStopRune('"', false)
  292. case r == '\'':
  293. l.toStopRune('\'', false)
  294. case r == '\n', r == eof:
  295. l.backup()
  296. l.errorf("interpolation error: expect '}'")
  297. return
  298. case r == '}':
  299. break Loop
  300. }
  301. }
  302. l.backup()
  303. l.emit(item)
  304. l.next()
  305. l.ignore()
  306. }
  307. func lexTagName(l *lexer) stateFn {
  308. for {
  309. switch r := l.next(); {
  310. case isAlphaNumeric(r):
  311. // absorb.
  312. default:
  313. l.backup()
  314. word := l.input[l.start:l.pos]
  315. if w, ok := key[word]; ok {
  316. switch w {
  317. case itemElse:
  318. l.emit(w)
  319. l.skipSpaces()
  320. l.ignore()
  321. return lexTags
  322. case itemDoctype, itemExtends:
  323. if l.depth == 0 {
  324. ss := l.skipSpaces()
  325. l.ignore()
  326. if ss != -1 {
  327. l.emitLineByType(w)
  328. } else if w == itemDoctype {
  329. l.emit(w)
  330. } else {
  331. return l.errorf("lexTagName: itemExtends need path ")
  332. }
  333. return lexEndLine
  334. } else {
  335. l.emit(itemTag)
  336. }
  337. case itemBlock:
  338. sp := l.skipSpaces()
  339. l.ignore()
  340. if sp == -1 {
  341. l.emit(itemMixinBlock)
  342. } else if strings.HasPrefix(l.input[l.pos:], "prepend ") {
  343. l.toStopRune(' ', true)
  344. l.skipSpaces()
  345. l.ignore()
  346. l.emitLineByType(itemBlockPrepend)
  347. } else if strings.HasPrefix(l.input[l.pos:], "append ") {
  348. l.toStopRune(' ', true)
  349. l.skipSpaces()
  350. l.ignore()
  351. l.emitLineByType(itemBlockAppend)
  352. } else {
  353. l.emitLineByType(itemBlock)
  354. }
  355. return lexEndLine
  356. case itemBlockAppend, itemBlockPrepend,
  357. itemIf, itemUnless, itemCase,
  358. itemEach, itemWhile, itemFor,
  359. itemInclude:
  360. l.skipSpaces()
  361. l.ignore()
  362. l.emitLineByType(w)
  363. return lexEndLine
  364. case itemMixin:
  365. l.skipSpaces()
  366. l.ignore()
  367. l.emitWordByType(w)
  368. return lexAfterTag
  369. case itemCaseWhen:
  370. l.skipSpaces()
  371. l.ignore()
  372. l.toStopRune(':', true)
  373. l.emit(w)
  374. return lexAfterTag
  375. default:
  376. l.emit(w)
  377. }
  378. } else {
  379. l.emit(itemTag)
  380. }
  381. return lexAfterTag
  382. }
  383. }
  384. }
  385. func lexAfterTag(l *lexer) stateFn {
  386. switch r := l.next(); {
  387. case r == '(':
  388. l.emit(itemAttrStart)
  389. return lexAttr
  390. case r == '/':
  391. l.emit(itemTagEnd)
  392. return lexAfterTag
  393. case r == ':':
  394. l.skipSpaces()
  395. l.ignore()
  396. l.depth += 1
  397. return lexTags
  398. case r == ' ' || r == '\t':
  399. l.ignore()
  400. l.depth += 1
  401. return lexText
  402. case r == ']':
  403. if l.interpolation > 0 {
  404. l.ignore()
  405. if l.pos > l.start {
  406. l.emit(itemText)
  407. }
  408. l.interpolation -= 1
  409. l.depth -= 1
  410. if l.longtext {
  411. return lexLongText
  412. } else {
  413. return lexText
  414. }
  415. }
  416. return l.errorf("lexAfterTag: %#U", r)
  417. case r == '=':
  418. l.skipSpaces()
  419. l.ignore()
  420. l.depth += 1
  421. l.emitLineByType(itemCodeBuffered)
  422. return lexEndLine
  423. case r == '!':
  424. if l.next() == '=' {
  425. l.skipSpaces()
  426. l.ignore()
  427. l.depth += 1
  428. l.emitLineByType(itemCodeUnescaped)
  429. return lexEndLine
  430. }
  431. return l.errorf("expect '=' after '!'")
  432. case r == '#':
  433. l.ignore()
  434. return lexID
  435. case r == '&':
  436. l.toStopRune(')', false)
  437. l.ignore() // TODO: now ignore div(data-bar="foo")&attributes({'data-foo': 'baz'})
  438. return lexAfterTag
  439. case r == '.':
  440. switch l.skipSpaces() {
  441. case 0:
  442. l.ignore()
  443. return lexClass
  444. case -1:
  445. if sp := l.next(); sp != eof {
  446. l.ignore()
  447. l.depth += 1
  448. return lexLongText
  449. }
  450. return lexEndLine
  451. default:
  452. l.ignore()
  453. l.depth += 1
  454. return lexText
  455. }
  456. case isEndOfLine(r), r == eof:
  457. l.backup()
  458. return lexEndLine
  459. default:
  460. return l.errorf("lexAfterTag: %#U", r)
  461. }
  462. }
  463. //
  464. //
  465. func lexAttr(l *lexer) stateFn {
  466. b1, b2, b3 := 0, 0, 0
  467. for {
  468. switch r := l.next(); {
  469. case r == '"' || r == '\'':
  470. l.toStopRune(r, false)
  471. case r == '`':
  472. for {
  473. r = l.next()
  474. if r == '`' {
  475. break
  476. }
  477. }
  478. case r == '(':
  479. b1 += 1
  480. case r == ')':
  481. b1 -= 1
  482. if b1 == -1 {
  483. if b2 != 0 || b3 != 0 {
  484. return l.errorf("lexAttrName: mismatched bracket")
  485. }
  486. l.backup()
  487. if l.pos > l.start {
  488. l.emit(itemAttr)
  489. }
  490. l.next()
  491. l.emit(itemAttrEnd)
  492. return lexAfterTag
  493. }
  494. case r == '[':
  495. b2 += 1
  496. case r == ']':
  497. b2 -= 1
  498. if b2 == -1 {
  499. return l.errorf("lexAttrName: mismatched bracket '['")
  500. }
  501. case r == '{':
  502. b3 += 1
  503. case r == '}':
  504. b3 -= 1
  505. if b3 == -1 {
  506. return l.errorf("lexAttrName: mismatched bracket '{'")
  507. }
  508. case r == ' ' || r == '\t':
  509. l.backup()
  510. if l.pos > l.start {
  511. l.emit(itemAttr)
  512. }
  513. l.skipSpaces()
  514. l.emit(itemAttrSpace)
  515. case r == '=':
  516. if l.peek() == '=' {
  517. l.toStopRune(' ', true)
  518. l.emit(itemAttr)
  519. continue
  520. }
  521. l.backup()
  522. l.emit(itemAttr)
  523. l.next()
  524. l.emit(itemAttrEqual)
  525. case r == '!':
  526. if l.peek() == '=' {
  527. l.backup()
  528. l.emit(itemAttr)
  529. l.next()
  530. l.next()
  531. l.emit(itemAttrEqualUn)
  532. }
  533. case r == ',' || r == '\n':
  534. if b1 == 0 && b2 == 0 && b3 == 0 {
  535. l.backup()
  536. if l.pos > l.start {
  537. l.emit(itemAttr)
  538. }
  539. l.next()
  540. l.emit(itemAttrComma)
  541. }
  542. case r == eof:
  543. return l.errorf("lexAttr: expected ')'")
  544. }
  545. }
  546. }
  547. //
  548. //
  549. //
  550. //
  551. //
  552. //
  553. //
  554. //
  555. //
  556. //
  557. func (l *lexer) emitWordByType(item itemType) bool {
  558. for {
  559. if !isAlphaNumeric(l.next()) {
  560. l.backup()
  561. break
  562. }
  563. }
  564. if l.pos > l.start {
  565. l.emit(item)
  566. return true
  567. }
  568. return false
  569. }
  570. func (l *lexer) emitLineByType(item itemType) bool {
  571. var r rune
  572. for {
  573. r = l.next()
  574. if r == '\n' || r == '\r' || r == eof {
  575. l.backup()
  576. if l.pos > l.start {
  577. l.emit(item)
  578. return true
  579. }
  580. return false
  581. }
  582. }
  583. }
  584. //
  585. func (l *lexer) skipSpaces() (out int) {
  586. for {
  587. switch l.next() {
  588. case ' ', '\t':
  589. out += 1
  590. case '\n', eof:
  591. l.backup()
  592. return -1
  593. default:
  594. l.backup()
  595. return
  596. }
  597. }
  598. }
  599. func (l *lexer) toStopRune(stopRune rune, backup bool) {
  600. for {
  601. switch r := l.next(); {
  602. case r == stopRune:
  603. if backup {
  604. l.backup()
  605. }
  606. return
  607. case r == eof || r == '\r' || r == '\n':
  608. l.backup()
  609. return
  610. }
  611. }
  612. }
  613. func (l *lexer) multiline() {
  614. var (
  615. indent int
  616. pos Pos
  617. )
  618. for {
  619. switch r := l.next(); {
  620. case r == '\n':
  621. l.backup()
  622. pos = l.pos
  623. l.next()
  624. indent = l.indents()
  625. if indent != -1 {
  626. if indent <= l.depth {
  627. l.pos = pos
  628. return
  629. }
  630. } else {
  631. l.backup()
  632. }
  633. case r == eof:
  634. l.backup()
  635. return
  636. }
  637. }
  638. }