Leksikaalanalüsaator vajab, et skaneerida ja tuvastada ainult piiratud hulk kehtivaid stringe/märke/lekseemi, mis kuuluvad antud keelde. See otsib keelereeglitega määratletud mustrit. Regulaaravaldistel on võime väljendada piiratud keeli, määratledes lõplike sümbolite stringide mustri.
Miks me vajame leksikaalanalüsaatorit?
Leksikaalanalüsaatori roll
Kompilaatori esimene faas. Leksikaalne analüüs: protsess, mille käigus võetakse sisestatud märgistring (nt arvutiprogrammi lähtekood) ja luuakse sümbolite jada, mida nimetatakse leksikaalseteks märgideks või lihts alt märgideks, mida parser võib hõlpsamini käsitleda.
Mis roll on leksikaalanalüsaatoril kompilaatoris?
Parserist käsu get-next-tohen saamisel loeb leksikaalanalüsaator sisendmärke, kuni suudab tuvastada järgmise märgi. märgid mõjutavad parsimise otsuseid, atribuudid mõjutavad märkide tõlkimist.
Mida leksikaalanalüsaator genereerib?
Leksikaalanalüsaator (genereeritud automaatselt mõne tööriistaga nagu lex või käsitsi loodud) loeb tähemärkide voogu, tuvastab voos olevad lekseemid ja kategoriseerib need märkideks. Seda nimetatakse tokeniseerimiseks. Kui lekser leiab kehtetu märgi, teatab ta veast.
Milleks on leksikaalanalüsaatorit ja süntaksianalüsaatorit eri faasis vaja?
Leksikaalanalüsaator on mustrite sobitaja. Süntaksianalüüs hõlmab puu moodustamist, et tuvastada programmi süntaksi deformatsioonid. Leksikaalseks analüüsiks kasutatakse sageli vähem keerulisi lähenemisviise. Süntaksianalüüs nõuab palju keerukamat lähenemist.
