Analiza leksykalna

Z Wikipedii, wolnej encyklopedii
Przejdź do nawigacji Przejdź do wyszukiwania

Analiza leksykalna w informatyce jest to proces przetwarzania sekwencji znaków w sekwencję tokenów, czyli nacechowanych znaczeniowo leksemów. Program wykonujący analizę leksykalną to lekser. Zazwyczaj lekser działa w parze z parserem, z którym wspólnie analizują składnię języków programowania, na przykład w kompilatorach, ale również w parserach HTML występujących w przeglądarkach internetowych.

Ściślej rzecz biorąc, lekser jest też rodzajem parsera. Składnia wielu języków programowania dzieli się na dwie części: składnię leksykalną (wewnętrzną konstrukcję tokenu), która jest przetwarzana przez lekser i składnię gramatyczną, która jest przetwarzana przez parser. Składnia leksykalna jest zazwyczaj wyrażeniem regularnym którego alfabet składa się z pojedynczych znaków kodu źródłowego. Składnia gramatyczna to zazwyczaj bezkontekstowy język, którego alfabet składa się z tokenów produkowanych przez lekser. Zwyczajowo analiza tekstu przebiega w wymienionych wyżej dwóch fazach, jednak lekser może być połączony z parserem w przetwarzaniu jednoprzebiegowym.

Token[edytuj | edytuj kod]

Token jest strukturą reprezentującą leksem i wprost go kategoryzującą[1], co ułatwia późniejszą pracę parserowi. Tokeny kategoryzuje się na komputerowy odpowiednik tego, co lingwiści określiliby mianem części mowy. Przykładowe kategorie to: identyfikator, operator przypisania, znacznik początku bloku. Proces tworzenia tokenów z wejściowego strumienia znakowego jest nazywany tokenizacją.

Rozważmy następujące wyrażenie z języka C:

int suma = 3 + 2;

Rezultatem procesu tokenizacji jest ta tabela:

Leksem Kategoria
int Identyfikator typu zmiennej
suma Identyfikator zmiennej
= Operator przypisania
3 Literał całkowitoliczbowy
+ Operator dodawania
2 Literał całkowitoliczbowy
; Znacznik końca wyrażenia

Gramatyka leksykalna[edytuj | edytuj kod]

Specyfikacja języka programowania obejmuje szereg reguł które definiują składnię leksykalną. Składnia leksykalna jest zazwyczaj opisana za pomocą wyrażeń regularnych. Definiują one zbiór możliwych sekwencji znakowych które tworzą pojedyncze tokeny. Lekser przetwarza oddzielone znakami białymi ciągi znaków i dla każdego ciągu znaków podejmuje akcję zazwyczaj produkując token, bądź ogłasza błąd analizy leksykalnej.

Komentarze i białe znaki zajmują ważne miejsce analizie leksykalnej i muszą być opisane w gramatyce języka. Mogą być odrzucone na etapie analizy leksykalnej (nie tworzą tokenu). W większości języków są uważane za nieznaczące, jedynie separujące dwa tokeny. W niektórych językach (takich jak Python[2], YAML, ABC) rozpoznających bloki kodu za pomocą odpowiedniej głębokości wcięć białe znaki na początku każdej linii są znaczące. Komentarze są również czasem zachowywane, w celu późniejszej łatwiejszej analizy lub manipulacji kodu wynikowego (np. prezerwacja adnotacji w Java).

Przypisy[edytuj | edytuj kod]