TFIDF

Z Wikipedii, wolnej encyklopedii

TFIDF (ang. TF – term frequency, IDF – inverse document frequency) – ważenie częstością termów – odwrotna częstość w dokumentach – jedna z metod obliczania wagi słów w oparciu o liczbę ich wystąpień, należąca do grupy algorytmów obliczających statystyczne wagi termów. Każdy dokument reprezentowany jest przez wektor, składający się z wag słów występujących w tym dokumencie. TFIDF informuje o częstości wystąpienia termów uwzględniając jednocześnie odpowiednie wyważenie znaczenia lokalnego termu i jego znaczenia w kontekście pełnej kolekcji dokumentów.

Algorytm stosowany jako metoda oceny relewantności dokumentu w wyszukiwarkach internetowych, kolejnym zastosowaniem jest ocena podobieństwa dokumentów w systemach grupowania wyników oraz systemach typu antyplagiat.

Wartość TF-IDF oblicza się ze wzoru:

gdzie to tzw. „term frequency”, wyrażana wzorem:

gdzie jest liczbą wystąpień termu w dokumencie a mianownik jest sumą liczby wystąpień wszystkich termów w dokumencie Wielkość to „inverse document frequency” wyrażana wzorem:

gdzie:

– liczba dokumentów w korpusie,
– liczba dokumentów zawierających przynajmniej jedno wystąpienie danego termu.

Zobacz też[edytuj | edytuj kod]

Bibliografia[edytuj | edytuj kod]