Eksploracja danych

Z Wikipedii, wolnej encyklopedii
Skocz do: nawigacji, wyszukiwania

Eksploracja danych (spotyka się również określenie drążenie danych, pozyskiwanie wiedzy, wydobywanie danych, ekstrakcja danych) (ang. data mining) - jeden z etapów procesu odkrywania wiedzy z baz danych (ang. Knowledge Discovery in Databases, KDD). Idea eksploracji danych polega na wykorzystaniu szybkości komputera do znajdowania ukrytych dla człowieka (właśnie z uwagi na ograniczone możliwości czasowe) prawidłowości w danych zgromadzonych w hurtowniach danych.

Istnieje wiele technik eksploracji danych, które wywodzą się z ugruntowanych dziedzin nauki takich jak statystyka (statystyczna analiza wielowymiarowa) i uczenie maszynowe.

Techniki eksploracji danych[edytuj | edytuj kod]

Techniki i metody służące eksploracji danych wywodzą się głównie z obszaru badań nad sztuczną inteligencją. Główne przykłady stosowanych rozwiązań należą do następujących zakresów:

Metody przetwarzania[edytuj | edytuj kod]

W eksploracji danych rozwijane są różne metody przetwarzania, różniące się zakresem zastosowań, stosowanymi algorytmami rozwiązań, sposobem prezentacji wyników. Wśród nich wyróżnia się:

Obszar stosowania[edytuj | edytuj kod]

Obszarów stosowania eksploracji danych jest wiele, obejmują one te miejsca, w których stosuje się systemy informatyczne, między innymi w celu gromadzenia pozyskanych danych w postaci baz danych. Jesteśmy świadkami prawdziwej eksplozji baz danych, mając na myśli ich liczbę i objętość. Ogromne zbiory danych gromadzone są w hurtowniach danych. Z powodu dużej prostoty konstruowania bazy danych oraz akceptowalnych cen, systemy gromadzące dane stosuje się prawie we wszystkich dziedzinach życia. Wszędzie tam natomiast, gdzie istnieje już baza danych, pojawia się potrzeba analizy tych danych w celu odkrycia nieznanej dotąd wiedzy. Dziedziny, w których szeroko stosuje się eksplorację danych to: technika, medycyna, astronomia, ekonomia, szeroko pojęty biznes.

Zastosowania KDD znajdują zastosowania przy:

  • eksploracji danych o ruchu internetowym,
  • rozpoznawaniu sygnałów obrazu, mowy, pisma,
  • wspomaganiu diagnostyki medycznej,
  • badaniach genetycznych,
  • analizie operacji bankowych,
  • projektowaniu hurtowni danych,
  • tworzeniu reklam skierowanych(ang. Targeted ads),
  • prognozowaniu sprzedaży(ang. Sales forecast),
  • wdrażaniu strategii Cross-selling'owej,
  • wykrywaniu nadużyć(ang. Fraud detection),
  • ocenie ryzyka kredytowego,
  • segmentacji klientów.

Przykładem może być odkrycie w danych z supermarketu zależności polegającej na tym że klient, który kupuje szampana i kwiaty, kupuje zwykle również czekoladki.

Przykłady wizualizacji[edytuj | edytuj kod]

Gęstość[edytuj | edytuj kod]

  • density (gęstości empiryczne) - wykresy rozkładów empirycznych dla wybranych zmiennych predykcyjnych są tym lepsze im linie obrazujące poszczególne klasy są względem siebie znacząco przesunięte. W sytuacji, gdy się na siebie nakładają, praktycznie nie ma możliwości wyznaczenia do jakiej klasy należą.
Density Cauchy.png


Boxplot[edytuj | edytuj kod]

  • boxplot - celem obrazowania właściwości poszczególnych cech na wykresach typu boxplot, jest wyłonienie takich zmiennych, które charakteryzują się największymi przesunięciami względem siebie kwantyli, wartości maksymalnych, minimalnych oraz median.
Michelsonmorley-boxplot.svg


Histogram[edytuj | edytuj kod]

  • histogram - histogramy dla wybranych zmiennych predykcyjnych są tym lepsze im słupki są bardziej zróżnicowane. W sytuacji, gdy się na siebie nakładają, praktycznie nie ma możliwości wyznaczenia do jakiej klasy należą.
Histogram example.svg


Co można odczytać z wykresów?[edytuj | edytuj kod]

Tabelka przedstawia jakie dane można odczytać z poszczególnych wykresów.

Density Boxplot Histogram
Kwantyl nie tak nie
Mediana nie tak nie
Wartość min tak tak tak
Wartość max tak tak tak
Wartość cechy tak tak tak
Liczebność tak nie tak
Częstość tak nie tak
Wzajemna korelacja zmiennych tak nie tak

Literatura[edytuj | edytuj kod]

  • Hand David, Mannila Heikki, Smyth Padhraic, Eksploracja danych, WNT, Warszawa 2005, ISBN 83-204-3053-4
  • Daniel T. Larose, Odkrywanie wiedzy z danych, Wyd. Nauk. PWN, Warszawa 2006, ISBN 83-01-14836-5

Linki zewnętrzne[edytuj | edytuj kod]