Nagroda Loebnera

Z Wikipedii, wolnej encyklopedii
Przejdź do nawigacji Przejdź do wyszukiwania

Nagroda Loebnera – coroczny konkurs polegający na napisaniu chatbota, z którym rozmowa zostanie przez sędziów uznana za najbardziej podobną do rozmowy z człowiekiem. Konkurs do 2018 roku włącznie wzorowany był na teście Turinga – sędziowie posiadali zbiór pytań, które zadawali przez terminal programowi lub człowiekowi, nie wiedząc, kto znajduje się po drugiej stronie. Na podstawie udzielanych odpowiedzi musieli zdecydować, czy rozmawiali ze stworzonym programem, czy z człowiekiem. W 2019 roku sędziowie po raz pierwszy rozmawiali tylko z maszynami. Ich zadaniem było wskazanie systemu konwersacyjnego, z którym rozmawia się najlepiej.

Pierwsza edycja konkursu została zorganizowana w 1990 roku przez Hugh Loebnera oraz Cambridge Center for Behavioral Studies. Jednorazową nagrodę główną, 18-karatowy złoty medal oraz 100000 dolarów, planowano przyznać osobie, której program przejdzie test Turinga – czyli będzie tak dobrze naśladował rozmowę, że niemożliwe będzie odróżnienie programu od człowieka. Program będzie rozumiał zadawane pytania. Przyznanie głównej nagrody zakończy definitywnie konkurs – do dzisiaj jednak nikt jej nie zdobył. Poza tym corocznie przyznawany jest pozłacany, brązowy medal oraz 3000 dolarów osobie, której program, w danym roku, będzie najskuteczniej imitował ludzką konwersację.

Zawody odbywają się co roku, początkowo w The Cambridge Center of Behavioral Studies. Sędziowie byli losowani spośród pracowników tego instytutu. Obecnie pieczę nad konkursem sprawuje AISB i odbywa się na Swansea University (UK).

Przebieg konkursu

Programiści muszą dostarczyć program, który działa pod Linuksem, MS Windows lub na Macintoshach lub alternatywnie dostarczyć swój własny komputer z programem, przy czym komputer musi się dać podłączyć do standardowego terminala DEC 100. Dostarczone programy mają generować na tym terminalu ekran, na którym od góry do dołu pojawia się tekst konwersacji pisany standardową czcionką i nie formatowany w żaden szczególny sposób. Tradycyjnie sędziowie mieli przez jeden dzień wolny dostęp do dwukrotnie większej liczby terminali niż liczba dostarczonych programów. Co drugi terminal był obsługiwany przez prosty program komunikacyjny, który generuje na ekranie taki sam tekst jak testowane programy, ale jest obsługiwany przez człowieka. Do co drugiego terminala był natomiast przyłączony testowany program. Sędziowie po całym dniu "konwersowania" ze wszystkimi terminalami decydują, które z terminali obsługiwał człowiek, a które program, oraz który z terminali obsługiwanych ich zdaniem przez programy zachowywał się "najbardziej po ludzku". Sędziowie mają prawa zadawać terminalom dowolne pytania, oprócz takich, które w oczywisty sposób zdemaskowałyby programy, takie jak "jaki jest numer twojego buta", albo "jak ma na imię twoja dziewczyna".

Rok 2019: polski chatbot rywalizuje o zwycięstwo

2019 był wyjątkowy nie tylko ze względu na zmianę formuły konkursu. W rywalizacji brał udział polski chatbot - Eva, która została stworzona w Stanusch Technologies SA.

Polski chatbot nie zgarnął co prawda nagrody głównej, ale został bardzo dobrze oceniony w kategorii most-humanlike, czyli dobrze imitującego ludzki sposób komunikacji.

Linki zewnętrzne[edytuj | edytuj kod]