AlphaGo

WyszAlphaGo – program komputerowy stworzony przez Google DeepMind, grającym w go. W listopadzie 2015 roku jako pierwszy automat pokonał zawodowego gracza, Fan Hui, w pięciorundowym pojedynku na pełnej planszy w równej grze. Mecz zakończył się wynikiem 5:0. W marcu 2016 w meczu z jednym z najlepszych zawodowych graczy - Lee Sedolem - wygrał 4:1. W uznaniu wygranej AlphaGo otrzymał honorowy 9. dan od południowokoreańskiej federacji go.

Algorytm stojący za programem stanowi kombinację technik sieci neuronowych, uczenia maszynowego oraz wyszukiwania Monte Carlo.

Został wybrany przez Science 22 grudnia 2016 roku jako jeden z "przebojów roku".

Historia i współzawodnictwo

Go jest znacznie trudniejsze dla komputerów w wygraniu niż inne gry, takie jak szachy, ponieważ znacznie większy współczynnik rozgałęzienia utrudnia stosowanie tradycyjnych metod AI, takich jak algorytm alfa-beta, przechodzenie drzewa i wyszukiwanie heurystyczne.

Prawie dwie dekady po tym, jak IBM Computer Deep Blue pokonał mistrza szachów świata Garry'ego Kasparova (w 1997 r.), najsilniejsze programy Go z wykorzystaniem technik sztucznej inteligencji osiągnęły tylko poziom amatora 5-dan i wciąż nie mogły pokonać profesjonalnego gracza Go bez handicapów. W 2012 roku program Zen, działający na czterech komputerach PC, pokonał Masakiego Takemiya (9p) dwa razy z użyciem 5 i 4 kamieni handicap. W 2013 r. Crazy Stone pokonał Yoshio Ishida (9p) w grach na czterokamiennych handicapach.

Według Davida Silvera projekt badawczy AlphaGo został utworzony około 2014 roku w celu sprawdzenia, jak dobrze sieć neuronowa wykorzystująca głębokie uczenie się może rywalizować w Go. AlphaGo stanowi znaczną poprawę w stosunku do poprzednich programów Go. W 500 grach przeciwko innym dostępnym programom Go, w tym Crazy Stone i Zen, AlphaGo działające na jednym komputerze przegrało tylko raz. W podobnym meczu AlphaGo na wielu komputerach wygrała wszystkie 500 gier granych przeciwko innym programom Go i 77% gier rozgrywanych przeciwko AlphaGo działającemu na jednym komputerze. Wersja rozproszona w październiku 2015 r. używała 1 202 CPU i 176 GPU.

Mecz przeciwko Fan Hui

W październiku 2015 r. dystrybuowana wersja AlphaGo pokonała profesjonalnego mistrza europejskiego Go Fan Hui, 2-dan (z 9 dan możliwych), pięć do zera. To był pierwszy raz kiedy program komputerowy Go pokonał profesjonalnego człowieka na pełnej planszy bez handicapów. Ogłoszenie wiadomości zostało opóźnione do 27 stycznia 2016 r., aby zbiegło się z publikacją w czasopiśmie Nature opisującego stosowane algorytmy.

Mecz przeciwko Lee Sedolowi

AlphaGo zagrał z koreańskim zawodowcem Go Lee Sedol z 9-danami, jednym z najlepszych piłkarzy w Go, w pięć meczy odbywających się w hotelu Four Seasons w Seulu, w Korei Południowej w dniach 9, 12, 13 i 15 marca 2016 r., które były transmitowane na żywo. Aja Huang, członek zespołu DeepMind i amator 6-dan Go, umieszczał kamienie na planszy Go, jakie wskazywał mu AlphaGo, który działał w oparciu o Google Cloud Computing z serwerami z siedzibą w Stanach Zjednoczonych. Mecz stosował chińskie reguły z 7,5-punktowym komi, a każda ze stron miała dwie godziny czasu myślenia plus trzy okresy po 60 sekund na tak zwane byo-yomi. Wersja AlphaGo grająca przeciwko Lee wykorzystała podobną moc obliczeniową, jaka była stosowana w meczu Fan Hui. Economist poinformował, że używał 1.920 CPU i 280 GPU.

W chwili gry, Lee Sedol miał drugą największą liczbę zwycięstw mistrzostw świata Go na świecie. Choć nie ma żadnej oficjalnej metody rankingu w międzynarodowym Go, niektóre źródła uznały Lee Sedola jako czwartego najlepszego gracza na świecie w tamtym czasie. AlphaGo nie był specjalnie szkolony do gry przeciwko Lee Sedolowi.

Pierwsze trzy mecze wygrał AlphaGo po rezygnacji Sedola. Jednak Sedol pokonał AlphaGo w czwartej grze, wygrywając rezygnację w ruchu 180. Mimo to AlphaGo osiągnęła czwartą wygraną, zdobywając piątą grę po rezygnacji.

Nagroda wyniosła 1 milion USD. Od kiedy AlphaGo wygrało cztery z pięciu gier, i tym samym całą serię, nagroda została przekazana organizacjom charytatywnym, w tym UNICEF. Lee Sedol otrzymał 150 000 dolarów za udział we wszystkich 5 meczach i dodatkowe 20 000 dolarów za jego wygraną.

W czerwcu 2016 podczas prezentacji na uniwersytecie w Holandii Aja Huang, jeden z zespołów Deep Mind, ujawnił, że poprawił problem, który wystąpił podczas czwartej gry meczu między AlphaGo i Sedol, a po ruchu 78. (który przez wielu specjalistów został nazwany "ręką Boga"), grałby dokładnie i zachowywał przewagę, ponieważ przed błędami, które doprowadziły do ​​przegranej, AlphaGo prowadziło całą grę i ruch Lee nie został zaliczony jako ten, który wygrał grę, ale spowodował, że ​​moce obliczeniowe programu były przekierowywane i zmylone. Huang wyjaśnił, że polityka sieci AlphaGo w znalezieniu najdokładniejszej kolejności i kontynuacji ruchu nieprecyzyjnie doprowadziła AlphaGo do niewłaściwej kontynuacji po ruchu 78., ponieważ jego sieć wartościująca nie uznała, że ​​78. ruch Sedola jest najbardziej prawdopodobny i wtedy po ruchu AlphaGo nie mogła dokonać właściwego dostosowania do logicznej kontynuacji.

Nieoficjalne mecze online pod koniec 2016 r. do początku 2017 r.

29 grudnia 2016 roku nowe konto o nazwie "Magist" z Korei Południowej zaczęło grać z profesjonalnymi graczami na serwerze Tygem. W dniu 30 grudnia zmieniono nazwę konta na "Master", a następnie 1 stycznia 2017 roku przeniesiono na serwer FoxGo. 4 stycznia DeepMind potwierdził, że "Magister" i "Master" były grającymi i ulepszonymi wersjami AlphaGo. Od 5 stycznia 2017 r. rekord internetowy AlphaGo wynosił 60 zwycięstw i 0 strat, w tym trzy zwycięstwa nad najlepszym graczem Go, Ke Jie, który został cicho poinformowany wcześniej, że "Master" jest wersją AlphaGo. Po tym, jak przegrał z "Masterem", Gu Li ofiarował kwotę 100 000 juanów (14 400 USD) na pierwszego człowieka, który mógł pokonać "Mastera". "Master" grał w tempie 10 gier dziennie. Wielu szybko zaczęło podejrzewać, że ​​jest to sztuczna inteligencja z powodu niewielkich lub żadnych odstępów pomiędzy grami. Jej rywalami byli tak liczni mistrzowie świata, jak Ke Jie, Park Jeong-hwan, Yuta Iyama, Tuo Jiaxi, Mi Yuting, Shi Yue, Chen Yaoye, Li Qincheng, Gu Li, Chang Hao, Tang Weixing, Fan Tingyu, Zhou Ruiyang, Jiang Weijie, Chou Chun-hsun, Kim Ji-seok, Kang Dong-yun, Park Yeong-hun i Won Seong-jin; mistrzostw krajowych lub mistrzostw świata, takich jak Lian Xiao, Tan Xiao, Meng Tailing, Dang Yifei, Huang Yunsong, Yang Dingxin, Gu Zihao, Shin Jinseo, Cho Han-seung i An Sungjoon. Wszystkie 60 gier, z wyjątkiem jednego, to szybkie tempo gry z trzema 20 lub 30 sekundami byo-yomi. "Master" zaproponował przedłużenie byo-yomi do jednej minuty, kiedy grał z Nie Weipingem ze względu na jego wiek. Po wygraniu 59-go gry, "Master" ujawnił się na czacie będąc kontrolowanym przez dr Aja Huang z zespołu DeepMind, potem zmienił swoją narodowość na Zjednoczone Królestwo. Po tych meczach współtwórca Google DeepMind, Demis Hassabis napisał na Twitterze: "czekamy na oficjalne, pełne gry później [2017] we współpracy z organizacjami Go i ekspertów".

Ludzcy gracze popełniają więcej pomyłek w szybkich grach online, niż w pełnych turniejach turniejowych ze względu na krótki czas reakcji. Nie wiadomo ostatecznie, czy AlphaGo odniesie sukces w turniejach, jak ma to miejsce w internecie. Jednak eksperci z Go są pod wrażeniem wydajności AlphaGo i jego stylu nieludzkiej gry; Ke Jie stwierdził, że "Gdy ludzkość przez tysiące lat ulepszyła naszą taktykę, komputery informują nas, że ludzie są w pełni w błędzie... Chciałbym powiedzieć, że żaden człowiek nie dotknął krawędzi prawdy Go".

Future of Go Summit w Wuzhen

Późnym majem 2017 roku AlphaGo zagra kilka gier w Wuzhen, na przykład:

• 23, 25 i 27 maja, Ke Jie vs. AlphaGo
• 24 maja, Chińska drużyna (Chen Yaoye, Mi Yuting, Shi Yue, Tang Weixing, Zhou Ruiyang) vs. AlphaGo
• 26 maja, Pair Go: Gu Li i AlphaGo vs. Lian Xiao i AlphaGo

Hardware

Wczesna wersja AlphaGo była testowana na sprzęcie z różnymi CPU i GPU, działającymi w trybie asynchronicznym lub rozproszonym. Każdemu ruchowi przyznano dwie sekundy czasu myślenia. Otrzymane oceny Elo są wymienione poniżej. W meczach z większą ilością czasu na ruch osiąga się wyższe oceny.

Konfiguracja i wydajność

Konfiguracja	Wyszukiwane wątki	Liczba CPU	Liczba GPU	Ocena Elo
Pojedyncza	40	48	1	2,181
Pojedyncza	40	48	2	2,738
Pojedyncza	40	48	4	2,850
Pojedyncza	40	48	8	2,890
Rozproszona	12	428	64	2,937
Rozproszona	24	764	112	3,079
Rozproszona	40	1,202	176	3,140
Rozproszona	64	1,920	280	3,168

W maju 2016 r. firma Google przedstawiła własne, zastrzeżone urządzenia "tensorowe jednostki przetwarzania (TPU)", które to zostały już wdrożone w wielu wewnętrznych projektach w Google, w tym meczu AlphaGo z Lee Sedol.

Algorytm

Od roku 2016 algorytm AlphaGo wykorzystuje kombinację uczenia maszynowego i technik przechodzenia drzewa, w połączeniu z rozległym szkoleniem, zarówno grając przeciwko komputerom jak i ludziom. Wykorzystuje on Monte-Carlo Tree Search, kierując się "wartością sieci" i "polityką sieci", realizowaną za pomocą technologii sieci neuronowych. Do przesyłania danych wejściowych przed wysłaniem do sieci neuronowych stosuje się ograniczoną ilość wstępnego przetwarzania detekcji funkcji specyficznych dla danej gry (na przykład aby zaznaczyć, czy ruch pasuje do wzoru nakade).

Sieci neuronowe systemu zostały początkowo załadowane z ludzkiej wiedzy na temat rozgrywek. AlphaGo był początkowo szkolony, aby naśladować sztukę ludzką, próbując dopasować ruchy ekspertów do gier historycznych, wykorzystując bazę danych około 30 milionów ruchów. Gdy osiągnęła pewien stopień biegłości, trenowano ją dalej, grała przeciwko innym kopiom samej siebie, korzystając z nauki wzmocnienia, aby poprawić swoją grę. Aby uniknąć "lekceważenia" marnowania czasu swojego przeciwnika, program został specjalnie zaprogramowany do rezygnacji, jeśli jego ocena prawdopodobieństwa wygrania spadnie poniżej określonego progu. Na meczu w marcu 2016 r. przeciwko Lee, próg rezygnacji został ustalony na 20%.

Styl gry

Toby Manning, sędzia meczu AlphaGo vs. Fan Hui, opisuje styl programu jako "konserwatywny". Styl gry AlphaGo zdecydowanie opowiada się za większym prawdopodobieństwem wygranej o mniejszej ilości punktów niż mniejszym prawdopodobieństwem zdobycia większej liczby punktów. Strategia maksymalizacji prawdopodobieństwa wygrania różni się od tego, co ludzie robią, co ma na celu maksymalizację zysków pola gry i wyjaśnia niektóre dziwne ruchy.

Odpowiedź na zwycięstwo nad Lee Sedolem w 2016

Społeczność AI

Zwycięstwo AlphaGo w marcu 2016 było znaczącym krokiem w badaniach nad sztuczną inteligencją. Go był wcześniej uważany za trudny problem w uczeniu maszyn, który miał być poza zasięgiem technologii w tych czasach. Większość ekspertów uważała, że ​​program Go tak potężny, jak AlphaGo był oddalony o co najmniej pięć lat, niektórzy eksperci uważali, że zanim komputer pokonałby mistrzów Go, minęłoby jeszcze jakieś dziesięć lat. Większość obserwatorów na początku 2016 meczów oczekiwała, że Lee pokona AlphaGo.

W grach takich jak warcaby (które zostały "rozwiązane" przez program "Chinook"), szachy, a teraz Go wygrane przez komputery, zwycięstwa w popularnych grach planszowych nie mogą już służyć jako główne kroki dla sztucznej inteligencji w dotychczasowy sposób. Murray Campbell z Deep Blue nazwał AlphaGo zwycięstwem "końca ery... gry planszowe są mniej lub bardziej skończone i nadszedł czas, aby przejść dalej".

W porównaniu z Deep Blue lub z Watsonem, algorytmy AlphaGo są potencjalnie bardziej ogólne i mogą być dowodem na to, że naukowa wspólnota dokonuje postępów w silnej sztucznej inteligencji. Niektórzy komentatorzy uważają, że zwycięstwo AlphaGo daje dobrą okazję, aby społeczeństwo zaczęło dyskutować nad przygotowaniami do ewentualnego przyszłego wpływu maszyn na inteligencję ogólnego przeznaczenia (jak zauważył przedsiębiorca Guy Suter, sama AlphaGo wie tylko, jak grać w Go i nie ma ogólnej inteligencji: "Nie mogłaby się obudzić pewnego ranka i zdecydować, że chce nauczyć się używać broni palnej"). W marcu 2016 r. Stuart Russell stwierdził, że "metody AI przebiegają znacznie szybciej niż się spodziewano, co sprawia, że ​​kwestia długoterminowego efektu staje się bardziej pilna" dodając, że "zapewnienie, że ​​coraz silniejsze systemy AI pozostaną całkowicie pod kontrolą człowieka... jest wiele do zrobienia". Niektórzy uczeni, np. Stephen Hawking ostrzegli (w maju 2015 r. przed meczami), że niektóre przyszłe samodoskonalące się AI mogą uzyskać rzeczywisty ogólną inteligencję, prowadzącą do nieoczekiwanego przejęcia nadzoru przez AI; inni uczeni nie zgadzają się: Ekspert AI Jean-Gabriel Ganascia uważa, że ​​"takie rzeczy jak "rozsądek"... nigdy nie będą odtwarzalne" i mówi: "nie rozumiem, dlaczego mówimy o obawach, przeciwnie, to powoduje wiele nadziei w wielu dziedzinach, takich jak badania dotyczące zdrowia i przestrzeni kosmicznej ". Informatyk Richard Sutton "Nie sądzę, że ludzie powinni się bać... ale myślę, że ludzie powinni zwracać uwagę".

Społeczność Go

Go to popularna gra w Chinach, Japonii i Korei, a mecze z 2016 r. były oglądane przez setki milionów osób na całym świecie. Wielu czołowych graczy Go określało grę AlphaGo jako nieortodoksyjne pozornie wątpliwe ruchy, które początkowo zaskakiwały widzów, ale miały sens w dalszej perspektywie: "Wszyscy najlepsi gracze Go doskonalą swój styl, naśladując najlepszych graczy". AlphaGo wydaje się mieć zupełnie oryginalne ruchy poprzez samoistne ich stwarzanie". AlphaGo okazało się nieoczekiwanie silniejsze, nawet w porównaniu z jego meczem z października 2015 r., w którym komputer po raz pierwszy w historii pokonał zawodowego Gracza Go, bez użycia handicapu. Nazajutrz po pierwszej porażce Lee, Jeong Ahram, czołowy korespondent dla jednego z największych dzienników w Korei Południowej, powiedział: "Ostatnia noc była bardzo mroczna... Wielu piło alkohol". Korea Baduk Association, organizacja, która nadzoruje profesjonalistów Go w Korei Południowej, przyznał firmie AlphaGo honorowy 9-dan tytuł za wykazanie umiejętności twórczych i przyspieszenia postępów gry.

Ke Jie, chiński 18-latek powszechnie uznawany za najlepszego gracza na świecie, początkowo twierdził, że będzie w stanie pokonać AlphaGo, ale odmówił grania przeciwko niej, obawiając się, że "mogłaby skopiować mój styl". W miarę postępów w meczach, Ke Jie stwierdził, że "bardzo prawdopodobne jest, że mogę przegrać" po analizie pierwszych trzech meczów, ale odzyskał pewność po tym, jak AlphaGo wykonał błędy w czwartej rozgrywce.

Toby Manning, sędzia meczu AlphaGo przeciwko Fan Hui i Hajin Lee, sekretarz generalny Międzynarodowej Federacji Go, stwierdził, że w przyszłości Go gracze otrzymają pomoc od komputerów, aby dowiedzieć się, co zrobili źle w grach i poprawić swoje umiejętności.

Po dwóch meczach Lee powiedział, że czuje się "oniemiały": "Już od samego początku meczu nie udało mi się zdobyć przewagi nad pojedynczym ruchem, było to całkowite zwycięstwo Alphago". Lee przeprosił za swoje straty, stwierdzając po trzeciej grze, że "źle oceniłem możliwości AlphaGo i poczułem się bezsilny". Podkreślił, że porażka to "klęska Lee Sedola", a nie "klęska ludzkości". Lee powiedział, że jego ostateczna strata przeciwko maszynie "była nieunikniona", ale stwierdził, że ​​"roboty nigdy nie zrozumieją piękna gry tak samo, jak my ludzie". Lee nazwał swoje gry jako cztery zwycięstwa "bezcenne zwycięstwa, których nie wymieniłbym za nic ".

Podobne systemy

Facebook pracuje także nad własnym systemem do gry w Go Darkforest, opartym również na połączeniu nauczania maszynowego i przechodzeniu drzewa. Nie pokonał jeszcze zawodowego gracza. Darkforest przegrał z "CrazyStone" i "Zen" i ma być do nich podobny.

DeepZenGo, system opracowany przy wsparciu portalu Dwango i Uniwersytetu Tokio, przegrał 2-1 w listopadzie 2016 roku z mistrzem Go Cho Chikun, który zajmuje wysokie miejsce w Japonii.