Wstępnie przeszkolony transformer generatywny

Architektura GPT

Wstępnie przeszkolony transformer generatywny (GPT) (ang. generative pre-trained transformer) – rodzaj dużego modelu językowego, czyli modelu uczenia maszynowego, który został wytrenowany na dużych zbiorach danych i potrafi generować tekst na podstawie podanego mu kontekstu. GPT jest jednym z największych i najbardziej zaawansowanych modeli językowych. Pierwszy model GPT został przedstawiony przez amerykańską spółkę OpenAI w 2018 roku. Do 2025 roku OpenAI przedstawiła pięć wersji GPT. Modele GPT są również rozwijane przez inne firmy, takie jak: EleutherAI, Cerebras.

W uproszczeniu można powiedzieć, że GPT jest programem komputerowym, który przetwarza ogromne ilości tekstu, aby nauczyć się reguł języka. Następnie, gdy dostanie fragment tekstu, potrafi wygenerować sensowne i poprawne gramatycznie kontynuacje zdania, a gdy dostanie zapytanie, potrafi wygenerować sensowne odpowiedzi. Model GPT był trenowany na różnorodnych źródłach danych, w tym na artykułach z Wikipedii, artykułach prasowych i różnorodnych tekstach z internetu.

Tym, co odróżnia GPT od innych rozwiązań typu 'dużego modelu językowego' (LLM), jest fakt, że model może być trenowany metodą uczenia nienadzorowanego. Dzieje się tak w pierwszej fazie treningu. W kolejnej fazie model jest trenowany metodą nadzorowaną, ale skupioną na konkretnych zastosowaniach.

GPT jest modelem opartym na sieciach neuronowych – transformerach, które zostały specjalnie zaprojektowane do przetwarzania sekwencji danych, takich jak tekst. Sieci neuronowe są matematycznymi modelami, które próbują naśladować sposób działania ludzkiego mózgu, dzięki czemu potrafią uczyć się na podstawie przykładów i przetwarzać duże ilości danych. W przypadku GPT, sieci neuronowe są wykorzystywane do trenowania modelu językowego na dużym zbiorze danych tekstowych.

Jednym z najbardziej znanych zastosowań modelu GPT jest aplikacja ChatGPT udostępniona przez OpenAI.

Historia

Wczesne prace

Generatywne wstępne przeszkolenie (ang. Generative pretraining, GP) jest pojęciem znanym wcześniej w zagadnieniach uczenia maszynowego. Był oryginalnie używany w uczeniu półnadzorowanym, gdzie model jest najpierw uczony na nieoznaczonych zbiorach danych aby generować etykiety w zbiorze danych, dla którego potem jest przeprowadzanie uczenie się klasyfikatora.

W latach dwa tysiące dziesiątych problem tłumaczenia maszynowego był adresowany z użyciem sieci RNN wraz z mechanizmem uwagi. Ta koncepcja została później ulepszona w architekturze transformera. To zapoczątkowało tworzenie dużych modeli językowych jak BERT w 2018, który posiada wstępnie wytrenowany transformer ale nie był stworzony jako model generatywny (BERT składał się tylko z koderów).

Rozwój modeli GPT

GPT-1, pierwszy model z serii, został wydany w 2018 roku. GPT-1 jako pierwszy model w serii GPT zastosował innowacyjne podejście do uczenia nienadzorowanego i uczenia transferowego. Umożliwiło to generowanie tekstów o większej spójności i zrozumiałości w porównaniu do wielu wcześniejszych modeli przetwarzania języka naturalnego, co stanowiło istotny krok w rozwoju sztucznej inteligencji opartej na przetwarzaniu języka naturalnego.

GPT-2 zostało wydane w lutym 2019 roku, a GPT-3 w czerwcu 2020 roku.

Kolejne wersje wprowadzały fundamentalne zmiany w architekturze i usprawnienia względem GPT-1, takie jak: zwiększenie liczby parametrów, co pozwoliło na lepsze modelowanie języka, oraz wytrenowanie na znacznie większym i bardziej zróżnicowanym zbiorze danych, dzięki czemu modele były w stanie lepiej generalizować i radzić sobie z różnorodnymi zadaniami związanymi z przetwarzaniem języka naturalnego.

Postęp w rozwoju modelu GPT-3 pozwolił na przełom w postaci nabycia przez model umiejętności wykonywania prostych zadań arytmetycznych, w tym tworzenia fragmentów kodu i wykonywania zadań wymagających pewnego poziomu inteligencji. Generacja GPT-4 została udostępniona 14 marca 2023 roku; model charakteryzuje się o 82% niższym prawdopodobieństwem udzielenia odpowiedzi na żądania użytkowników dotyczących treści niedozwolonych oraz o 40% większym prawdopodobieństwem przedstawienia odpowiedzi zgodnych z faktami w porównaniu z modelem GPT-3.5.

Model GPT-5 został wydany 7 sierpnia 2025.

Modele fundamentalne

Postęp i złożoność kolejnych wersji modelu fundamentalnego GPT obrazuje tabela:

Model	Architektura	Parametry	Warstwy dekodera	Rozmiar kontekstu tokenów	Warstwa ukryta	Rozmiar partii	Koszt treningu
GPT-1	12-warstw, 12-częściowy dekoder transformera (bez koderów), wraz z funkcją softmax	117 milionów	12	512	768	64	30 dni na 8 kartach P600, 1 petaFLOPS-dni
GPT-2	GPT-1, ze zmodyfikowaną normalizacją	1,5 miliarda	48	1024	1600	512	"dziesiątki petaFLOPS-dni", lub $1.5^{21}$ FLOPS
GPT-3	GPT-2, z usprawnieniami zwiększającymi skalowanie	175 miliardów	96	2048	12 288	3,2 mln	"3640 petaFLOPS-dni", lub $3.1^{23}$ FLOPS
GPT-4	nauczanie z predykcją tekstu i uczeniem się przez wzmacnianie na podstawie informacji zwrotnej od ludzi. Akceptuje tekst jak i obraz	Nieujawniona, szacunkowo ok. 1,7 biliona	768	8 192 do 32 768 || 49 152 || Nieznany	Nieujawniona, szacunkowo lub $10^{25}$ FLOPS
GPT-4o	?
GPT-4.5	?
GPT-4.1	?
GPT-5	?

Linki zewnętrzne

• Andrej Karpathy: State of GPT. Microsoft Build. (wideo)
• But what is a GPT? Visual intro to transformers | Chapter 5, Deep Learning w serwisie YouTube