OpenAI, ChatGPT’den birkaç ay sonra merakla beklenen GPT-4’ü çıkardı. OpenAI, beş yılda önemli bir yol katetti. GPT (Generative Pre-trained Transformer – Üretken Ön İşlemeli Dönüştürücü) ilk olarak 11 Haziran 2018’de yayımlanan “Üretken Ön Eğitimle Dil Anlayışını Geliştirme” başlıklı makalede tanıtılmıştı. O zamana kadar en iyi sinirsel NLP (Natural Language Processing – Doğal Dil İşleme) modelleri öncelikle büyük miktarlarda etiketlenmiş verilerden denetimli öğrenmeyi kullanıyordu. Bu yaklaşım maliyetli olduğu gibi özellikle açıklaması yeterli olmayan veri setlerinde sınırlı bir performans gösteriyordu. GPT’nin “yarı denetimli” yaklaşımı ise iki aşama içeriyordu. Denetimsiz üretken “ön işleme” aşamasında başlangıç parametrelerini ayarlamak için bir dil modelleme hedefi kullanılıyor. İkinci aşamada ise bir denetimli ayrıştırıcı, parametreleri hedeflenen göreve uyarlayarak ince ayar yapıyor. Kamunun kullanımına açılmayan GPT-1, 120 milyon parametreye sahipti. Modelin eğitiminde çeşitli türlerde 7000 yayınlanmamış kitaptan elde edilen 4,5 GB metin kullanılmıştı. 14 Şubat 2019’da çıkarılan GPT-2 ise 1,5 milyar parametreye sahipti ve eğitiminde Reddit’te oylanan 45 milyon web sayfasından, 40 GB metin ve 8 milyon belgeden yararlanılmıştı. 11 Haziran 2020’de çıkarılan GPT-3’te parametre sayısı 175 milyara ulaştı, eğitiminde kullanılan metin miktarı 570 GB oldu (https://en.wikipedia.org/wiki/Generative_pre-trained_transformer).