Yapay Zekadaki Sessiz Kriz: "Sırtında 1000 Ciltlik Ansiklopedi Taşıyan Hamal"
"Değerli dinleyiciler, bugün akıllı telefonlarımızdan ChatGPT'ye kadar hayranlıkla izlediğimiz yapay zekanın arkasında kimsenin yüksek sesle konuşmadığı devasa bir kriz var. Bugünkü yapay zekaları sırtında 1000 ciltlik ağır bir ansiklopedi taşıyan bir hamala benzetebilirsiniz.
Siz ona küçücük bir soru sorduğunuzda ('Bugün hava nasıl?' veya 'Bana bir şiir yaz'), o arkasındaki 70 milyar tane bağımsız sayıyı hafıza raflarından tek tek indirir, işlemciye taşır, çarpar ve geri koyar. Bu yüzden devasa veri merkezleri küçük bir ilçe kadar elektrik tüketiyor, cayır cayır ısınıyor ve cebimizdeki saate ya da bir kalp piline asla sığmıyor. İnsanlık yapay zekayı akıllandırdı ama onu bir hafıza oburuna dönüştürdü!"
Akademik Karşılık: Geleneksel Derin Sinir Ağlarında (DNN), ağırlık tensörleri HBM/VRAM çiplerinde kalıcı olarak saklanır. İşlemci (ALU) ile bellek arasındaki veri yolu bant genişliği, işlemci hesaplama hızının gerisinde kalır. Bir çarpım-toplama (MAC) işlemi ~1 pJ enerji tüketirken, veriyi DRAM'den getirmek ~100-200 pJ (100 ila 200 kat daha fazla!) enerji harcar.
Sayısal Gerçek: 70 Milyar parametreli bir LLaMA modeli FP16 hassasiyetinde 140 Gigabayt kalıcı VRAM talep eder. INT4 kuantizasyonu bile belleği ancak ~35 GB'a indirebilir ve temsiliyet hassasiyetini bozar.