Intel, Ağırlık Değiştirmeden 1.58-bit LLM’yi 1.485-bit’e Sıkıştırdı

Intel’in Yeni Niceleme Tekniği

Intel araştırmacıları, yapay zeka alanında bir sınır kırarak 1.58-bit dil modelini (LLM) ağırlık değişikliği yapmadan 1.485-bit seviyesine sıkıştırmayı başardı. Bu başarı, model niceleme (quantization) ve ternary (üçlü) quant modellerinin kapasitesinin yeniden değerlendirilmesine yol açmaktadır.

Ternary Modeller ve Sıkıştırma

Dil modellerinin boyutunu azaltmak için niceleme teknikleri yaygın olarak kullanılmaktadır. 1.58-bit ternary modeller, ağırlıkları üç olası değere (örneğin -1, 0, +1) indirgeyerek, hesaplama maliyetini ve bellek kullanımını önemli ölçüde düşürür. Intel’in yaklaşımı, bu sınırın daha da aşılabileceğini ve 1.485-bit seviyesine ulaşılabileceğini göstermektedir.

Model Ağırlıkları Korunuyor

Bu tekniğin temel avantajı, orijinal model ağırlıklarına dokunulmaksızın sıkıştırmanın gerçekleştirilmesidir. Bu, modelin performansını korurken verimliliği artırmayı mümkün kılmaktadır. Teknik, niceleme işleminin çok daha esnek ve etkili bir şekilde uygulanabileceğini göstermektedir.

Endüstriye Yansımaları

Bu gelişme, özellikle düşük bit genişliğinde çalışan modelleride çalıştırılmasını gerekli kılan edge computing ve katı kaynak kısıtlamaları olan ortamlarda önem taşımaktadır. Daha düşük bit genişliği, daha hızlı işleme ve daha az bellek tüketimi anlamına gelmektedir.

Kaynak: The New Stack