AMD, yapay zekâ alanında donanımın yanında yazılım tarafına da yatırım yapıyor. Şirket, Llama ailesine ait olan ve özel işletmeleri hedefleyen ilk küçük dil modeli AMD-135M’yi tanıttı.
AMD, yapay zekâ alanında donanımın yanında yazılım tarafına da yatırım yapıyor. Böylece
Nvidia'nın henüz hakim olmadığı yeni pazar segment'lerine ulaşmaya çalışıyor. Şirket,
Llama ailesine ait olan ve özel işletmeleri hedefleyen ilk küçük dil modeli AMD-135M'yi
tanıttı.
Tahminsel kod çözme ile yüksek hız
AMDi yeni dil modelinin "Tahminsel kod çözme" özelliğini kullandığını bu sayede oldukça
hızlı olduğunu belirtiyor. Tahminsel kod çözmede, tek bir seferde birden fazla aday
token (jeton) üreten daha küçük bir "Taslak model" yer alıyor. Bu token'lar daha sonra
daha büyük ve daha doğru olan "Hedef model"e iletilerek doğrulanıyor veya düzeltiliyor.
Böylece, her işlemde birden fazla token üretilip doğrulandığı için, performans kaybı
yaşamadan daha hızlı ve verimli sonuçlara ulaşılıyor. AMD'nin iddiasına göre, yeni
model aynı donanımda 2 ila 3 kat hız artışı sağlıyor. Ancak artan veri işleme
süreçleri güç tüketimini de arttırıyor.
AMD'nin yeni modeli iki versiyonda geliyor: AMD-Llama-135M ve AMD-Llama-135M-code. Her
biri, tahminsel kod çözme teknolojisini kullanarak çıkarım performansını hızlandırarak
belirli görevleri optimize etmek üzere tasarlandı.
Temel model olan AMD-Llama-135M, 670 milyar genel veri token'ı üzerinde sıfırdan
eğitildi. Bu süreç, dört adet 8 yollu AMD Instinct MI250 tabanlı sistem kullanılarak 6
gün sürdü. AMD-Llama-135M-code ise, özellikle kodlamaya odaklanan 20 milyar ek token
ile ince ayarlandı ve aynı donanım kullanılarak bu görev 4 günde tamamlandı. AMD,
ileride daha fazla optimizasyonun daha iyi performans sağlayabileceğini belirtiyor.