AMD, yapay zekâ alanında donanımın yanında yazılım tarafına da yatırım yapıyor. Şirket, Llama ailesine ait olan ve özel işletmeleri hedefleyen ilk küçük dil modeli AMD-135M’yi tanıttı.
AMD, yapay zekâ alanında donanımın yanında yazılım tarafına da yatırım yapıyor. Böylece Nvidia'nın henüz hakim olmadığı yeni pazar segment'lerine ulaşmaya çalışıyor. Şirket, Llama ailesine ait olan ve özel işletmeleri hedefleyen ilk küçük dil modeli AMD-135M'yi tanıttı.
Tahminsel kod çözme ile yüksek hız
AMDi yeni dil modelinin "Tahminsel kod çözme" özelliğini kullandığını bu sayede oldukça hızlı olduğunu belirtiyor. Tahminsel kod çözmede, tek bir seferde birden fazla aday token (jeton) üreten daha küçük bir "Taslak model" yer alıyor. Bu token'lar daha sonra daha büyük ve daha doğru olan "Hedef model"e iletilerek doğrulanıyor veya düzeltiliyor. Böylece, her işlemde birden fazla token üretilip doğrulandığı için, performans kaybı yaşamadan daha hızlı ve verimli sonuçlara ulaşılıyor. AMD'nin iddiasına göre, yeni model aynı donanımda 2 ila 3 kat hız artışı sağlıyor. Ancak artan veri işleme süreçleri güç tüketimini de arttırıyor. AMD'nin yeni modeli iki versiyonda geliyor: AMD-Llama-135M ve AMD-Llama-135M-code. Her biri, tahminsel kod çözme teknolojisini kullanarak çıkarım performansını hızlandırarak belirli görevleri optimize etmek üzere tasarlandı. Temel model olan AMD-Llama-135M, 670 milyar genel veri token'ı üzerinde sıfırdan eğitildi. Bu süreç, dört adet 8 yollu AMD Instinct MI250 tabanlı sistem kullanılarak 6 gün sürdü. AMD-Llama-135M-code ise, özellikle kodlamaya odaklanan 20 milyar ek token ile ince ayarlandı ve aynı donanım kullanılarak bu görev 4 günde tamamlandı. AMD, ileride daha fazla optimizasyonun daha iyi performans sağlayabileceğini belirtiyor.
Leave feedback about this