← Bloga dön

GGUF mi, MLX mi? Yerel model indirirken ilk ayrım

Dosya seçimine modelin adından önce, onu hangi araçla çalıştıracağından başlamak işleri kolaylaştırır.

Mavi gezegenin önünde bir astronot; temsili illüstrasyon

Temsili illüstrasyon · Yapay zekâ ile üretildi

Önce çalışma aracını seç

Bir model sayfasında birden fazla biçim görebilirsin. llama.cpp ile çalışacaksan GGUF dosyalarına; Apple Silicon üzerinde MLX LM kullanacaksan MLX uyumlu sürümlere bak. MLX LM, Apple Silicon için metin üretimi ve model eğitimi araçları sunuyor.

Detayz yayınlarında iki seçenek de var

LFM2.5 Heretic ailesinin GGUF ve MLX yayınları model bölümünde ayrı bağlantılarla listeleniyor. İndirmeden önce ilgili model kartını, lisansını ve dosya listesini kontrol et.

Hangisi daha hızlı?

Bu yazı bir hız testi değil. Cihaz, model varyantı ve çalışma ayarları aynı olmadan iki sonuç doğrudan karşılaştırılamaz. Başlangıç için doğru soru, seçtiğin dosyanın kullandığın araçla uyumlu olup olmadığı.

Buradan devam et

Araç seçimini yaptıktan sonra küçük bir görev listesi hazırla. Çıktıları ve kullandığın ayarları kaydet; hangi seçeneğin sana uygun olduğunu kendi görevlerin üzerinden değerlendir.

© detayz · blog