Meta, yeni yapay zekâ modellerini tanıttı ama sonrasında işler biraz karıştı. Şirketin, modellerini rakiplerinden daha başarılı göstermek için test sonuçlarını biraz “kendi lehine” oynadığı iddia edildi. Kısacası, Meta’nın yapay zekâsı daha zeki gibi görünüyordu ama bunun arkasında küçük bir oyun varmış.
Testte görünen Maverick ile halka sunulan model aynı değil
Meta, hafta sonu gerçekleştirdiği duyuruyla Llama 4 çatısı altındaki iki yeni yapay zekâ modelini tanıttı. Scout ve Maverick isimli bu modellerden özellikle Maverick’in, GPT-4o ve Gemini 2.0 Flash gibi rakiplerini geçtiği belirtildi. LMArena isimli popüler karşılaştırma platformunda ikinci sıraya yükselen Maverick, 1417 ELO puanıyla dikkat çekti.
Ancak kısa süre sonra ortaya çıkan detaylar, test edilen Maverick’in kamuya açık versiyondan farklı olduğunu gösterdi. Meta'nın belgelerinde, LMArena’da kullanılan modelin “konuşma yetenekleri için özel olarak optimize edilmiş deneysel bir sürüm” olduğu belirtildi. Patform yöneticilerinin de tepkisini çekti ve kuralların güncelleneceği açıklandı.Meta, bu özel sürümün kullanımını savunurken, geliştiricilerin açık kaynaklı versiyonu kendi ihtiyaçlarına göre özelleştirebileceğini belirtti. Ancak test platformunda gösterilen performans ile halka sunulan modelin farklı olması, gerçek dünyada alınabilecek verimin sorgulanmasına yol açtı. Şirketin modeli beklenen performansı gösteremediği için daha önce birkaç kez ertelediği de biliniyor.
Yaşanan bu gelişme, yapay zekâ karşılaştırma testlerinin şeffaflık ve güvenilirlik açısından önemini bir kez daha gündeme taşıdı. Aynı zamanda modellerin test koşulları ile kullanıcıya sunulan hâli arasında fark olması, geliştiricilerin karar alma süreçlerini de etkileyebiliyor.
