Facebook, görüntülü arama aracı Portal’ı geçtiğimiz kasım ayında yayınladıktan sonra, en sonunda cihazı açtı ve Portal’ın iç çalışma mekanizmasını gösterdi. Facebook Donanım Başkan Yardımcısı Rafa Camargo ve Matt Uyttendaele, Portal’ın geliştirme süreci hakkında Engadget’a detaylı bilgiler verdi.
Facebook Yapay Zeka Araştırma Grubu (FAIR, Facebook’s AI Research), sistem üzerine çalışmaya başladığında ekip kendine “Doğal ve cazip hissettirecek, otomatikleştirilmiş bir kamerayı nasıl yapacağız” sorusunu sordu.
Bu etkiyi yaratmak için Portal’ın geliştirici ekibi cihazın, hareketleri taklit edecek akıllı kamerasını tasarladı. Camargo’nun söylediğine göre, geliştirmenin bu aşamasında ekip ödüllü film yönetmenleri, belgesel yapımcıları ve kameramanlar ile çalışmış. Onlardan aldıkları geri bildirimler, geliştirme aşamasını yönlendirmelerine yardımcı olmuş. Camargo, bu aşama için “Aslında kameranın yok olduğu ana odaklanmıştık çünkü kameranın fark edilmediği anlar daha doğal” diyor.
Dile kolay olsa da burada söyleneni başarmak oldukça zor. Ekip olarak donanımda ne kullanılacağına karar verildi ve bunun için de komutları verecek olan yapay zekayı geliştirilmeye başlandı. Başlangıç da görsellerdeki objeleri tanımlayabilen bir vücut tanımlama sistemi olan Mask R-CNN ile yapıldı. Uyttendaele’a göre Mask R-CNN, görsellerdeki nesneleri bulmada oldukça iyiydi ve bu iş için de oldukça uygundu.
Ancak 2017’deki Mask modeli, geliştirilmek istenen Portal için çok da uygun değildi. O zaman var olan Mask modeli beraberinde ek süreçleri ve soğutma donanımlarını gerektiriyordu ve bu da Portal’ı daha pahalı ancak daha az güvenilir hale getiriyordu. Bunun üzerine Facebook araştırma ekibi modeli geliştirdi ve geliştirdikleri modele Mask R-CNN2Go adını verdi. Mask 2 Go, önceline göre 400 kat daha hızlıydı. Ayrıca yeni modelin düşük ışık performansı da geliştirilmişti.
Uyttendale’e göre, “Orijinal Mask R-CNN araştırması, farklı durumlardaki insanları tanımlayabilme kapasitesini bir kenara bırakmıştı.” Ancak Portal’ın geliştirilmesindeki asıl hedef kararlılık ve verimlilikti. Sisteme farklı durumlardaki insanlar üzerinde eğitim yaptırılabilecek zaman yoktu.
Camargo "Tam vücut pozisyonunu anlamak için Portal’a gerçekten ihtiyacımız vardı. Örneğin, koltukta üstünüzde battaniye varken yattığınızı düşününün. Sistem bunu fark etmeli. Sadece yüzünüzü görüyor olmalı ve vücut pozisyonu dikeyden ziyade yatay olmalı çünkü sizi farklı şekilde ayarlayabilmeli. Size farklı şekilde yakınlaşabilmeli" diyor.
Akıllı kameranın yapay zekası, görüntülü aramalardaki her kareyi analiz ediyor. Bu sayede, ortamdaki insan benzeri farklı nesneleri verimli bir şekilde izleyebiliyor. Portal ve daha büyük boyutlu varyantı Portal+ şu an satışta bulunuyor ancak Facebook, Mask2Go ve akıllı kamera teknolojileri üzerine çalışmayı bitirmiş değil. Şirket, Story Time adını verdiği artırılmış gerçeklik özelliği üzerinde çalışıyor.
Camargo Story Time için “Çok büyük bir potansiyeli olduğunu görüyoruz, artırılmış gerçeklik insanların birbirine bağlanmasına ve bağlı kalmasına yardımcı olabilir” diyor.
