Google’ın yapay zeka araştırma bölümünde yer alan araştırmacılar, bir videonun ilk ve son karesi haricinde herhangi bir veri bulunmayan videoyu akla yatkın bir şekilde doldurabilen oldukça ilginç bir sistem geliştirdi. Bu süreç, “inbetweening” (biçim değiştirme) olarak biliniyor.
Araştırmanın yazarı “Çizgi romanları otomatik olarak animasyonlara dönüştürebilen akıllı sistemler hayal edin. Bunu yapabiliyor olmak, hiç şüphesiz ki animasyon endüstrisinde devrim yaratır.” dedi.
Yapay zeka sistemi, üç bileşenli tamamen kıvrımlı bir modeli (hayvanların görsel korteksinden esinlenilen derin sinirsel ağ sınıfı) içerisinde barındırıyor. Bu bileşenler ise bir adet 2B kıvrımlı görsel dekoderi, bir adet 3B kıvrımlı örtülü temsil oluşturucusu ve bir adet video oluşturucusunu kapsıyor. Görüntü dekoderi, hedef videodan örtülü alana kadar olan kareleri haritalandırıyor bu sırada örtülü temsil oluşturucusu, girdi karelerindeki bilgileri birleştirmeyi öğreniyor. Son olarak video oluşturucusu, video karelerinin içerisindeki örtülü temsili çözüyor.
Araştırmacılar, örtülü temsili oluşturucuyu video çözümlemeden ayırmanın, başarılı video biçim değiştirmesinde kritik öneme sahip olduğunu ve direkt olarak şifrelenmiş temsillerden video oluşturma girişimlerinin başarısız sonuçlandığını söyledi. Bunu çözmek için, temsillerdeki kareleri birleştirsin diye örtülü temsili oluşturucu tasarladılar.
Araştırmacılar bu yaklaşımlarını doğrulamak için üç farklı veri setinden video aldılar: BAIR, KTH Action Database ve UCF101 Action Recognition Data Set. Ardından örneklemleri 64 x 64 piksel çözünürlüğüne indirdiler. Her bir örnek toplamda 16 kareden oluşuyordu ve bunun 14’ünü yapay zekanın kendisi üretecekti. Araştırmacılar, her bir video karesi için modeli 100 kere çalıştırdılar ve her model varyantı ve veri seti için bu süreci 10 kere tekrar etti.
Araştırmacıların raporlarına göre yapay zeka, baştaki ve sondaki karelerle tutarlı olmak üzere oldukça benzer bir dizi oluşturmayı başardı.
