Buffalo University araştırmacıları, gözlerdeki ışık yansımalarını analiz ederek deepfake fotoğrafları otomatik olarak ayırt edebilecek yeni bir araç geliştirdi.
IEEE Sinyal İşleme Derneği tarafından düzenlenen “Uluslararası Akustik, Konuşma ve Sinyal İşleme Konferansı’na sunulan makalede, ‘yapılan çalışmalar sonucunda yüzde 94 oranında başarı oranı kanıtlanmıştır.” ifadeleri kullanıldı. Söz konusu makaleye, “Exposing GAN-Generated Faces Using Inconsistent Corneal Specular Highlights” başlığıyla açık arşiv ‘arXiv’den erişilebiliyor.
Araştırmanın baş yazarı Siwei Lyu, “Kornea çok iyi bir yansıtıcıdır. Bu sayede ışığın çarptığı herhangi bir şey, bir yansıtıcı olan kornea üzerinde görünebiliyor.” açıklamasını yaptı. Aynı şeyi gördüğü için her iki gözümüzün de benzer yansıtıcı kalıplarının olduğunu ekleyen Lyu, “Genellikle karşımızdaki bir yüze baktığımızda fark etmediğimiz bir şeydir bu.” değerlendirmesinde bulunuyor.
Bir şeye baktığımızda, gördüğümüz şeyin ‘resmi’ gözlerimizde yansır. Gerçek bir video veya fotoğrafta, söz konusu yansıma genellikle aynı şekil ve renktedir. Ancak GAN resimleri dahil yapay zeka kullanılarak üretilen birçok resim, muhtemelen sahte görüntüler kullanılarak oluşturulduğu için söz konusu yansımaları oluşturamıyor.
Araştırmacıların ürettiği araç ise bu noktada gözde yansıyan ışıktaki görüntüleri bularak resim, fotoğraf veya videoların deepfake olup olmadığını tespit ediyor.
FBI’dan deepfake uyarısı: “Rusya ve Çin siber operasyonlar için kullanabilir”
Araştırmacılar, yaptıkları deneylerde, Flickr Faces-HQ’dan gerçek fotoğrafları ve www.thispersondoesnotexist.com internet sitesinden sahte fotoğrafları topladı. 1,024 piksel olan tüm fotoğraflar ‘iyi bir ışık altında insanların direkt olarak kameraya baktıkları’ fotoğraflardan seçildi. Her bir yüzü haritalandırarak işe başlayan araç sonrasında ‘gözleri’ inceliyor. Ardından göz yuvarına odaklanan araç, her bir göz yuvarı üzerinde yansıyan ışığı arıyor. Görüntüleri karşılaştırdığında ise şekillerde, ışık yoğunluğunda veya yansıyan ışığın diğer özellikleri üzerinde potansiyel farkları ortaya koyuyor.
“VİDEO VE FOTOĞRAFLARIN GERÇEKLİĞİNİ AYIRT EDEBİLMEK GİDEREK DAHA ÖNEMLİ HALE GELİYOR”
Gelecek vaat eden bir araç olmasına karşın yine de bazı sınırlamaları var. Örneğin üretilen araç, yansımış bir ışık kaynağına ihtiyaç duyuyor. Fotoğrafların düzenlenme sürecinde ise gözlerdeki ışık yansıması oynanabildiği için araç, eşleşme sağlayamıyor. Söz konusu aracın kullandığı teknik sadece gözde yansımış her bir piksele odaklanıyor. Her iki gözdeki yansımaları karşılaştıran araç, örneğin bir göz bir şeyi kaçırdığında veya göremediğinde başarısız oluyor.
Deepfake video veya fotoğrafların gerçek yüzünü ortaya çıkarmanın önemli etkileri olduğunu söyleyen Lyu, “Deepfake’in büyük bir kısmı pornografik amaçlar için oluşturuldu. Şimdiyse siyasi amaçlar için uygulanıyor. Yaşadığımız dünyadaki dezenformasyon sonucu oluşan tehlikeleri gördüğümüzde, fotoğraf veya videoların gerçekliğini ayırt edebilmek giderek daha önemli hale geliyor.” dedi.
Siber Bülten abone listesine kaydolmak için formu doldurunuz
