Çoklu Görüntü Stereo (MVS) algoritmaları, belirli iç parametreler ve bilinen pozlar ile kalibre edilmiş bir dizi görüntüden sahnenin yoğun bir 3B nokta bulutunu hesaplamayı amaçlamaktadır. Klasik geometrik yöntemler bu alanda hala en iyi performans gösteren yaklaşımlar olsa da (örneğin, yüksek çözünürlüklü ETH karşılaştırması), son yıllarda inanılmaz sonuçlarla artan sayıda derin sinir ağları ortaya çıkmaya başladı. Bununla birlikte, bu çalışmaların çoğu, hem elde edilmesi zor olan hem de gerçek dünyadaki durumlara göre ölçeklenemeyen eğitim için gerçek derinliğe dayanmaktadır. Öğrenme tabanlı MVS araştırmalarında ortaya çıkan bir eğilim, kendi kendini denetleyen monoküler derinlik tahmini literatüründen fikir alarak, gözetimsiz derin ağları eğitmektir. Neyse ki, mevcut denetimsiz MVS çerçeveleri o kadar az ki, tek bir blog gönderisine mükemmel bir şekilde uyuyorlar.
Gözetimsiz MVS öğrenmeye yönelik ilk girişim bir CVPR 2019 atölye çalışmasında [1] ortaya çıktı ve hemen oldukça açık bir soruyu ele aldı: denetimli kayıp işlevini, monoküler durumda olduğu gibi denetimsiz bir işlevle değiştirmek yeterli mi? MVS verilerinin doğası gereği cevap hayırdır. Monoküler derinlik ağları genellikle videolar üzerinde eğitildiğinden, taban çizgisi dardır, aydınlatma çoğunlukla benzerdir ve sınırlı tıkanmalar veya bakış açısı değişiklikleri vardır. Öte yandan, MVS algoritmalarının girdisi genellikle aralarında önemli görsel varyasyonların bulunduğu ve sağlam bir şekilde ele alınması gereken bir dizi görüntüdür.
Bu amaçla, sağlam bir fotometrik tutarlılık kaybı önerilmekte ve değerlendirilmektedir. Spesifik olarak, iki basit gözlem üzerine inşa ederler:
İlk denetimsiz MVS ağı olduğunu iddia eden başka bir çalışma 3DV 2019'da eşzamanlı olarak ortaya çıktı [3]. Bu doğru olmasa bile, yöntemin kendisi çok akıllı ve orijinaldir. Ağ mimarisi yine MVSNet'ten ödünç alındı, ancak çerçeve aşağıdaki temel kavrayışa dayanıyor: mevcut ağlar asimetriktir, yani kaynak görüntülerden gelen bilgileri kullanarak referans görünümü için derinlik haritasını tahmin ederler, ancak daha sonra kaynak görünümlerin derinlik haritaları bağımsız olarak tahmin edildi. Bu nedenle, tüm görüntülerin aynı 3B geometriyi gözlemlemesi nedeniyle, tüm derinlik haritalarının paylaşılan ağırlıklarla eşzamanlı olarak tahmin edildiği ve çapraz görünüm tutarlılığının açıkça uygulandığı simetrik bir çerçeve önerilmiştir.
Makalenin ana yeniliği, üç terimden oluşan bir çapraz görüş tutarlılık kaybı önerisidir:
Bir yıl sonra, bu ilk denemelerin her ikisi de, M2VS'den çok daha verimli olurken, denetimsiz MVS'de yeni bir son teknoloji ürünü olan M3VSNet [4] adlı yeni bir yöntemle sindirildi ve rafine edildi. Bir kez daha, ağ mimarisi MVSNet'i taklit eder, ancak iki önemli katkı ile:
Derinlik-normal bir çiftin tutarlı olması için normal, verilen pikselin etrafındaki yerel yüzeye dik olmalıdır. Bu, normalin kendisi ile piksele ve komşularından her birine karşılık gelen 3B noktaları birleştiren vektör arasındaki açı hesaplanarak kolayca sağlanabilir. Her bir komşu, sahnenin yerel geometrisine uyum sağlamak için yeterince ağırlıklandırılır (yani, komşuları büyük görüntü gradyanlarıyla cezalandırarak) ve komşunun rafine derinliği, önceki dikeylik kısıtlamasına çözümlerin ağırlıklı ortalaması olarak elde edilir. Bu düzenleme terimi, çok ölçekli özellik-ölçüm kaybıyla birleştiğinde, M2VS'nin tüm ölçümlerde ve hatta DTU veri setinde denetlenen MVSNet'ten daha iyi performans göstermesine izin verir.
AAAI 2021 [7] 'den bir başka yeni çalışma (bu konferanstaki çıkarımlarımı burada bulabilirsiniz ), aşağıdaki gözlemi temel alarak daha da yüksek bir çıta belirledi: önceki denetimsiz MVS ağları, farklı görünümlerden noktalar arasındaki renk sabitliğine büyük ölçüde güveniyor. belirsiz bir denetime yol açar (aşağıdaki şekle bakın). Spesifik olarak, anlamsal bilgiler bu noktaya kadar hiç düşünülmemiştir ve farklı aydınlatma koşullarının sağlamlığı açıkça uygulanmamıştır.
Bu sorunu hafifletmek için, kendi kendini denetlemeye iki öncelikli rehberlik etmeyi önerirler:
Önceki yöntemler, denetimsiz bir MVS ağını sıfırdan eğitmeye odaklanırken, daha yeni bir araştırma hattı, denetim olmadan da eğitilmiş veya diğer veri kümelerinde kesin olarak eğitilmiş mevcut bir modeli iyileştirmek için kendi kendini denetimi kullanmayı önermektedir. Şu anda iki mevcut yaklaşım vardır:
[1] Khot ve diğerleri, Güçlü Fotometrik Tutarlılık ile Denetimsiz Çok Görüntülü Stereopsis Öğrenme , CVPR atölyeleri 2019
[2] Yao ve diğerleri, MVSNet: Yapılandırılmamış Çoklu Görünüm Stereo için Derinlik Çıkarımı , ECCV 2018
[3] Dai ve diğerleri, MVS2: Çoklu Görüntü Simetrisi ile Derin Denetimsiz Çoklu Görüntü Stereo , 3DV 2019
[4] Huang ve diğerleri, M3VSNet: Denetlenmemiş Çoklu Metrik Çoklu Görünüm Stereo Ağı , ArXiV 2020
[5] Shu ve diğerleri , Derinlik ve Egomotion'ın Kendi Kendine Denetimli Öğrenimi için Özellik-Metrik Kayıp , ECCV 2020
[6] Yang ve diğerleri, Kenar farkında derinlik-normal tutarlılık ile denetimsiz geometri öğrenimi , ArXiV 2017
[7] Xu ve ark., Etkili Ortak Segmentasyon ve Veri Artırma yoluyla Kendi Kendini Denetimli Çoklu Görüntü Stereo , AAAI 2021
[8] Mallick ve diğerleri, Kendi Kendini Denetim ile Çoklu Görüntü Stereo Uyarlamayı Öğrenme , BMVC 2020
[9] Finn ve diğerleri , Derin Ağların Hızlı Adaptasyonu için Modelden Bağımsız Meta-Öğrenme , ICML 2017
[10] Yang ve ark., Çoklu-görüntü Stereo için Derinlik Çıkarımının Kendi Kendine Denetimli Öğrenimi , CVPR 2021
Bilinç nedir? Yüzyıllardır filozofların ve bilim adamlarının kafasını karıştıran bir sorudur. Bazıları bunun bedenlerimizden bağımsız olarak gerçekten anlayamadığımız geçici bir şey olduğunu söylüyor.
Yasal Uyarı: Bu makale yalnızca eğitim amaçlıdır. Kimseyi web sitelerini, özellikle de bu tür eylemlere karşı hüküm ve koşulları olabilecek web mülklerini kazımaya teşvik etmiyoruz.
İnsanlar sanata çekilir. On yıldan fazla bir süredir araştırmacılar, izleme sanatının sağlığımız ve esenliğimiz üzerindeki olumlu etkisini araştırıyorlar.
Kedi Felix'in 9. doğum gününde, yetişkin hayatımın en büyük kayıplarından birini hatırlıyorum - 2013'teki Sophie'm. Bu makaleyi yazdım ve 2013'te bu platformda kısaca paylaştım.
Bugün farklı bir yolculuğa çıkıyoruz. Çoğunlukla resimler.
Arka hikaye Her ürünün bir hikayesi vardır ve bu Yapdoof'un başlangıç hikayesidir. Yapdoof, Omept Technology Nijerya Limited'in bir ürünüdür.