Stereo matching based on local and global aggregation

Abstract

Stereo eşleştirme algoritmaları iki sınıfa ayrılabilir: yerel yöntemler ve global yöntemler. Global yöntemler düzgünlük varsayımına dayanmaktadır ve eşleşmeme haritası kestirimini enerji en küçükleme çatısı olarak ifade etmektedir. Yerel yöntemler, bir aday kümesinden en düşük eşleşme maliyetine sahip adayı seçerek derinlik haritasını kestirmektedir. Yerel yöntemler, yüksek frekanslı desen bölgelerinde iyi sonuç verirken kapanma oluşan bölgelerde güvenilir sonuçlar sağlamamaktadırlar. Global yöntemler, kalite bakımından yerel yöntemlere göre daha doğru sonuç üretmektedirler. Ancak, global yöntemler genelde yüksek hesap yüküne sahiptirler. Yakın bir geçmişte stereo eşleşme için uzmanların bir karışımı yaklaşımı tanıtılmıştır. Yöntem, uyarlanır karıştırma katsayılı yeni bir yerel filtre oluşturmak için farklı filtreleri birleştirmektedir. Eşleşme hatasını azaltmada etkin olduğu gösterilmiştir. Ancak, yöntemin çeşitli eksiklikleri vardır. İlk olarak, çalışma farklı parametreli görüntü kılavuzlu ve ağaç filtreleri kullanmaktadır. İkinci olarak, son işleme problemi ele alınmamaktadır. Bu nedenle, yöntem aykırı değerlerden etkilenmektedir. Üçüncüsü, yöntem yerel filtre havuzuna global bir yöntem eklenmesine izin vermemektedir. Yüksek doğruluklu sonuçlar genelde global yöntemler arafından sağlanmaktadır. Bu tezde, bu sınırlamaların gidermek için fikirler geliştirilmiştir. Tezin temel amacı, Middlebury ve KITTI Vision Benchmark gibi iyi bilinen ve yaygın olarak kullanılan stereo görüntü veritabanlarında düşük ortalama stereo eşleşme hata oranı elde etmektir. Belirli bir parametre ayarına sahip bir filtre bir görüntü çifti için iyi sonuç verme potansiyeline sahip olabilir, ancak diğer görüntü çiftlerleri için yeterli pereformans sağlamayabilir. Bu sorunun üstesinden gelebilmek için, maliyet hacmi üzerinde türdeş olmayan filtre setinin uygulandığı ve sonuçların uyarlanabilir şekilde birleştirildiği bir uzmanlar karışımı modeli önerilmektedir. Özellikle kapanma oluşan bölgelerde global yöntemler daha iyi sonuç verme eğiliminde olduklarından, yerel filtreler havuzuna global bir metodu eklendiğinde iyileştirilmiş eşleştirme sonuçları elde etmeyi bekleriz. Ortalama eşleşme hatasını en küçüklemek için son işleme de yönteme dahil edilmiştir.

Stereo matching algorithms can be divided into two major groups: global methods and local methods. Global methods rely on smoothness assumption and formulate the disparity map estimation as an energy-minimization framework. Local methods estimate the depth map by selecting the candidate with the smallest matching cost from a set of candidates. Local methods handle high-frequency texture areas well while they fail to deliver reliable results in occluded regions. In terms of quality, global methods generate more accurate results compared to local methods. However, global methods usually have expensive computation cost. Recently, a mixture-of-experts approach for stereo matching have been introduced. The method combines different filters to produce a novel local filter with adaptive mixing coefficients. It was shown to be effective for reducing the matching error However, the method has several limitations. First, it uses only image-guided and tree filters with different parameters. Second, the issue of post-processing is not handled. For this reason, the method suffers from outliers. Third, it does not allow to add global filter to the pool of local filters. High accuracy results are usually provided by global techniques. In this thesis, we will develop ideas to overcome these limitations. The main aim of the thesis is to achieve low average stereo matching error rate in well known and widely used stereo image pairs datasets like Middlebury and KITTI Vision Benchmark. A specific filter with a specific parameter setting may have a potential to work for an image pair, but may not provide satisfactory performance for other image pairs. To overcome this issue, a mixture-of-experts model in which a heterogeneous set of filters on the cost volume is applied and the results are adaptively combined is proposed. By adding a global filter to the pool of local filters, we expect to get mproved matching results since global methods tend to give better results especially in the occluded areas. Postprocessing is also included to minimize average matching error.