Multiple query image and video retrieval in the hash space based on deep learning and pareto optimality

Abstract

İçerik tabanlı çok sorgulu görüntü erişimi ile ilgili gerçekleştirilmiş az sayıda çalışmabulunmaktadır. Mevcut çalışmalar, gerçek-değerli özellik vektörleri kullandıklarındanverimli ve hızlı değillerdir. Diğer taraftan, video erişimi ile ilgili yapılan çalışmalar heptek sorgu için geliştirilmiştir. Çoklu video sorguları ile içerik tabanlı video erişimiamacıyla geliştirilmiş herhangi bir çalışma mevcut değildir. Bu tezde, görüntü ve videosorguları farklı anlamlara sahip olduğunda, verimli ve hızlı görüntü ve video erişimisağlayan yöntemler önerilmiştir. Önerilen yöntemler, önceki çalışmalardan farklı olaraksınırsız sayıda sorguyu desteklemektedirler. Sorguların her biri tek veya çoklu anlamiçerebilir. Önerilen yöntemler, görüntü ve videoların ikili kodlarına dayalı olarakgeliştirilmişlerdir. Bu nedenle, daha az depolama alanı gerektirmektedirler ve dahahızlıdırlar. Veri tabanındaki elemanların ve sorguların ikili kodları derin ikili kodoluşturma bileşeni ile elde edilmektedir. Sorgular veri tabanı dışından seçildiğinde,etiketleri derin ikili kod bileşeni tarafından tahmin edilmektedir. Erişim için Pareto cepheve K-ortalamalar kümeleme yöntemleri kullanılmaktadır. Önerilen çok sorgulu görüntüerişim yönteminin erişim hızı ve doğruluğu bakımlarından benzer yöntemlerden üstünolduğu farklı iki veri tabanı üzerinde gerçekleştirilen benzetim sonuçlarıyla gösterilmiştir.İlk kez bu tezde gerçekleştirilen çok sorgulu video erişim yönteminin de hızlı ve verimliolduğu benzetim sonuçlarıyla doğrulanmıştır.

There exist few studies developed for the content-based multi-query image retrievalproblem. Since existing methods use real-valued feature vectors, they are not efficientand fast. On the other hand, video retrieval studies conducted so far have been developedfor a single query. There does not exist a study developed for the purpose of content-based video retrieval via multiple video queries. In this dissertation, frameworksproviding efficient and fast image and video retrieval are proposed when the queries arerelated to more than one semantic. Unlike the previous studies, the frameworks supportan arbitrary number of queries. Each query can have single or multi-label. The proposedmethods are built upon binary hash codes. As a result, they require lower storage space,and they are faster. Hash codes of database items and queries are generated by deephashing component. Query labels are predicted by the deep hashing component when theyare chosen outside the database. Pareto front method and K-means algorithm are used forretrieval. The proposed multi query image retrieval method is shown to be superior to theexisting studies in terms of retrieval speed and accuracy by means of simulations carriedon two different databases. Also, the proposed multi query video retrieval methodimplemented for the first time in this dissertation is verified to be fast and efficient viasimulations.