Publication: Accelerated object detection on FPGA SoC
No Thumbnail Available
Date
2023
Authors
Journal Title
Journal ISSN
Volume Title
Publisher
Abstract
Tezin amacı, FPGA’de iki ve üç boyutlu veriler kullanılarak nesnelerin daha hızlı, daha yüksek doğrulukla ve daha iyi enerji verimliliği ile tespit edilebileceğini göstermektir. İnsansız sistemler için en çok araştırılan noktaların hız, doğruluk ve enerji parametreleri olduğu bilinmektedir. Halihazırda kullanılan mikroişlemci tabanlı sistemlerin nesne tanımadaki performansının, paralel veri işleme kapasitesinin olmaması nedeniyle FPGA (Field Programmable Gata Array) tabanlı sistemlere göre çok daha düşük olduğu bilinmektedir. Bu nedenle FPGA ile nesnelerin tespitinde yapılacak en küçük iyileştirmeler bile önemlidir. Çok katmanlı makine öğrenimi yapıları, nöronlar eldeki verilerden nesne tespiti için en sık kullanılan ve doğruluk oranları en yüksek yapılar olmuştur. Öte yandan, bu yapıları kullanmak çok yüksek hafıza gerektirir ve bu, gömülü sistemler için önemli bir sorun olabilir. Bu nedenle Konvolüsyonel Sinir Ağı (CNN) doğrudan uygulamasından ziyade Binary Neural Network (BNN) metodolojisi kullanılmaktadır. Öte yandan makine öğrenme modellerinin derinliği azaltılarak ve ek filtreler kullanılarak yeniden tasarlanması incelenmiştir. Filtrelemede olarak yaygın olarak kullanılan 3 hatlı tampon metodolojisi yeniden tasarlandı. Bu tasarımların farklı kullanım durumları için etkisi değerlendirilmiştir. Nokta bulutları gibi 3 boyutlu veriler de incelenir. Bu yüzden; bu tez, farklı kullanım durumları için farklı metodolojiler sunmaktadır. İnsansız sistemlerin 2 boyutlu ve 3 boyutlu girdi verileri kullanacak olması da farklı tasarımların denetimlerinin çok önemli olmasının bir başka nedenidir. Renk verisinin her zaman gerekli olmayacağı gösterilmiştir ve obje sınıflandırmaları için yeni bir tasarım yapılmıştır. Bu sayede hafıza kullanımı azaltılmış, sınıflandırma hızı arttırılmıştır. Yapılan filtre iyileştirmesinde ise normal filtrelere oranla hız katlanmış, bu filtrelerin doğruluk oranını değiştirebileceği ve farklı opsiyonlarda kullanılabilirliği değerlendirilmiştir.
The aim of the thesis is showing that objects can be detected faster, with higher accuracy and better energy efficiency by using two- and three-dimensional data on Field Programmable Gate Array (FPGA). It is known that the most researched points for unmanned systems are speed, accuracy, and energy parameters. The performance of currently used microprocessor-based systems in object recognition is much lower than FPGA based systems due to the lack of parallel data processing capacity. So, even the smallest improvements to be made in the detection of objects with FPGA are important. Machine learning structures with many layers, neurons are the most frequently used structures for object detection from the data at hand and have the highest accuracy rates. On the other hand, using these structures require so high memory, that can be a major issue for embedded systems. This is the reason why rather than the Convolutional Neural Network (CNN) direct implementation, Binary Neural Network (BNN) methodology is used. On the other hand, redesigning the machine learning models by decreasing depth and using additional filters are examined. As filtering, commonly used 3-line buffer methodology is redesigned. The impact of these designs for different use cases are evaluated. 3-Dimensional data such as point clouds are also inspected. So; this thesis offer different methodologies for different use cases. As the unmanned systems are going to use 2-Dimensional and 3-Dimensional input data, this is also another reason the inspections of different designs are highly important.
The aim of the thesis is showing that objects can be detected faster, with higher accuracy and better energy efficiency by using two- and three-dimensional data on Field Programmable Gate Array (FPGA). It is known that the most researched points for unmanned systems are speed, accuracy, and energy parameters. The performance of currently used microprocessor-based systems in object recognition is much lower than FPGA based systems due to the lack of parallel data processing capacity. So, even the smallest improvements to be made in the detection of objects with FPGA are important. Machine learning structures with many layers, neurons are the most frequently used structures for object detection from the data at hand and have the highest accuracy rates. On the other hand, using these structures require so high memory, that can be a major issue for embedded systems. This is the reason why rather than the Convolutional Neural Network (CNN) direct implementation, Binary Neural Network (BNN) methodology is used. On the other hand, redesigning the machine learning models by decreasing depth and using additional filters are examined. As filtering, commonly used 3-line buffer methodology is redesigned. The impact of these designs for different use cases are evaluated. 3-Dimensional data such as point clouds are also inspected. So; this thesis offer different methodologies for different use cases. As the unmanned systems are going to use 2-Dimensional and 3-Dimensional input data, this is also another reason the inspections of different designs are highly important.
Description
Keywords
FPGA, Nesne Algılama, Gömülü Sistemler, Makine Öğrenmesi FPGA, Object Detection, Embedded Systems, Machine Learning