Design aspects of machine learning algorithms for the hardware implementation of advanced driver assistance systems (A/ DAS)

Abstract

Bu tez, gelişmiş donanım-yazılım entegrasyonu ve çoklu görev öğrenme çerçeveleri aracılığıyla Gelişmiş Sürücü Destek Sistemlerini (A/ DAS) geliştirmeye yönelik yeni bir yaklaşım sunmaktadır. Pynq-Z1 ve esas olarak Kria KV260 Vision geliştirme kartları kullanılarak yürütülen araştırma, Python tabanlı PYNQ paketi ve FINN çerçevesi gibi hesaplama çerçevelerinin Pynq-Z1 kartına entegrasyonunu tanıtmaktadır. Bu yenilikçi yaklaşım, çeşitli uygulamalarda önemli donanım hızlandırmasını gösteren deneyler için bir temel oluşturmakta ve alana benzersiz bir katkı sağlamaktadır. Tezin merkezinde, tamamen otonom sürüş için A/ DAS'de güvenlik ve verimliliği artıran bir MPSoC-FPGA mimarisi üzerinde donanım-yazılım ortak tasarımı yer almaktadır. Kria KV260 üzerinde çeşitli algılama ve segmentasyon görevlerinin ayrıntılı bir şekilde uygulanması yoluyla, çalışma sistem performansında önemli bir iyileşme göstermekte ve kaynakların ve gücün verimli yönetimini tartışmaktadır. Ayrıca tez, heterojen mimariler üzerinde çok görevli bir A/ DAS uygulamasını detaylandırarak güç ve kaynak kullanımında önemli azalmalarla kayda değer bir hesaplama verimliliği elde etmektedir. Genel olarak bu araştırma, sistem doğruluğu ve bellek verimliliği için yeni ölçütler sağlayarak akıllı araç teknolojileri alanını derinden etkilemekte ve A/ DAS'de gelecekteki ilerlemeler için zemin hazırlamaktadır. Açıklanan deneyler, önerilen yaklaşımların gerçek dünya senaryolarına uyarlanabilirliğini ve etkinliğini göstermekte ve sonuç olarak A/ DAS literatürüne önemli bir katkı sağlamaktadır.This thesis presents a novel approach to enhancing Advanced Driver Assistance Systems (A/ DAS) through advanced hardware-software integration and multi-task learning frameworks. The research, conducted using the Pynq-Z1 and mainly Kria KV260 Vision development boards, introduces the integration of computational frameworks like the Python-based PYNQ suite and the FINN framework on the Pynq-Z1 board. This innovative approach establishes a foundation for experiments demonstrating significant hardware acceleration in diverse applications, a unique contribution to the field. Central to the thesis is the hardware-software co-design on an MPSoC-FPGA architecture, which enhances safety and efficiency in A/ DAS for fully autonomous driving. Through detailed implementation of various detection and segmentation tasks on the Kria KV260, the study shows a substantial improvement in system performance and discusses the efficient management of resources and power. Additionally, the thesis details a multi-task A/ DAS implementation on heterogeneous architectures, achieving notable computational efficiency with significant reductions in power and resource usage. Overall, this research profoundly impacts the intelligent vehicle technologies domain by providing new benchmarks for system accuracy and memory efficiency, setting the stage for future advancements in A/ DAS. The experiments described illustrate the adaptability and effectiveness of the proposed approaches in real-world scenarios, ultimately making a significant contribution to the literature on A/ DAS.