An area-efficient FPGA implementation of lane and obstacle detection for driving assistance systems

Abstract

Bu tez, sürücüler için daha güvenli ve konforlu bir sürüş sağlayacak düşük maliyetli Alanda Programlanabilir Kapı (FPGA) cihazları üzerinde bir sürücü yardım sisteminin Şerit ve Engel algılama alt sistemlerini geliştirmeyi amaçlamaktadır. Tasarlanan algoritmada başlıca hedefler daha hızlı, verimli, farklı hava koşullarında ve farklı yol koşullarında çalışabilen bir sistem oluşturmaktır. Son zamanlarda Sürücü asistan sistemi, Uyarlanabilir hız sabitleyici, Kilitlenme önleyici fren sistemi, Otomotiv navigasyon sistemi, Çarpışma önleme sistemi, Acil durum sürücü asistanı vb. gibi benzer sistemlerle ilgili birçok çalışma yapılmıştır. Bu tez çalışmasında kenar algılama algoritmalarını, ilgi alanı yöntemini (ROI) ve Hough dönüşümünü (HT) kullanarak şerit takip ve nesne belirlemeyi gerçekleştirmektedir. Önerilen sürücü destek sistemleri Xilinx Zynq-7000 FPGA ve MATLAB yazılım platformu üzerinde 7 farklı hava ve yol koşulu üzerinde yaklaşık 1400 görsel üzerinde test edilmiştir. FPGA üzerinde elde edilen sonuçların MATLAB ile elde edilen sonuçlara göre 1322 kata kadar daha hızlı olduğu gözlemlenmiştir. 1400 görsel için test edilen Sobel operatörünün 1332 görsel ve Prewitt operatörünün 1288 görsel üzerinde şerit belirlemede doğru çalıştığını göstermiştir. Sobel filtresinin sonuç doğruluğu olarak Prewitt filteresine göre şerit belirlemede %6.2 ve engel algılamada %3.3 daha iyi olduğu kanıtlanmıştır. Look up Table (LUT) kullanımı açısından tasarlanan algoritma 1906 LUT kullanarak %38.95 daha verimlidir. Bu sistem, gerçek zamanlı uygulamalar için kabul edilebilir olup kenar algılama algoritmaları, ilgi alanı yönetimi ve Hough Dönüşümü yöntemlerini uygulayarak saniyede 27 kare işleyebilir.

This thesis aims to develop the Lane and Obstacle detection subsystems of a driver assistance system on low-cost Field-Programmable Gate Array (FPGA) devices that will provide a safer and more comfortable ride for drivers. The performance parameters are system speed, computational efficiency, and working in different weather and road conditions. Recently, many studies have been carried out on systems such Driver assistant system, Adaptive cruise control, Anti-lock braking system, Automotive navigation system, Collision avoidance system, Emergency driver assistant etc. The presented thesis performs Lane and Obstacle detection by using edge detection algorithms, region of interest (ROI), and the Hough Transform (HT) method. Proposed driver support systems are implemented on Xilinx Zynq-7000 FPGA and MATLAB software platform on approximately 1400 images over seven different weather and road conditions. It has been observed that the results obtained on FPGA are up to 1322 times faster than the results obtained with MATLAB. The study showed that for 1400 frames, the Sobel operator works correctly at 1332 frames and the Prewitt operator at 1288 frames at lane detection. The Sobel filter has been proven to be 6.2% better than the Prewitt filter at lane detection and 3.3% better at Obstacle detection in result efficiency. The designed algorithm implemented in terms of Lookup Tables (LUTs) usage is 38.95% more efficient than using 1906 LUTs, with a low energy footprint. This system can process 27 frames per second by applying edge detection algorithms, ROI, and HT methods which are acceptable for real-time applications.