İHA üzerinden derin öğrenme tabanlı nesne belirlenmesi ve GNSS konum koordinatlarının hesaplanması

Abstract

Robotik sistemler, günümüzde otonom (insansız) görev uygulamalarında kullanılmaktadır. İnsansız Hava Aracı (İHA) robotik sistemlere örnek olarak verilebilir. Askeri ve sivil alanda birçok uygulamada kullanılan İHA’lar, üzerlerine eklenen çeşitli teknolojilere sahip algılayıcılar yardımıyla engelden kaçınma, nesne tanıma, otonom hedef tespiti gibi birçok görevi yerine getirebilir. Bu türden görevlerde görüntü işleme teknikleri olarak derin öğrenme ve makine öğrenmesi tabanlı yapay zekâ algoritmalarının kullanımı giderek yaygınlaşmaktadır.Bu çalışmada, İHA aracılığıyla hedef olarak seçilen nesnenin Küresel Uydu Yönlendirme Sistemi (GNSS) koordinatlarını uzaktan hesaplayabilen bir sistem tasarlanmıştır. Sistemin kalbini 3 eksen yalpaya monte edilmiş kamera ve lazerli mesafe ölçer modülü (LiDAR) oluşturmaktadır. LiDAR yalpa üzerindeki kameranın yanına ve aynı doğrultuda yerleştirilmiştir. Anlık kamera görüntüsü ve LiDAR mesafe verileri canlı olarak arayüz yazılımına aktarılmaktadır. Arayüz yazılımında derin öğrenme yöntemleriyle görüntüdeki olası hedefler çerçevelenir. Kullanıcı seçtiği hedefi ortalayacak şekilde uzaktan kumandayla yalpa sistemini hareket ettirerek hedefi ekranın merkezine getirebilir. Arayüz yazılımından butona basılmasıyla birlikte İHA’nın GNSS koordinatları, yaw açısı ve hedef mesafesi ile yalpanın yaw ve pitch açıları düzenlenerek Vincenty formülüne gönderilir. Hedefin GNSS koordinatları hesaplanır.Sistemin başarımını test etmek için örnek hedef nesnelerin GNSS koordinatları statik olarak ölçülüp İHA üzerinden dinamik olarak hesaplanan koordinatlar ile karşılaştırılmıştır. Haversine formülüyle, İHA’nın ölçüm sırasındaki koordinatından statik olarak ölçülen ve dinamik olarak hesaplanan koordinatlara olan mesafe ve yönelim açısı bulunmuştur. Hesaplanan koordinatın başarımı, elde edilen sapma açısı ve mesafelerin bağıl hata yüzdesi üzerinden değerlendirilmiştir.Bu çalışma Marmara Üniversitesi Bilimsel Araştırma Projeleri Koordinasyon Birimi (BAPKO) tarafından desteklenmiştir (Proje No: FEN-C-YLP-170419-0123).

Robotic systems nowadays are used in autonomous (unmanned) task applications. An Unmanned Aerial Vehicle (UAV) can be given as an example of robotic systems. UAVs, which are used in many applications in military and civilian fields, can perform many tasks such as obstacle avoidance, object recognition, autonomous target detection with the help of sensors with various technologies attached to them. Using deep learning and machine learning based on artificial intelligence algorithms are becoming increasingly common as image processing techniques in such tasks.In this study, a system is designed to calculate remotely the Global Navigation Satellite System (GNSS) coordinates of the selected object as a target via the UAV. The heart of the system is a 3-axis gimbal-mounted camera and laser distance measurement module (LiDAR). LiDAR is placed next to the camera on the gimbal and in the same direction. Live camera images and LiDAR distance data are transferred in real-time to the interface software. Possible targets in the image are framed by deep learning methods on the interface software. The user can move the gimbal system with the remote control to center the chosen target to the center of the screen. By pressing the button on the interface software, the GNSS coordinates, yaw angle and target distance of the UAV and yaw and pitch angles of the gimbal are arranged and sent to the Vincenty formula. The GNSS coordinates of the target are calculated.In order to test the performance of the system, the GNSS coordinates of the sample target objects were measured statically and compared with the coordinates calculated dynamically on the UAV. Distance and bearing angle, which are from the coordinate of the UAV during the measurement to statically measured and dynamically calculated coordinates, are found with the Haversine formula. The performance of the calculated coordinate was evaluated by the obtained yaw angle and the relative error percentage of distances.This study was supported by Marmara University Scientific Research Projects Coordination Unit (Project No: FEN-C-YLP-170419-0123).