Publication: FPGA tabanlı PCB hata tespitinde derin öğrenme uygulaması
Abstract
Elektronik devre elemanlarının, devre yollarının ve kart boyutlarının oldukça küçülmesi, tümleşik devre elemanlarının bacak yapılarının ve montaj yöntemlerinin değişmesi; diğer taraftan birden fazla katmana sahip plakaların varlığı baskılı devre tasarımlarında oldukça karmaşık yapılar oluşturmaktadır. Bu karmaşıklıklar, PCB üretim sürecinde devre yollarının oluşturulmasından montaj aşamasına kadar her adımda çeşitli hatalara yol açabilmektedir. PCB hataları, Plaka Üretimi Hataları ve Montaj Hataları olmak üzere iki ana kategoriye ayrılmaktadır. Geleneksel yöntemde, uzman operatörler plaka ve montaj hatalarını çıplak gözle veya mikroskop kullanarak kontrol ederler. Ancak bu yöntem (görsel inceleme), zaman alıcıdır, hatalara açıktır ve hız açısından seri üretime uygun değildir. Bu hataların tespit edilememesi cihaz arızalarına, performans sorunlarına ve ürün güvenilirliğinde düşüşlere yol açabilmektedir. Bu nedenle, daha etkili ve hızlı hata tespit sistemleri kullanmak çok önemlidir. Bu soruna çözüm olarak, PCB montaj hattının sonuna yüksek çözünürlüklü kameralar ile gelişmiş görüntü işleme ve derin öğrenme modellerinin entegre edilmesi önerilebilir. Bu önerilen sistem, hataları otomatik olarak tespit eder, insan hatalarını en aza indirir ve süreci hızlandırır. Bu tez çalışmasında, PCB üretimi sürecinde karşılaşılan olası kusurları otomatik olarak tespit etmek için görüntü işleme tekniklerini ve makine öğrenme algoritmalarını kullanan bir yöntem önerilmektedir. Çalışmanın temelini oluşturan açık kaynaklı DeepPCB veri seti, çeşitli kusur türlerini barındıran 1194 PCB görüntüsünü içermektedir ve bu kusurlu görüntülerin üzerinde etiketlenmiş 7.899 kusurdan 6.385'i eğitim ve 1.514'ü test için kullanılmıştır (%80'i eğitim, %20'si test için). YOLOv4 ve YOLOv8 modelleri kullanılmış ve sonuçlar karşılaştırılmıştır. YOLOv8, Kria KV260 kartında yüksek doğrulukla üstün performans göstermiştir. Özellikle, delik hattı sınıfında %78,0 mAP@50 (IoU eşiğinde ortalama hassasiyet 0,50) ortalama hassasiyet gösteren YOLOv4 modeliyle karşılaştırıldığında, %98,99'luk etkileyici bir mAP değerine ulaşmıştır. Ayrıca, deneyler sonucunda YOLOv8 modelinin genel doğruluğunun %98,21 seviyesinde korunduğu belirlenmiştir
The significant reduction in electronic circuit elements, circuit paths and card sizes, the change in the pin structures of integrated circuit elements and their assembly methods; on the other hand, the existence of plates with more than one layer create quite complex structures in printed circuit designs. These complexities can lead to various errors at every step from the creation of circuit paths to the assembly stage in the PCB production process. PCB defects are divided into two main categories: Plate Production Defects and Assembly Defects: In the traditional method, expert operators check the plate and assembly defects using the naked eye or microscope. However, this method (visual inspection) is time-consuming, prone to errors, and not suitable for mass production in terms of speed. Failure to detect these errors can lead to device failures, performance problems, and product reliability reductions. Therefore, it is very important to use more effective and faster defect detection systems. As a solution to this problem, it can be suggested to integrate high-resolution cameras, advanced image processing technics and deep learning models at the end of the PCB assembly line. This proposed system automatically detects errors, minimizes human errors, and speeds up the process. In this thesis, a method that uses image processing techniques and machine learning algorithms to automatically detect possible defects encountered in the PCB manufacturing process is proposed. The open-source DeepPCB dataset that forms the basis of the study includes 1194 PCB images containing various defect types, and 6385 of 7899 defects labeled on these defective images were used for training and 1514 for testing (80% for training, 20% for testing). YOLOv4 and YOLOv8 models were used and results were compared. YOLOv8 showed superior performance with high accuracy on the Kria KV260 board. In particular, it achieved an impressive mAP value of 98.99% in the hole line class when compared with YOLOv4 model showing %78,0 mAP@50 (mean Average Precision at IoU threshold 0.50) average precision. In addition, as a result of the experiments, it was determined that the overall accuracy of the model was maintained at 98.21%
The significant reduction in electronic circuit elements, circuit paths and card sizes, the change in the pin structures of integrated circuit elements and their assembly methods; on the other hand, the existence of plates with more than one layer create quite complex structures in printed circuit designs. These complexities can lead to various errors at every step from the creation of circuit paths to the assembly stage in the PCB production process. PCB defects are divided into two main categories: Plate Production Defects and Assembly Defects: In the traditional method, expert operators check the plate and assembly defects using the naked eye or microscope. However, this method (visual inspection) is time-consuming, prone to errors, and not suitable for mass production in terms of speed. Failure to detect these errors can lead to device failures, performance problems, and product reliability reductions. Therefore, it is very important to use more effective and faster defect detection systems. As a solution to this problem, it can be suggested to integrate high-resolution cameras, advanced image processing technics and deep learning models at the end of the PCB assembly line. This proposed system automatically detects errors, minimizes human errors, and speeds up the process. In this thesis, a method that uses image processing techniques and machine learning algorithms to automatically detect possible defects encountered in the PCB manufacturing process is proposed. The open-source DeepPCB dataset that forms the basis of the study includes 1194 PCB images containing various defect types, and 6385 of 7899 defects labeled on these defective images were used for training and 1514 for testing (80% for training, 20% for testing). YOLOv4 and YOLOv8 models were used and results were compared. YOLOv8 showed superior performance with high accuracy on the Kria KV260 board. In particular, it achieved an impressive mAP value of 98.99% in the hole line class when compared with YOLOv4 model showing %78,0 mAP@50 (mean Average Precision at IoU threshold 0.50) average precision. In addition, as a result of the experiments, it was determined that the overall accuracy of the model was maintained at 98.21%