• yolo v4 object detection →후 처리 ( 가장 가까운 신호 신뢰하기 위한 process)

0. 관련 연구

(1) 기존의 영상처리 기반 검출 : 못 씀, 주변 환경에 심하게 영향을 받음 (threshold 환경마다 다 달라서 맞추기 힘듬)

(2) 최근에는 딥러닝쪽으로 신호등 검출 기법들이 나오고 있음 ㅎㅎ

(근데 v2x 쓰면 그냥 1번에 해결되는데 ㅎㅎ )

기존의 process

딥러닝으로 신호등 있는지 없는지 판단 → 그 기준으로 ROI 설정→ (RGB→HSV)영역 변경 → 원추출 - > 모폴로지 적용 (인식률 폭망)

why ? :

트레이닝 epoch, batchsize, filter 등 hyper parameter에 대한 지식없이 trainning 진행해서 폭망했음

카메라 webcam parameter calibaration도 필요한데 실험적 data로 대충때려넣음

1. Yolo v4 : Image classification + Localization

   Head : YOLO-v3 (지난학기 사용한거)

   Neck : SPP(Spatial Pyramid Pooling), PAN(Path Aggregation Network)

   Backbone : CSP-Darknet53 (YOLO-v3 : Darknet53)

class name : [5]

Green : 몇

Red : 장

yellow : 찍

Green Left : 을

Red Left : 까

(1)YOLO v4 - 후처리 process 적용했을 때 성능 (자체 dataset)

(2)RGB→HSV→YCbCr 변환 후 CSP Darknet53 모델 적용

우리의 신호등 인식 process

신호등 탐지 및 분류 - > 최적화 및 상태 식별

first, YOLOv4 network 이용해 신호등 조명을 감지하고 분류

second, 모양과 위치에 따라 후처리로 최적화해서 최종 식별

YOLOv4====================================

input : input image (1920x1080) network size : 416x416 (트레이닝 때 조정해주면 됨)

output : 신호등 class, 신뢰 점수

===========================================

후처리 =======================================

1.검증된 것 중에 신호등이 아닐만한 것 은 싹다 지워버리는 processing

2. 여러 개의 신호 중 우리가 사용할 신호등을 분류해야 함.

• input image 상에 신호등이 상단 경계에 걸치면 절반 이상이 보여야 함
• input image 상에 신호등이 왼쪽 오른쪽 가장자리에 있을 때에는 모든 신호등의 전구가 보여야 함

이를 위해서는 다음의 영상처리 processing이 필요함.

신호등 전구를 HSV 색 공간으로 변환해서 원 영역을 추출해서 일련의 공식을 때려서 확인 (공식은 논문에 ) ㅎㅎ

링크다 이거야

3. 여러개의 검출된 신호등 중에서 우리가 사용할 신호등을 catch 해야해

• bounding box area로 판별하면 될듯 ㅎㅎ

대회 당일 신호인식 망하면 머리박겠습니다. 이상