1. 서 론

운전자의 운전을 보조해주는 Advanced Driver Assistance System(ADAS)부터, 고도화된 자율주행 기술에 이르기까지 차량에서의 주변 환경 인식 기술은 다양하게 발전해왔다. 주변 환경 인지는 차량에 탑재된 센서들로부터 취득된 데이터를 가공하며 이루어지는데, 카메라, 라이다, GPS와 같은 센서들이 사용된다. 차량 주변 환경의 객체들은 차선, 신호등, 횡단보도와 같은 정적 객체와 보행자, 차량, 자전거와 같은 동적 객체로 나눌 수 있다. 최근에는 [1-2]와 같이 센서로부터 취득한 데이터를 이용해, 딥러닝으로 차량 주변의 객체들을 인식하는 기술들이 연구되고 있다.

자율주행 차량이 주행하는 영역을 특정하기 위해서는 차선 정보가 필수적으로 요구된다. 특히, High-Definition Map(HD-map)과 고정밀 Global Positioning System(고정밀 GPS)의 조합이 과도한 시간적, 경제적 비용을 필요로 하기 때문에 최근에는 [3]과 같이 HD-map과 저가 GPS를 사용하거나 [4-5]처럼 HD-map 없이 자율주행을 시도하는 연구가 늘고 있다. 이러한 상황에서 차량의 주행 가능 영역 및 현재 주행 차선을 확인하기 위해서는 차선 인식 기술이 매우 필수적이다.

차량에서의 차선 인식 기술은 크게 Around-View Monitoring(AVM) 카메라를 사용하는 방식과, 전방 카메라를 사용하는 방식으로 나누어진다. AVM 카메라는 전방 카메라와 다르게 카메라의 렌즈가 차량이 주행하는 도로를 바라보고 있어, 차선을 Top-view 로 인식할 수 있다는 장점이 있다. 하지만, 제한된 화각으로 인해 AVM 카메라로 인식할 수 있는 차선의 범위는 매우 짧아 주행하고 있는 차로의 양 옆 차선만 인식할 수 있다는 한계점이 있다. 전방 카메라를 이용한 차선 인식은 차선의 인식 범위가 매우 넓으며 주행 차로 외 차로들의 차선까지 검출할 수 있다는 장점이 있지만, 이를 Top-view로 변환하기 위한 별도의 후처리(Post-processing) 작업이 필요하다. 본 논문에서는 차선의 인식 범위가 넓은 전방 카메라를 사용하여 차선을 인식하는 알고리즘을 연구 범위로 설정하였다.

인식한 차선을 자율주행의 측위 및 판단 기술에 사용하기 위해서는 차선을 HD-map에 매칭하거나, Bird-Eye-View (BEV) 평면으로 변환하여 차량의 주행 차로를 식별한다. 이를 위하여 정확한 차선 추출 기법은 필수적이며, 중앙선, 실선, 점선 등의 차선 속성 정보를 추가로 제공하면 연계 기술의 매칭을 보다 용이하게 할 수 있다.

본 논문에서는 자율주행 차량에서의 효율적인 측위 및 판단 기술에 차선 정보 제공을 위한, 멀티 레이블 차선 검출 딥러닝 알고리즘을 제안한다. 2장에서는 자율주행 차량에서의 차선 인식에 대한 관련 연구를 기술한다. 3장에서는 차량에서의 멀티 레이블 차선 인식을 위한 알고리즘을 기술하고, 4장에서는 실험 환경과 그 성능에 대하여 서술한다. 5장에서는 본 논문의 결론을 맺는다.

2. 관련 연구

2.1. 딥러닝을 이용한 차선 인식

2.1.1. 딥러닝 객체 분할 기법

객체 분할이란, 이미지의 각 픽셀에 대해 해당 픽셀이 속한 객체 혹은 배경을 분류하는 딥러닝 기법이다. 객체 분할에서는 입력 이미지가 주어지면, 해당 이미지의 사이즈를 조정하는 등 전처리하여 Convolutional Neural Network(CNN)이나 기타 딥러닝 아키텍처에 입력하고, 딥러닝 아키텍처의 출력은 이미지 사이즈와 같은 멀티 레이블 마스크다. [6-7]은 Encoder-Decoder 구조를 통해 이미지 전체에 대해 각 픽셀이 해당하는 레이블 및 종류를 구별했다. 객체 분할은 이미지 내 모든 픽셀에 대해 클래스 정보를 주기 때문에, 자율주행 차량에서도 객체 분할을 이용한 차선 인지가 많이 연구되었다. [9]는 [8] 모델을 기반으로 하여 자율주행에서의 차선 분할을 수행하였고, 이를 [10] 시뮬레이터에서 검증하였다. [11]은 키포인트를 예측하여 객체 분할의 방식으로 차선의 개수에 제한이 없는 차선 인식을 시도하였다.

2.1.2. 딥러닝 객체 검출 기법을 이용한 차선 인식

[12]는 입력 이미지에서 차선을 검출하고, [13]은 차선의 시작점을 키포인트로 삼아 해당 키포인트로부터의 차선을 회귀 예측하여 차선의 전체 모양을 검출한다. [13]은 차선의 시작점 위치를 히트맵(Heatmap)을 사용하여 검출한다. 객체 검출 기법은 이미지의 전체 픽셀에 대해 소속 객체를 예측해야 하는 분할 기법보다 가볍고 빠르기 때문에 보다 실시간성에 유리하다.

본 논문에서는 [13]을 베이스라인 네트워크로 삼아, 멀티 레이블 차선 검출 네트워크를 제안한다.

2.2. 차선 인식을 위한 데이터셋

차선 인식 모델을 학습하기 위해서는, 가공된 차선 데이터셋이 필요하다. [14]는 베이징에서 수집된 대규모 차선인식 데이터로, 총 10만장이 넘는 이미지로 구성되어 있다. 이미지 당 레이블링 된 차선의 개수는 최대 4개로, 왼쪽 차로의 왼쪽 차선, 자차로의 왼쪽차선, 자차로의 오른쪽 차선, 오른쪽 차로의 오른쪽 차선이라는 클래스를 가진다.

[15]는 20만장 이상의 이미지를 가진 3D 차선 인식 데이터셋이다. 차선 모양, 레이블, 정지선과 곡선 도로에 대한 레이블링이 되어있어 다양한 레이블에 대한 학습이 용이하다. 본 논문에서는 [15]를 이용하여 네트워크를 학습하였으며, 학습된 네트워크의 정량적 검증 또한 [15]의 검증 데이터셋에서 진행하였다.

3. 멀티 레이블 차선 인식 알고리즘

3.1. 히트맵 기반 차선 검출 모델

[13]은 차선의 시작점을 키포인트로 삼아, 키포인트를 예측하는 히트맵을 만들어 히트맵 상에서 검출된 키포인트들에 대해 차선 모양 예측을 진행하는 모델이다. 히트맵이란 키포인트가 어떤 픽셀에 위치하고 있을 확률을 나타내는 맵으로, 히트맵의 픽셀값 중 1에 가까운 픽셀의 좌표는, 물체의 키포인트가 해당 픽셀에 위치할 확률이 높다는 것을 의미한다. 히트맵은 [16-17]와 같이 사람의 동작 인식에서 많이 사용되었는데, 각 키포인트가 사람의 어떤 관절에 해당하는지 히트맵에서 유추하기 위해서, 멀티 클래스의 히트맵이 사용되었다.

한편, [13]에서 차선의 시작점을 예측할 때 사용하는 히트맵은 바이너리 히트맵으로, 해당 지점에 차선의 키포인트 유무를 예측하는 확률값을 나타낸다.

3.2. 히트맵 기반 멀티 레이블 차선 인식

본 논문에서는 [13]에서 제안한 히트맵 검출 네트워크의 바이너리 히트맵 차원을 확장하여, 멀티 레이블 차선 인식을 제안한다. 차선 인지 네트워크의 Backbone이 이미지의 특징맵을 추출하고, 특징맵은 히트맵을 예측하기 위한 인풋으로 사용된다. 이때, 검출하고자 하는 차선의 클래스가 N 개라면 기존 바이너리 히트맵의 사이즈 (40, 200, 1)에서 (40, 200, N)으로 히트맵의 차원을 확장한다.

따라서, N개의 바이너리 마스크가 된 히트맵은 각 바이너리 마스크 별로 일반 차선, 중앙선 등 다른 클래스의 차선을 예측한다. 히트맵 예측 이후에 차선의 모양 예측 네트워크의 인풋으로, 멀티 레이블 히트맵과 Backbone에서 추출된 특징맵이 사용된다.

인지한 멀티 레이블 히트맵은 하나의 차선 시작점에 대해 히트맵 상에서 여러 키포인트가 예측되었을 때, 키포인트를 하나로 합치기 위해 Non-Maximum Suppression (NMS)를 통해 주변 키포인트 후보들 중 Confidence score가 가장 높은 키포인트가 히트맵의 최종 예측이 된다. 이 때, Fig. 1의 도심로 차선에서, 왼쪽 하단과 같이 서로 다른 클래스의 차선의 시작점이 매우 가까울 때 NMS로 인해 하나의 차선 시작점이 생략된다면 문제가 될 수 있다. 따라서, 멀티 레이블 히트맵을 예측한 후에 각 히트맵 레이블 별로 NMS를 진행하여 서로 다른 클래스의 차선 키포인트들 간에는 Confidence score 비교가 이루어지지 않도록 한다.

Fig. 1

Figure of urban lane

NMS가 진행된 후에, N개의 바이너리 히트맵이었던 (40, 200, N)의 히트맵은 차선 모양 예측을 위한 네트워크의 인풋이 되고, 차선 모양 예측에 대한 네트워크들은 예측한 차선의 시작점으로부터 지평선 방향으로 차선의 다음 픽셀 정보를 예측하여 최종적으로 차선의 레이블과 이미지 상 픽셀 좌표를 예측한다. 이때 각 차선은 차선 별로 다른 아이디 정보를 가진다.

3.3. 검출한 차선의 차량 좌표계 변환

실차에서의 차선 인지 성능을 분석하고, HD-map에 매칭 가능한 형태로 만들기 위해, 이미지 상에서 검출된 네트워크의 차선은 차량 좌표계로의 변환이 필요하다. 본 논문에서는 차량 좌표계로의 변환을 위해 Inverse Perspective Mapping(IPM)을 사용한다.

이는 도로가 평면이라는 가정 하에 카메라의 Extrinsic, Intrinsic Matrix을 사용하여 카메라가 촬영한 이미지 상 픽셀을 평면 도로에 매핑하는 매트릭스를 활용하는 기법이다.

카메라의 Extrinsic Matrix란, Rotation 행렬과 Translation 행렬로 구분되며 이는 각각 카메라와 기준 좌표계의 상대적 방향과 위치를 나타내는 행렬이다. 본 논문에서의 기준 좌표계는 차량 좌표계로 설정하였다. 카메라의 Intrinsic Matrix란 카메라 좌표계 기준으로 카메라에 내재되어 있는 파라미터인 Focal length와 Camera center 등의 값과 연관되어 있다. 최종 알고리즘의 흐름도는 Fig. 2와 같다.

Fig. 2

Flow of multi label lane detection

4. 실험 및 결과

제안한 멀티 레이블 차선 인식 알고리즘에 대한 검증은 이미지 상의 정량적 성능 검증과, 3D 좌표계로 변환 이후 실차에서 취득한 데이터에서의 중앙선 인지 성능 검증으로 이루어진다. 이미지 상에서의 정량적 성능 검증은 학습을 진행한 OpenLane데이터셋[10]의 테스트 데이터셋에서 진행하였으며, 약 12,000 장의 이미지에서 F1 score을 이용해 검증하였다. 실차에서의 중앙선 인지 성능은 IPM을 이용하여 3D 좌표계로 변환한 이후에 약 700 장의 이미지에서 HD map 과의 비교를 통해 진행하였다.

학습은 차선을 일반 차선과 중앙선으로 구분하여 진행하였으며, 중앙선에 대한 기준은 반대 차로와 주행 차로를 구분하는 황색 실선으로 정의하여 학습하였다. 따라서 본 논문에서의 클래스 개수는 2개이며, 이는 히트맵 차원을 확장함에 따라 다르게 설정할 수 있다.

4.1. OpenLane 정량적 실험 결과

OpenLane 데이터셋에서의 성능 검증은 F1 score을 통해 진행하였다. F1 score의 식은 Eq. (1)과 같다. 예측된 차선을 정답 값과 비교하여, Intersection of Union(이하 IoU)을 계산한다. IoU는 Bounding box를 이용하는 객체 검출에서 많이 사용하는 지표로써, 정답 값과 예측 값이 얼마나 겹쳐 있는지 판단하는 지표이다. 따라서 IoU는 물체 한 쌍이 전혀 겹쳐 있지 않을 때 0 값을 가지며, 비슷한 크기의 물체가 많이 겹쳐 있을수록 1에 가까운 값을 가지게 된다.

IoU 값이 일정 임계 값 이상이고, 예측한 레이블 값이 정답과 일치한다면 해당 예측은 True Positive(이하 TP)라고 여긴다. 어떤 예측이 실제 차선 정답 값과 다르다면, 즉 IoU 값이 임계 값 미만이라면 해당 예측은 False Positive(이하 FP)라고 여긴다. 어떤 정답 값에 대해 해당 정답 값을 예측하지 못했다면 이를 False Negative(이하 FN) 라고 여긴다. 본 논문에서 IoU 값을 비교하는 임계 값은 0.5 로 설정하였다. 예측 값들 중에 실제로 정답 값을 맞춘 예측에 대한 비율을 Precision이라고 하며, 정답 값 중 실제 예측이 맞춘 정답의 비율을 Recall이라고 한다. F1 score는 Precision과 Recall의 조화평균으로 나타낼 수 있다.

학습 결과 본 논문에서 제안하는 멀티 레이블 차선 인식 알고리즘은 OpenLane 테스트 데이터셋에 대해 61.73의 F1 score를 달성하였다.

4.2. 3D 차량 좌표계 상에서의 실험

이미지 상에서 차선의 픽셀 좌표들과 차선의 레이블이 주어지면, 자율주행 차량에 적용하기 위하여 3D 좌표계로 변환하는 작업을 수행한다. 본 논문에서는, 3.3절에서 서술한 것과 같이 IPM 기법을 이용하여 이미지의 차선 픽셀들을 3D 차량 좌표계로 변환하여 성능 검증 실험을 진행하였다. 이 때, 이미지 상 일정한 간격으로 생성된 차선 픽셀들을 IPM을 이용하여 차량 좌표계로 변환하였을 때 자차에서 멀어질수록 픽셀 간 간격이 커진다. 이는 이미지의 원근법 특성과 관련이 있는데, 실제 3D 좌표계 상 같은 크기의 물체들도 이미지가 촬영된 카메라와 가까운 곳에 있다면 더 커 보이고, 카메라와 멀리 떨어진 곳에 있다면 작아 보이는 것과 같은 이유이다.

생성된 3D 좌표계 상 픽셀들을 이어 하나의 차선으로 만들기 위해 본 논문에서는 3D 좌표계 상 픽셀들의 선형 보간(linear interpolation)을 이용하여 차선을 이루는 점들 간 간격을 0.1m 이 되도록 차선을 생성하였다.

본 논문에서 제안하는 알고리즘을 평가하기 위해, 실차에서 취득한 약 700 장의 이미지에 대해 HD map 과 비교를 진행하였다. 이미지 상 검출된 이미지들을 차량 좌표계로 변환한 후에, HD map 상에서의 중앙선과 비교하여 알고리즘이 예측한 중앙선에 대한 검출율을 계산하였다.

실차 취득 주행 이미지에 대한 TP, FP, FN 값에 대한 수치는 Table 1에서 확인할 수 있다. 총 762 장의 주행 이미지에 대해 중앙선이 존재했던 이미지는 514 장이며, 중앙선이 존재하지 않던 이미지는 231 장이다.

중앙선이 존재하는 이미지 514장에 대해 제안하는 알고리즘이 Positive라고 예측한 값, 즉 TP는 488 장이었으며, Negative라고 예측했던 값, 즉 FN은 26장이었다. 중앙선이 존재하지 않았던 이미지 231 장에 대해 알고리즘이 Positive라고 예측한 값, 즉 FP는 11장이었으며, 알고리즘이 Negative라고 예측한 값은 220장이었다. 따라서, 본 논문이 제안하는 알고리즘의 실차 취득 데이터에서의 중앙선 분류 Precision은 97.8% 이며, 중앙선 분류 Recall은 94.9% 이고, F1 score는 96.3% 이다.

Recall이 Precision보다 상대적으로 낮은 이유는 제안하는 차선 인지 알고리즘으로 중앙선을 분류하였을 때, 중앙선이 없을 때 일반차선을 중앙선으로 오인지하는 경우보다 중앙선이 있음에도 중앙선을 일반차선으로 오인지 하거나, 아예 인지하지 못하는 경우가 많기 때문이다. 이는 주행하는 차량 특성상 근처의 타 차량들이 차선을 침범하며 주행하는 상황이나, 정차 시 다른 차량에 가려져 중앙선이 보이지 않는 상황에 대한 영향이 있다고 추측된다.

Fig. 3은 실차 취득 데이터에서의 중앙선 검출을 시각화한 그림이다. 각 그림의 왼쪽 사진은 카메라에서 취득된 이미지에서 검출된 차선 중 일반 차선을 초록색, 중앙선을 빨간색으로 표시했다. 그림의 오른쪽 사진은 이미지 상 검출된 차선들을 IPM 기법을 사용하여 차량 좌표계인 3D 좌표계로 변환하여 HD map에 표시하였다. Fig. 3의 가장 위 사진은 검출된 중앙선과 차선이 이미지, 맵 상에서 각각 빨간색, 초록색으로 그려진 것을 나타낸다. Fig. 3의 중간 사진은 신호 대기 정차 중 타 차량들에 정지선이 가려져 중앙선이 있음에도 인지되지 못한 차선 미인지 경우이다. Fig. 3의 아래 사진은 중앙선이 존재하는 이미지이고 중앙선이 가려지지 않았지만, 중앙선이 일반 차선으로 오인지 된 상황을 나타낸다.

Fig. 3

Visualization of center-lane detection

제안하는 알고리즘은 이미지 상 차선 검출 후 IPM 기법을 이용해 차량 좌표계로 변환하기까지 RTX 3070 Ti 그래픽카드에서 85 FPS를 달성하였다. 알고리즘과 연계된 측위 모듈의 연산시간은 50 FPS이다. 따라서 본 알고리즘은 50 FPS 이상의 연산시간을 확보하여 실시간성을 달성했기 때문에 실제 자율주행 차량에서의 실시간 연산이 가능하다고 보여진다.

5. 결 론

본 논문에서는 자율주행 차량의 주행에 사용할 수 있는 멀티 레이블 차선 검출 딥러닝 알고리즘을 제안하였다. 제안된 방법은 히트맵 기반 차선 검출 딥러닝 네트워크의 히트맵 차원을 확장하여 여러 클래스의 차선을 서로 구분할 수 있도록 하며, 이를 IPM 기법을 이용하여 차량이 주행하는 3D 좌표계로 변환하여 성능을 분석하였다.

제안하는 알고리즘은 2D 이미지 상에서 OpenLane 데이터셋의 테스트 셋으로 평가되었으며, 3D 좌표계 상에서는 실차에서 취득한 약 700장의 이미지와 HD map으로 검증되었다. 딥러닝 네트워크부터 IPM을 이용하여 차량 좌표계로 변환하기까지의 과정을 85 FPS로 수행하며 실시간성을 달성하였으며, 중앙선 분류에 있어서 96.3%의 F1 score를 달성하였다.

IPM 기법은 곡률이나 경사로에서 부정확성을 보이는 것을 고려하여, 향후 보다 정확한 차량 좌표계 변환 알고리즘을 사용한 멀티 레이블 차선 검출 연구가 필요하다고 생각한다.