1. 서 론
2. 자율주행 차량의 구성
2.1. 자율주행 차량의 센서 구성
2.2. 자율주행 차량의 알고리즘 모듈 구성
3. 동적 라이다 관심영역 설정 알고리즘
3.1. 주행 상황 기반 관심 영역 설정
3.2. 주행 경로 기반 관심 영역 설정
4. ROI 설정 알고리즘 성능 평가
4.1. 주행 상황에 따른 ROI의 적용
4.2. ROI 설정에 따른 Point 수 변화
4.3. ROI 설정에 따른 인지 알고리즘 수행 시간 변화
5. 결 론
1. 서 론
자율주행 기술은 기존 인간의 주행보다 더 안전하고 효율적일 것으로 기대되며 빠르게 발전하고 있다. 자율 주행 기술은 측위, 인지, 판단, 제어로 구성된다.(1) 측위에서는 GPS와 도로의 형상 등을 기반으로 자차량의 위치를 알아낸다. 인지는 자차량 주변의 다른 차량들과 보행자 등 주행에 영향을 주는 객체들을 인식하는 단계를 말한다. 판단에서는 측위와 인지에서 얻어진 자차량과 주변 객체들의 정보를 바탕으로 차량의 거동을 결정하고, 제어에서는 목표하는 거동으로 차량을 움직이게 된다. 자율주행이 상용화되어 사람들의 일상으로 들어오기 위해 가장 중요한 것은 안전성이며, 이를 위해서는 자율주행을 구성하는 측위, 인지, 판단, 제어 기술이 모두 안정적으로 수행되어야 한다.(2)
안전성을 확보하기 위해 가장 중요한 것은 주변의 위험할 수 있는 객체들을 인식하는 인지 기술이다. 자율주행 차량의 인지 기술은 색이 있는 2D의 이미지 정보를 이용하는 카메라, 전파를 이용하여 물체의 위치와 속력을 알아내는 레이더, 레이저를 이용해서 물체의 3차원 위치를 알아내는 라이다를 주로 사용한다. 그중 라이다 센서는 다른 센서에 비해 매우 높은 위치 정확도를 가지고 물체의 3차원 좌표계에서의 위치를 계측할 수 있기 때문에 많이 이용된다.(3,4)
현재 일반적인 라이다 센서를 이용한 자율주행 인지 알고리즘에서는 차량 주변의 라이다 점 군집 데이터를 모두 이용한다. 하지만 이렇게 많은 라이다 데이터를 사용하는 것은 계산 부담이 증가하여 비효율적이다.(5) 실제 운전자가 주행하는 상황을 생각해보더라도 직진하는 경우 전방을 바라보게 되고, 차선 변경을 하는 경우에만 후측방 차선을 고려하게 된다. 이처럼 자율주행의 경우도 거동의 판단과 제어에 영향을 주는 범위만 인식하면 더 효율적으로 인지 모듈을 수행할 수 있을 것이다.
기존의 연구로는 카메라 이미지에서의 객체 인식 정보를 이용해서 물체가 있을 영역을 중심으로 라이다 점을 선별하는 방법이 있다.(6) 다른 연구는 매 순간 관심영역을 바꾸는 것이 아니라 도로의 환경에 범용적으로 대응할 수 있도록 관심영역을 설정하는 연구가 있다.(7,8) 하지만 자차량의 정보를 이용하면 주행 상황에 맞게 관심영역을 매우 좁게 설정할 수 있어 인지 수행 효율을 더 향상시킬 수 있을 것이다. 효율이 향상되면 수행시간이 감소하고 계산 부담을 줄어 더 안정적인 자율주행 시스템을 만들 수 있다.
본 논문에서는 자율주행 차량의 주행상황 및 경로에 기반한 동적 라이다 관심영역 설정 알고리즘을 제안한다. 이 알고리즘은 먼저 차량의 주행 상황에 대한 정보를 바탕으로 인지할 범위에 대한 기준을 마련한다. 그 후 주행 경로를 기준으로 상황에 맞는 관심 영역의 좌우 경계를 설정하고 라이다의 점 군집 데이터 중 경계 내부에 들어오는 점들을 선별한다. 이 알고리즘을 설명하기 위해 2장에서는 알고리즘이 적용되기 위한 차량의 센서와 자율주행 모듈의 구성을 설명한다. 3장에서는 관심영역 설정에 사용한 방법과 그 설정 기준을 제시하고 4장에서는 관심영역 기반 라이다 점 선별 결과를 분석한다. 5장은 결론으로 이 알고리즘이 가지는 의의를 정리한다.
2. 자율주행 차량의 구성
본 논문에서 제시하는 주행상황 및 경로 기반 동적 라이다 관심영역 설정 알고리즘이 적용되기 위한 자율주행 차량은 라이다 데이터를 이용한 인지 기능을 수행하는 차량이다. 알고리즘의 동작에 필요한 차량 데이터를 설명하기 위해 먼저 알고리즘 개발과 검증에 이용한 차량과 자율주행 모듈에 대해 설명하고자 한다.
2.1. 자율주행 차량의 센서 구성
알고리즘의 개발과 검증에 이용한 자율주행 차량은 ‘KIA’ 사의 ‘Carnival’ 차량으로 Fig. 1과 같이 ‘Velodyne’사의 ‘Ultra-Puck’ 라이다 센서 2개를 장착하고 있다. 라이다 센서는 모두 32 채널이고 장착 위치는 차량의 지붕 위로 주변 360° 모두 인지 범위에 들어온다. 라이다 점 군집 데이터를 구성하는 각 점의 데이터는 차량의 뒤 차축 중심을 원점으로 하고 종방향을 x축, 횡방향을 y축, 수직 방향을 z축으로 하는 위치 3차원에 강도를 포함하여 4차원 값으로 나타내어진다.
2.2. 자율주행 차량의 알고리즘 모듈 구성
본 논문에서 제시하는 알고리즘의 적용을 위한 자율주행 차량의 모듈 구성은 Fig. 2와 같다. 먼저 라이다 센서의 데이터를 받아서 본 논문에서 제시하는 알고리즘으로 관심영역 내부에 들어오는 라이다 점 군집 데이터를 추출한다. 이후 객체 인식과 추적 과정을 거쳐 타깃에 대한 정보를 판단 모듈에 제공한다. 판단 모듈에서는 경로와 타깃 등에 대한 정보를 종합하여 차량의 거동을 결정하고 이후 계획과 제어 모듈에서 세부적인 거동을 계획하고 차량을 제어하게 된다.
본 논문에서 제시하는 관심영역 설정 알고리즘은 상황에 따라 동적으로 변하기 때문에 주행 상황에 대한 정보를 받아야 한다. 경로 설정 모듈에서 차량의 주행 경로와 교차로 여부를 받고, 판단 모듈에서 차선 유지(Lane Keeping, LK), 차선 변경(Lane Change, LC) 상황에 대한 정보를 받는다. 차량 샤시에서는 차량의 종방향 속도에 대한 정보를 받아서 관심영역의 목표 인지 거리를 설정하게 된다.
3. 동적 라이다 관심영역 설정 알고리즘
3.1. 주행 상황 기반 관심 영역 설정
자율주행 상황에 따라 필요한 영역을 구분하여 관심 영역을 설정하고자 하였다. 주행 상황은 주변 객체의 인지가 필요한 범위에 따라 차선 유지, 차선 변경, 교차로 상황으로 구분하여 전방, 측방 및 후방 인지 거리를 결정하였다.
3.1.1. 차선 유지 상황에서 관심 영역 설정
차선 유지 상황에서는 측, 후방의 차량보다 전방의 같은 차선의 차량과 양 옆 차선에서 cut-in 하여 들어오는 차량을 인지하는 것이 중요하다. 따라서, 차량의 전방 인지 거리()의 기준은 정지해 있는 전방 차량을 인지하고 정차할 수 있는 거리로 식 (1)과 같이 선정했다.
자차량에 제동 입력이 들어가기까지는 자차량의 기존 진행 속도()대로 계속해서 진행한다고 가정했다. 라이다 데이터 입력으로부터 전방 차량의 인식에 걸리는 시간()은 약 0.05 초 정도이고, 액추에이터 지연 시간은 제동 입력이 들어간 후 실제 제동이 들어가는 데까지 걸리는 시간()으로 약 0.3 초 정도이다.(9) 추가로 제동 가속도 추적 시간, 객체 추적 시간 등 고려하여 안전을 위해 여유 시간()을 추가하여 2초 정도 제동없이 차량이 이동한다고 가정했다.
종방향 제동 가속도()는 주행 안정성과 승차감을 고려하여 1.5 m/s2로 가정했다.(10) 종방향 정차 여유거리()는 자차량의 길이 및 안전을 고려하여 10 m로 선정했다. 선정한 변수를 이용하여 속도에 따른 인지 거리를 나타내면 Fig. 3과 같다.
차선 유지 상황에서 횡방향 인지 거리()는 양 옆 두 차선을 기준으로 했다. 따라서 자차선을 포함하여 인지 거리를 설정하여 차선 너비의 2.5 배로 식 (2)와 같이 설정했다. 차선 너비()는 국내 도로 기준에 따라 3.5 m로 설정했다.(11)
차선 유지 상황에서 후방 인지 거리()는 식 (3)과 같이 종방향 여유 거리로 설정했다. 종방향 여유 거리 값은 전방과 같이 10 m로 설정하였다.
3.1.2. 차선 변경 상황에서 관심 영역 설정
차선 변경 상황에서 전방 영역은 차선 유지 상황과 마찬가지로 중요하지만 후방 영역 또한 중요해진다. 차선 변경 시행에 대한 여부를 판단하기 위해서는 변경하려는 차선에서 현재 주행하고 있는 다른 차량과 충돌 여부에 대한 판단이 있어야한다. 이를 위해서 식 (1)의 자차량 종방향 속도를 다른 차량의 속도와 자차량의 속도의 차이로 대체한다면 다른 차량이 자차량을 보고 감속하는 시나리오에서 필요 인지 거리를 알 수 있다. 이 인지 거리 내에 다른 차량이 없다면 차선 변경을 해도 된다는 판단을 할 수 있을 것이다. 다른 차량의 속도는 도로에서 가능한 최대 속도로 고려하기 위해 도시지역의 고속국도를 제외한 주간선도로의 설계 속도를 기준으로 80 kph로 가정했다.(11)
횡방향 인지 거리도 차선 유지 상황과 마찬가지로 설정했다. 차선 변경을 하더라도 좌우 두 차선을 인지하고 있다면 자차량이 변경하려는 차선으로 들어오는 차량을 모두 인지하고 있을 수 있기 때문이다. 또한, 차량이 차선 변경을 수행한다면 관심영역 또한 같이 이동하기 때문에 차선 유지 상황과 같은 기준으로 설정했다.
3.1.3. 교차로 상황에서 관심 영역 설정
교차로 상황에서는 경로를 따라 가는 상황과 다르게 전 방위에서 차량이 접근할 수 있게 되어 전, 후방뿐만 아니라 측방도 중요해진다. 더욱이 교차로에서 차량이 좌, 우 회전을 하게 된다면 다른 차량들이 접근 가능한 경로 또한 회전하게 된다. 따라서 교차로에서는 전방위를 관심영역으로 설정하여 인지하였다.
필요 인지 거리는 식 (1)에서 자차량 종방향 속도를 도로의 설계 속도로 대체하여 구하였다. 자차량과 교차로의 다른 경로에서 접근하는 다른 차량이 만나는 경우, 종방향 상대 속도는 매우 작기 때문에 자차량이 거의 멈춰 있는 상태에서 다른 차량이 접근하는 것과 같다. 따라서 다른 차량의 속도를 최대 속도로 가정하고 자차량을 보고 멈추는 경우를 가정하여 범위를 설정하였다. 이 범위 내에 이동 예측 경로가 충돌하는 다른 차량이 없다면 교차로를 지나가거나 회전을 안전하게 수행할 수 있다.
3.2. 주행 경로 기반 관심 영역 설정
주행 경로에 기반하여 관심 영역을 설정한 방식은 Fig. 4와 같다. 먼저 주행 경로의 waypoint를 기반으로 좌우 Ly만큼 간격을 주어 (x, y) 좌표 기반으로 좌우의 경계 점들을 형성한다. 도로의 곡률을 반영하기 위해 주행 경로에 수직으로 좌우 간격을 둔다.
다음으로 경계 점들을 x인덱스로 y 값에 접근할 수 있는 경계 배열로 구성한다. 경계 배열은 식 (4)와 같이 먼저 x 인덱스 사이 간격을 이용하여 경계 배열의 길이를 구하고, 이를 이용해서 x인덱스를 구한 다음 배열의 값은 경계 점들의 y 값을 선형 보간으로 계산하여 구성한다. 이렇게 인덱스 기반 배열로 구성하는 이유는 라이다의 점이 관심영역 내부에 있는지 판단할 때 점의 x좌표에 따른 좌우 경계를 매번 선형 보간으로 찾는 것이 아니라 인덱스를 통해 바로 매핑하여 수행시간을 단축하기 위해서이다.
경계 배열이 구성이 되었으면 전방과 후방의 인지거리를 고려하여 경계를 다시 설정한다. 식 (5)와 같이 전, 후방 인지거리를 반지름으로 가지는 반원 외부의 점들을 반원의 경계에 맞게 재구성한다.
경계가 설정되었으므로 마지막으로 라이다 점 군집의 각 점 중 경계 내부인 것만 선별한다. 식 (6)과 같이 좌 우의 경계의 y 값을 계산하여 그 사이 값을 가지는 점을 선별한다. 이렇게 배열을 이용한 경계 설정 후 점 선별을 통해 경로에 따라 유연하게 바뀌는 영역에서의 점을 빠르게 선별할 수 있다.
4. ROI 설정 알고리즘 성능 평가
알고리즘의 평가는 2장에서 설명한 차량과 센서 구성으로 상암 자율주행차 시범운행 지구에서 수행했다. 시나리오 1은 공원 주변을 따라 좁은 길을 지나는 경우, 시나리오 2는 도심을 지나는 경우의 라이다 데이터를 취득하여 평가했다.
평가에 사용한 컴퓨터의 사양은 실제 차량에서 사용할 수 있는 산업용 컴퓨터로 Table 1과 같다.
Table 1.
Industrial PC specification
| Industrial PC specification | |
| Model | Nuvo-9160GC-017 |
| CPU | Intel Core i7-13700 |
| RAM | 64GB DRAM |
| GPU | NVIDIA RTX-3050 8GB |
4.1. 주행 상황에 따른 ROI의 적용
3장에서 설명한 것처럼 주행 상황에 따라 최대 인지 거리를 결정하고 경로를 따라 관심영역을 설정하여 라이다 점 데이터를 선별했다. 주행 상황에 따른 점 선별 결과는 Fig. 5와 같다. 적색 점들이 기존의 점 군집이고, 녹색 점들이 주행 경로의 중심선과 그 좌우 Ly 만큼 띄워서 경계로 설정한 선들이다. 청색은 관심영역의 경계가 되는 점들이고 백색은 관심영역 내로 선별된 점들을 나타낸다.
Fig. 5를 보면 LK 상황에서는 차량의 전방 경로를 따라서, LC 상황에서는 차량의 후방도 관심영역으로 지정된 것을 알 수 있다. Intersection 상황에서는 주변 전방위의 영역을 모두 포함한다.
4.2. ROI 설정에 따른 Point 수 변화
ROI 설정을 하여 라이다 점 데이터를 선별한 경우와 아닌 경우 평균 점 데이터의 수 변화는 Table 2와 같다. 평균적으로 점의 수가 기존의 1/2~1/3수준으로 감소했다.
Table 2.
Average LiDAR points numbers comparison between with and without ROI
| LiDAR points numbers | |||
| Without ROI | With ROI | With / Without [%] | |
| Scenario 1 | 37341 | 11909 | 31.9 |
| Scenario 2 | 36592 | 17223 | 47.1 |
시간에 따른 점 데이터의 수는 Fig. 6과 같다. LK, LC 상황의 경우 점의 수가 1/4 수준으로 줄었지만, Intersection의 경우 95% 수준으로 조금 감소했다. 시나리오 2가 시나리오 1보다 Intersection이 많았기 때문에 평균 점 데이터의 수의 감소 비율은 시나리오 1이 더 컸던 것을 알 수 있다.
4.3. ROI 설정에 따른 인지 알고리즘 수행 시간 변화
라이다 기반 객체 인식 알고리즘을 이용해서 수행시간 변화를 비교했다. 분석에 이용한 라이다 기반 객체 인식 알고리즘은 점 군집 데이터를 받아서 딥러닝을 수행하기 위해 GPU로 옮기는 과정, 딥러닝을 통한 객체 인식을 수행하는 과정, 인지 후 후처리 과정, 객체 추적 과정으로 구성되어 있다.(12)
각 단계의 수행 시간 비교는 Table 3과 Table 4와 같다. 먼저 평균 시간을 보면 관심영역을 이용하는 경우 관심영역의 설정과 점 선택에 1.08 ms 더 소요되었으나, 다른 단계에서 모두 시간이 감소하며 최종적으로 10.29 ms 시간이 감소하게 되었다. 이는 기존에 비해 30%가량 시간이 감소한 것이다.
Table 3.
Average LiDAR object detection algorithm process time comparison between with and without ROI
Table 4.
Max LiDAR object detection algorithm process time comparison between with and without ROI
차량의 제어 시스템의 경우 고정 샘플링 타임을 가지도록 개발되므로 평균적인 연산 시간보다 최대 연산 시간에 의한 딜레이가 더 안정성에 영향을 미치게 된다. 이를 위해 최대 연산 시간을 Table 4에서 분석해 보았다. 최대 연산 시간의 경우 각 프로세스와 전체 시간에서 최대인 경우를 기록했다. 교차로 상황에서는 라이다 점의 수 감소가 두드러지지는 않았으나 최대 연산시간에는 유의미한 영향을 준다는 것을 확인할 수 있었다. 가장 많이 감소한 부분은 딥러닝 네트워크 수행 시간으로, 관심영역 설정이 없는 경우 계속해서 많은 데이터를 처리함에 따른 부하로 보이는 시간 피크를 보이면서 큰 수행시간을 보이는 것을 확인할 수 있었다.
각 단계별로 자세히 보면 딥러닝 수행을 위해 라이다 데이터를 GPU로 옮기는 시간, 딥러닝 연산을 수행하는 시간과 객체 추적 시간이 많이 감소한 것을 알 수 있다. 라이다 데이터를 GPU로 옮기는 시간의 감소는 관심영역의 제한으로 라이다 점 데이터의 수가 적어졌기 때문에 데이터를 옮기는 과정의 병목현상이 완화되었기 때문으로 볼 수 있다. 딥러닝 연산 수행 시간의 경우 객체를 인지하기 위해 처리하는 점들의 수와 범위가 줄어들면서 연산이 더 빠르게 이루어졌다고 볼 수 있다. 추적 시간 감소는 인지 영역이 작아지면서 불필요하게 추적하던 타깃의 수가 감소하였기 때문이라고 볼 수 있다. 이처럼 관심영역을 제한하는 것이 수행시간 감소에 영향을 미치는 것을 확실하게 확인한 수 있다.
5. 결 론
본 연구에서는 주행 상황과 경로에 기반하여 라이다 데이터의 관심영역을 설정하고 관심영역 내 점 데이터를 선별하는 알고리즘을 제안했다. 먼저 주행 상황에 대해서는 차선 유지, 차선 변경, 교차로 상황으로 나누어 전, 후방 인지 거리를 결정했다. 이후 주행 경로를 이용하여 자차량의 거동 판단과 제어에 관계된 영역의 경계를 설정하였다. x 축 인덱스를 기반으로 하여 y 값의 접근이 가능한 배열 형태의 경계를 정의하여 수행 시간을 단축했다.
이 알고리즘을 통해 실제 차량의 라이다 데이터로 검증한 결과 선별된 라이다 점 데이터의 수가 선별 전에 비해 약 30~50%로 감소했다. 이로 인해 데이터 이동 시간과 딥러닝 연산 시간을 감소시켰고 인지 범위의 감소로 객체 추적 시간도 감소되어 전체적인 라이다 기반 인지 알고리즘의 수행시간을 30%가량 감소시키는 효과가 있었다.
수행 시간은 평균 시간과 최대 시간 모두에서 줄어드는 결과를 보이며 실제 자율주행 운행에서 판단과 제어 모듈에 큰 딜레이 없이 인지 입력을 제공해줄 수 있어 안정성 향상에 크게 기여한다고 할 수 있다.
본 연구의 알고리즘에서는 교차로 상황에서 관심 영역을 크게 제한하지 않고 차량 주변의 데이터를 모두 처리하여 성능 향상이 제한적이다. 이를 도로의 형상에 맞게 더 좁게 설정할 수 있다면 성능향상에 더 기여할 수 있을 것으로 생각한다.
또한, 이렇게 관심영역을 설정하여 인지 영역을 줄이는 것은 자차량의 거동 계획과 다른 차량과 보행자가 등장할 수 있는 영역을 고려하여 안전성을 고려하여 설계되었으나, 예상치 못한 곳에서 완전히 돌발적으로 등장하는 객체에 대해서는 고려되지 않았다. 이 부분에 대해서 안전성을 확보하기 위해서는 더 빠른 인지 모듈을 수행하여 관심영역 내에서 빠르게 인지하여 반응하거나, 넓은 영역을 병렬적으로 느리게 인지하여 관심 영역내 인지 결과와 통합을 하는 등 더 많은 연구가 필요하다고 생각한다.
