An Adaptive ROI Decision for Real-time Performance in an Autonomous Driving Perception Module

Ayoung Lee; Hojoon Lee; Kyongsu Yi

doi:10.22680/kasa2022.14.2.020

Preview

Journal of Auto-vehicle Safety Association. 30 June 2022. 20-25
https://doi.org/10.22680/kasa2022.14.2.020

An Adaptive ROI Decision for Real-time Performance in an Autonomous Driving Perception Module

자율주행 인지 모듈의 실시간 성능을 위한 적응형 관심 영역 판단

Ayoung Lee¹^*

Hojoon Lee¹

Kyongsu Yi²^†

이 아영¹^*

이 호준¹

이 경수²^†

¹서울대학교 기계공학부, 학생

²서울대학교 기계공학부, 교수

^{*First Author}

^{†Corresponding Author}

ABSTRACT

This paper represents an adaptive Region of Interest (ROI) decision for real-time performance in an autonomous driving perception module. Since the whole automated driving system consists of numerous modules and subdivisions of module occur, it is necessary to consider the characteristics, complexity, and limitations of each module. Furthermore, Light Detection And Ranging (Lidar) sensors require a considerable amount of time. In view of these limitations, division of submodule is inevitable to represent high real-time performance for stable system. This paper proposes ROI to reduce the number of data respect to computation time. ROI is set by a road’s design speed and the corresponding ROI is applied differently to each vehicle considering its speed. The simulation model is constructed by ROS, and overall data analysis is conducted by Matlab. The algorithm is validated using real-time driving data in urban environment, and the result shows that ROI provides low computational costs.

Keywords

Autonomous Driving

ROI

Point Cloud Processing

Lidar Processing

Real-time Performance

키워드

자율주행

관심영역

점군집 데이터 처리

라이다 처리

실시간 성능

MAIN

1. 서 론
2. 자율주행 차량의 구성
2.1. 적응형 관심영역 포함한 자율주행시스템 구조
2.2. 자율주행차량 인지 센서 구성
3. 적응형 관심 영역 설계
3.1. Region 1 대응전략
3.2. Region 2 대응전략
3.3. Region 3 대응전략
4. 적응형 관심 영역 구현 및 성능 개선 결과
4.1. 적응형 관심 영역 구현 및 방법
4.2. 적응형 관심 영역에 따른 성능 개선 및 분석
5. 결 론

1. 서 론

자율주행시스템이 보급됨에 따라, 자율주행자동차의 판단, 제어 기술은 자율주행차량의 인지 기술에 크게 의존한다.⁽¹⁾ 빠르고 정확한 인지기술이 요구되며, 이를 위해서는 차량의 거동 가능한 범위 내 모든 물체를 인지하여 주변 환경에 대응들이 이루어져야 한다. 주변 차량의 거동상황, 보행자 예측, 장애물 인지 등 모든 시나리오에 대한 대응들이 필요하다.⁽²⁾ 자율주행차량의 시나리오들이 다양해지면서, 각 시나리오들에 대처하기 위해 자율주행시스템이 고도화되었다.⁽³⁾ 자율주행시스템이 고도화되면서 많은 모듈이 생겨나고, 더욱 많은 데이터와 연산을 요구한다.⁽⁴⁾ 반면 자율주행은 실시간 처리능력이 필수적으로 요구되는데, 전체 자율주행시스템의 처리시간은 데이터양과 시스템 연산량에 비례하므로 시스템이 각 기술에서의 처리시간 단축이 필요하다. 이전 자율주행 연구에서는 반복적 연산과 방대한 계산과 데이터, 비전처리 알고리즘 내 computational load가 발생하여 실시간 물체 인지 및 판별에 어려움이 존재했다.⁽⁵^,⁽⁶⁾⁾

따라서 본 연구에서는 이러한 문제점을 보완하기 위하여 적응형 관심 영역을 제안한다. 보다 빠른 인지기술과 처리속도를 위하여, 차량 중심의 주변 환경 인지 영역만을 인지하여 전체 시스템의 속도를 높이기 위함이다. 차량에 속도에 따라 도로 상황을 추정하여 적응형 관심 영역을 설정하고, 영역에 따른 점군집 데이터를 처리한다. 적응형 관심 영역 지정에서는 차량 속도를 중심으로 도로 폭, 안전 거리, 도로 곡률 등이 고려된다. 적응형 관심 영역 구현을 위해 map 개념을 이용하여 속도에 따른 적응형 관심 영역을 설정하였다. 본 연구에서는 적응형 관심 영역에 따라 자율주행 차량의 인지 알고리즘 실행 속도에 대한 성능 개선을 목적으로 한다. 2장에서는 자율주행 실험에 사용된 차량 및 센서 구성, 3장에서는 본 연구에서 제안하는 적응형 관심 영역 설계, 4장에서는 적응형 관심 영역 적용 결과, 5장에서는 본 연구의 결론에 대해 기술한다.

2. 자율주행 차량의 구성

2.1. 적응형 관심영역 포함한 자율주행시스템 구조

본 연구에서 활용한 자율주행시스템의 전체 구조는 Fig. 1과 같다. CAN통신을 이용한 샤시정보 취득, Eternet통신을 이용한 라이다의 점군집 데이터 취득, 적응형 ROI를 적용한 점군집 데이터를 처리, 측위정보와 결합한 Reference Path에 따른 Motion Planning을 진행한다.

https://static.apub.kr/journalsite/sites/kasa/2022-014-02/N0380140203/images/kasa_14_02_03_F1.jpg

Fig. 1

Autonomous driving system with ROI

2.2. 자율주행차량 인지 센서 구성

본 연구에서 실제 자율주행차량이 활용되었고, 자율주행 차량은 차량에 부착된 레이더와 라이다 센서를 이용해 주변 환경에 대한 정보를 수집해 인지 알고리즘에 이 용한다. 실제 이용된 자율주행차량에는 송출하는 레이저 신호와 반사되는 신호의 시간간격을 활용하는 Light Detection And Ranging(Lidar)가 장착되어 있다. 전방에는 IBEO 4L모델이 장착되어 있으며 260m의 인지거리와 110의 수평 시야각, 3.2의 수직 시야각을 지닌다. 4면에는 Velodyne VLP-16 모델이 전방위 인지를 위해 장착되어 있으며 100m의 인지거리, 360의 수평 시야각, -15~15의 수직 시야각을 지닌다. 자율주행차량의 Field of Vision(FOV)는 Fig. 2와 같다.

https://static.apub.kr/journalsite/sites/kasa/2022-014-02/N0380140203/images/kasa_14_02_03_F2.jpg

Fig. 2

Sensor detection range

3. 적응형 관심 영역 설계

인지 영역의 제한은 실시간 주행하는 차량에 대하여 Lidar Raw Data를 제한하여 빠른 라이다 처리를 가능하게 한다. 따라서 본 논문에서는 도로 폭, 도로 설계속도, 제한속도를 고려하여 차량 속도에 맞춘 적응형 관심 영역을 지정하였다. 각 도로의 설계속도는 Table 1, 최고제한속도는 Table 2와 같다. 안전성 확보를 위하여 두 속도기준 중 설계속도에 근거하여 적응형 관심 영역을 설계하였다.

Table 1.

Standard of design speed by road classification of Korea

Category		Design speed(kph)
		Rural area			Urban area
		Plain area	Hill area	Mountainous area	Urban area
Motorway		120	110	100	100
Non-motorway	Arterial roads	80	70	60	80
	Sub arterial roads	70	60	50	60
	Collection roads	60	50	40	50
	Local roads	50	40	40	40

Table 2.

Standard of speed limit by road classification of Korea

Category		Condition	Speed limit(kph)
Motorway		-	60~90
Non- motorway	Arterial roads	Two lane one-way roads with median strip, intersections, and crosswalks	70
		One-way roads with two or more lanes with median strip and intersections with road widths between 200-500m	60
		One-way roads with two or more lanes without median strip and intersections with road widths less than 200m	50
	Sub arterial roads	Two lane one-way roads	50
	Sub arterial roads	Two lane one-way roads and road segments with curb parking or a large amount of bike flow	40
	Collection roads	Single lane one-way roads and car seperation roads	40
	Collection roads	One-way one lane roads, car seperation roads, and road segments with curb parking or a large amount of bike flow	30
	Local roads	One-way one lane roads without sidewalks	30
	Local roads	Roadds where special attention should be paid to the safety of transportation vulnerable	20

본 논문에서는 저속주행과 고속주행, 더 나아가 고속주행을 세분화하여 총 3가지 주행 시나리오를 제안한다. 따라서 Table 1에 의해 적응형 관심 영역 설계기준을 보조간선도로와 주간선도로의 설계속도인 60kph, 80kph로 제시한다. Region1을 60kph미만 주행영역, Region2를 60kph이상 80kph미만 주행영역, Region3을 80kph이상 주행영역으로 평가하였다.

3.1. Region 1 대응전략

Region1은 보조간선도로 설계속도인 60kph에 근거하여 설계되었다. 차량 속도 60kph미만 주행 상황에 대한 영역으로, 60kph미만 속력의 차량은 주간선도로를 제외한 일반도로 범위 내에 존재한다. 교통상황 혼잡시의 저속주행, 교차로, 교통약자의 통행이 많은 주거지역, 학교지역, 상업지역 등 특정 지역에 대하여 30kph이하로 주행하도록 설정된 구역의 경우들로, 전 방향에서의 차량, 보행자, 장애물 인지가 요구되어 이에 알맞은 적응형 관심 영역을 설계하였다.

3.1.1. 전방구간 ROI 선정기준

전방구간에서는 차량이 주행할 도로 형태에 기반하여 관심영역을 도출하고자 하였다. 따라서 직선방향과 곡선방향 도로를 모두 고려한다. 직진구간에서 안전성 확보를 위해 차량 속도 v_x를 해당 구간 최고 속도 60kph을 기준으로 한다. 직진구간에서 적응형 관심 영역 종방향 길이는 식 (1)과 같이 정의한다. v_x는 차량좌표계 기준 현재 x축 속도, t_safe는 차량의 안전속도를 위한 시간, t_detect는 자율주행차량에서 라이다 포인트 클라우드가 인지되는 시간, t_delay는 엑츄에이터 지연 시간을 나타낸다.

(1)

L_{l o n g} = {v_{x}}^{*} (t_{d e t e c t} + t_{d e l a r y} + t_{s a f e})

좌회전, 우회전 구간에서는 도로에 따른 곡률과 횡방향 가속도에 의해 차량 속도가 정의된다. 구심력과 도로 곡률 κ의 정의에 의해 식 (2), (3)이 성립하고, 곡선도로에서의 차량의 속도 v_{x_des}에 대한 식 (4)가 도출된다. 따라서 곡선도로에서의 차량 속력은 식 (5)와 같다. 일반적으로 코너링 주행상황에서 횡방향 가속도 a_{y_des} ≤ 2m/s²이므로, 안전성을 고려하여 a_{y_des} ≤ 3m/s²로 가정하였다.

(2)

a_{y} = \frac{v^{2}}{r}

(3)

κ = \frac{1}{r}

(4)

v_{x, d e s} = \sqrt{\frac{a_{y, d e s}}{|κ|}}

(5)

v_{x, d e s} = \{\begin{cases} v_{x} & i f \sqrt{\frac{a_{y, d e s}}{|κ|}} \geq v_{x} \\ \sqrt{\frac{a_{y, d e s}}{|κ|}} & e l s e \end{cases}

회전구간에서의 이동거리를 구하는 식을 정리하면 식 (6)과 같다. t_turn은 코너링 시간을 의미한다.

(6)

L_{c o r n e r} = {v_{x}}^{*} t_{t u r n}

따라서 직선방향, 곡선방향 도로를 모두 고려하여 결정된 전방구간 길이는 식 (7)과 같고 전방 적응형 관심 영역은 Fig. 3과 같다.

(7)

L = M a x (L_{l o n g}, L_{c o r n e r})

https://static.apub.kr/journalsite/sites/kasa/2022-014-02/N0380140203/images/kasa_14_02_03_F3.jpg

Fig. 3

Front ROI range

3.1.2. 측방구간 ROI 선정기준

측방에서는 보행자들과 장애물, 도로 다양한 곡률, 회전 교차로 등 다양한 상황을 고려하고자 하였다. 측면에서 발생가능한 도로 모양과 회전교차로 최대 구간길이 L_side를 식 (6)과 동일하게 계산하였다. 측방 적응형 관심 영역은 Fig. 4와 같이 도출된다. 측방 적응형 관심 영역은 Fig. 4와 같이 도출된다.

https://static.apub.kr/journalsite/sites/kasa/2022-014-02/N0380140203/images/kasa_14_02_03_F4.jpg

Fig. 4

Side ROI range

3.1.3. 후방구간 ROI 선정기준

후방에서는 차량들이 가까워져 올 때를 인지해야 하므로 후방의 적응형 관심 영역은 전방의 적응형 관심 영역과 동일한 모양을 가진다. 후방에서의 직선도로와 곡선도로 형태를 고려하여 3.2.1에서 소개한 전방 적응형 관심 영역을 135°, 180°, 225°로 회전 이동시킨 모양을 갖는다. 이는 변환행렬 T를 이용하여 구할 수 있다. T는 회전행렬 R과 3차원 평행이동 벡터 p를 이용해 식 (9)와 같이 나타난다. 식 (8)의 R은 3차원 좌표 (x,y,z)를 z축 기준 θ만큼 회전 시키는 회전행렬이다. 변환된 좌표는 식 (10)과 같다.

(8)

R = [\begin{matrix} \cos θ & - \sin θ & 0 \\ \sin θ & \cos θ & 0 \\ 0 & 0 & 1 \end{matrix}] \in S O (3)

(9)

T = [\begin{matrix} R & p \\ 0 & 1 \end{matrix}] \in S E (3) (p \in ℝ^{3})

(10)

[\begin{matrix} x' \\ y' \\ z' \\ 1 \end{matrix}] = [\begin{matrix} R & p \\ 0 & 1 \end{matrix}] [\begin{matrix} x \\ y \\ z \\ 1 \end{matrix}]

위 식들에 의해 도출된 Region1 적응형 관심 영역은 Fig. 5와 같다.

https://static.apub.kr/journalsite/sites/kasa/2022-014-02/N0380140203/images/kasa_14_02_03_F5.jpg

Fig. 5

ROI range of region1

3.2. Region 2 대응전략

본 논문에서 Region2은 주간선도로 설계속도인 80kph에 근거하여 설계되었다. 60kph이상, 80kph미만 주행 상황에 대한 영역을 표시한다. Table 1과 Table 2에 의해 60kph이상, 80kph미만 속력 차량은 주간선도로, 고속도로 범위 내에 존재한다. 고속 주행 상황으로 충분한 안전거리와 cut-in, cut-off 차량, 연속 차선 변경 차량에 대한 대응이 요구된다.

종방향 길이 L_long은 3.2.1에서 소개한 식 (1)과 동일하다. 안전성 확보를 위해 v_x는 해당 구간 최고 속도 80kph을 기준으로 한다. 횡방향 길이 L_lat은 고속주행에서 좌우 2개 차선만큼의 길이가 요구되며 식 (11)과 같이 나타난다. 우리나라의 차로 폭은 2.75m이상, 3.5m이하로, 안전성 확보를 위해 w_lane는 3.5m로 가정하였다.

(11)

L_{l a t} = w_{l a n e} (\frac{5}{2})

3.3. Region 3 대응전략

본 논문에서 Region3은 고속도로 설계속도 100kph에 근거하여 설계되었다. 차량 속도80kph이상 주행 상황에 대한 영역으로, Table 1, 2에 의해 80kph이상 속력 차량은 고속도로 범위 내에 존재한다.

고속 상황으로 Region2보다 긴 안전거리와 cut-in, cut-off 차량 대응이 요구된다.

https://static.apub.kr/journalsite/sites/kasa/2022-014-02/N0380140203/images/kasa_14_02_03_F6.jpg

Fig. 6

ROI range of region2

https://static.apub.kr/journalsite/sites/kasa/2022-014-02/N0380140203/images/kasa_14_02_03_F7.jpg

Fig. 7

ROI range of region3

종방향 길이 L_long은 3.2.1에서 소개한 식 (1)과 동일하다. 안전성 확보를 위해 v_x는 고속도로 설계속도인100kph을 기준으로 한다. 횡방향 길이 L_lat은 고속주행에서 cut-in, cut-off차량 차선 변경 시나리오를 고려한다. 좌우 1개 차선만큼의 길이가 요구되며 식 (12)와 같이 나타난다.

(12)

L_{l a t} = w_{l a n e} (\frac{3}{2})

4. 적응형 관심 영역 구현 및 성능 개선 결과

4.1. 적응형 관심 영역 구현 및 방법

3장의 방법으로 차량 속도에 따른 적응형 관심 영역을 구현하였다. 적응형 관심영역 map을 생성하여 차량 속도에 따른 각 영역 내 점군집 데이터들이 실시간으로 출력된다. 알고리즘 시작점에 Map을 구현함으로써 인지 데이터 처리속도에는 영향을 주지 않는다, Fig. 8에서와 같이 3.1절의 Region1 점군집 데이터를 출력함을 확인하였다. 각 grid는 10m의 간격을 가진다. 본 알고리즘은 Robot Operating System(ROS) 환경에서 PCL라이브러리를 사용하여 C++로 작성 및 구현되었다.

https://static.apub.kr/journalsite/sites/kasa/2022-014-02/N0380140203/images/kasa_14_02_03_F8.jpg

Fig. 8

ROI range map in ROS

4.2. 적응형 관심 영역에 따른 성능 개선 및 분석

실제 도로 주행 데이터를 사용하여 적응형 관심 영역 알고리즘을 검증하였다. 상암 자율주행 테스트 베드에 대한 데이터를 사용하였으며, Velodyne 점군집 데이터, Ibeo 점군집 데이터, 차량 속도를 Rosbag 형태로 취득하였다. Chassis정보를 Can Parser를 통해 파싱하면 차량 상태에 대한 정보들을 얻을 수 있는데, 파싱해낸 차량 속도 정보를 이용하였다.

Rosbag 주행 데이터를 이용한 알고리즘 적용으로 적응형 관심 영역에 대한 성능 검증을 진행하였다. 총 21000개 시간 데이터를 누적하여 각 step이 끝날 때의 ROS time 으로 적응형 관심 영역 적용 전/후 시간간격을 비교함으로써 전체 점군집 데이터 수 감소에 따른 전체 알고리즘의 데이터 처리 시간 감소를 확인하였다.

Fig. 8은 적응형 관심 영역에 대한 개선 시간을 히스토그램으로 나타낸 것이며, x축은 개선 시간, y축은 전체 도수에 대한 비율을 의미한다. 해당 히스토그램에 대한 평균과 표준편차를 Table 3에 나타내었다. 약 5.3ms만큼의 시간이 감소하였으며, 알고리즘의 평균 시간은 약 80ms로 6.62%의 개선률을 가진다. 개선 시간이 양의 값을 가지며 전체 알고리즘 처리시간이 감소함을 알 수 있다. 히스토그램에서 0이하의 데이터값을 가지는 결과 실제 주행 상황에 대해 rosbag형태 데이터를 시뮬레이션을 수행하는 과정에서 알고리즘의 수행 시간의 변화 등의 이유로 동일 시점의 점군집 데이터 비교가 어려워 시간동기화, 데이터동기화에 대한 것으로 분석된다.

Table 3.

Mean and standard deviation of improved time

	Time Improvement (ms)
Mean	5.4096
Standard deviation	8.6141

https://static.apub.kr/journalsite/sites/kasa/2022-014-02/N0380140203/images/kasa_14_02_03_F9.jpg

Fig. 9

Improved time gap about ROI

5. 결 론

본 연구에서는 자율주행시스템의 인지 알고리즘 처리 속도를 감소시킬 수 있는 적응형 관심 영역을 제안하였고, ROS환경에서 map을 통해 적응형 관심 영역을 구현하였다. 실제 자율주행차량과 도로주행 데이터를 이용한 인지 알고리즘 처리시간을 판단하기 위해 시간데이터를 Rosbag데이터로 누적시켜 Matlab 환경에서 비교 및 분석을 수행하였다. 차량의 속도가 변함에 따라 적응형 관심 영역이 정해지고, 정해진 영역에 따라 라이다 점군집 데이터의 수가 감소하며 알고리즘 시간이 현저히 감소함을 확인하였다. 자율주행 시스템에서 실시간 주행 대응능력은 필수적이며, 방대한 데이터를 차량의 주행 상태에 맞추어 불필요한 데이터들을 제한함으로써 전체 알고리즘의 처리시간을 감소시켰다는 점에서 의의를 갖는다.

Acknowledgements

본 연구는 국토교통부 도심도로 자율협력주행 안전·인프라 연구 사업의 연구비지원(과제번호 19PQOW-B152473-01)에 의해 수행되었습니다.

References

K.N. Qureshi and A. H. Abdullah, 2013, "A survey on intelligent transportation systems", Middle-East Journal of Scientific Reserch, Vol. 15, pp. 629~642.

AutoNet2030, 2014, Co-operative Systems in Support of Networked Automated Driving by 2030.

이호준, 채흥석, 서호태, 이경수, 2018, "자율주행을 위한 레이더 기반 인지 알고리즘의 정량적 분석", 2018, 자동차안전학회지, Vol. 10, No. 2, pp. 29~35.

Benligiray, B., Topal, C. and Akinlar, C. "Video-based lane detection using a fast vanishing point estimation method", 2012, IEEE, 348~351. 10.1109/ISM.2012.70

Bertozzi, M., Broggi, A. and Fascioli, A, 2000. "Vision-based intelligent vehicles: State of art and perspectives, Robotics and Autonomous systems, 32, 1~16. 10.1016/S0921-8890(99)00125-6

Brenner, W. and Herrmann, A., 2018, "An overview of technology, benefits and impact of automated and autonomous driving on the automotive industry, Digital Marketplaces Unleashed. Springer. 10.1007/978-3-662-49275-8_39

Journal of Auto-vehicle Safety Association ISSN:2005-9396(Print) 자동차안전학회지

Preview

An Adaptive ROI Decision for Real-time Performance in an Autonomous Driving Perception Module

ABSTRACT

MAIN

Fig. 1

Autonomous driving system with ROI

Fig. 2

Sensor detection range

Table 1.

Standard of design speed by road classification of Korea

Table 2.

Standard of speed limit by road classification of Korea

(1)

(2)

(3)

(4)

(5)

(6)

(7)

Fig. 3

Front ROI range

Fig. 4

Side ROI range

(8)

(9)

(10)

Fig. 5

ROI range of region1

(11)

Fig. 6

ROI range of region2

Fig. 7

ROI range of region3

(12)

Fig. 8

ROI range map in ROS

Table 3.

Mean and standard deviation of improved time

Fig. 9

Improved time gap about ROI

Acknowledgements

References