1. 서 론
2. 드론 착륙지 선정 기법
2.1. 인공지능 기반 자율 착륙 기법
2.2. 마커 기반 자율 착륙 기법
2.3. SLAM 기반 자율 착륙 기법
3. 제안 알고리즘
3.1. SGR 알고리즘
3.2. 착륙 예정지의 정보 수집
3.3. 포인트 클라우드 전처리와 그리드 분할
3.4. RANSAC 알고리즘을 이용한 착륙 지점 도출
4. 실 험
4.1. 실험 개요
4.2. 실험 장비 및 환경 설정
4.3. SGR 알고리즘 실험 (1)
4.4. SGR 알고리즘 실험 (2)
5. 결 론
1. 서 론
드론(Drone)은 빠른 이동성과 신속 운용의 효율성을 활용하여 사람이 장시간 수행해야 하는 작업을 빠르게 완료할 수 있는 장점이 있다.(1) 특히, 물류 배송 산업에 드론을 활용하면 드론의 빠른 기동력으로 현재의 물류 배송 시스템에 비해 물품 배송 시간을 상당히 줄일 수 있을 것으로 기대되며, 이를 위한 기술 개발과 드론 배송 플랫폼 구축 실증 사업들이 진행됐다.(2)
2017년부터 2022년까지 시행된 제1차 드론 산업 발전 기본 계획의 일환으로 드론 실증도시 구축 사업을 통해 드론 물류 배송 사업화를 위한 지자체와 드론 업체의 노력이 있었으며, 이를 기반으로 2023년 12월 국내 드론 배송 상용화를 위해 드론 배송 표준모델과 로드맵 등을 제시하고 이를 실현하기 위한 K-드론배송 상용화 사업 추진계획을 발표하였다.(3) 섬, 공원, 항만 배송을 목표로 드론 배송 상용화 표준모델을 제시하였으며, 드론 배달점과 드론 배송 거점 등의 설치를 명시하고 있다. 이는 안전한 배송 환경 구축을 위해 현재의 드론 배송 기술력을 고려한 계획으로 판단된다.
따라서, 배송 드론 상용화를 위하여 거점 간(Station-to-station) 배송이 먼저 안정적으로 진행될 것으로 예상되며, 드론 배송 거점에서의 착륙은 기존의 마커 기반 접근 방식이 활용될 것으로 예상된다. 하지만 장기적인 관점으로 드론의 장기체공이 가능해지고 자율 비행 기술력이 향상된다면, 고객의 만족도를 향상하기 위해 드론 배송지 문 앞 (Station-to-door) 배송이 요구될 것으로 판단되며, 이를 실현하기 위해서는 드론 배송지마다 다른 환경에서 착륙 전 위험 장애물을 탐지하고 안전한 착륙 지점을 선정하는 기술이 필수적으로 요구된다.(4)
문 앞 드론 배송 시스템에서 기존의 마커 기반 착륙 기법은 마커를 추적하는 방식을 통해 드론의 안정적인 착륙을 유도할 수 있지만, 가정마다 별도의 시설물을 설치하고 유지해야 한다는 점에서 적용의 어려움이 있다. 이를 극복하기 위해 드론 착륙지의 사전 정보를 알지 못하는 상황에서 착륙하기 위한 연구가 일부 진행은 되고 있으나, 아직 마커가 있는 착륙장에서 드론의 센서 데이터를 이용하여 정밀 착륙하는 연구들로 집중되어 있다.
본 논문에서는 문 앞 드론 배송 시스템의 실현을 위하여 드론이 배송지 도착 시 착륙 예정지의 장애물을 탐지하고 착륙 불가 시 안전한 착륙지를 선정하는 기법을 제안한다. 이를 위해 동시적 위치 추정 및 지도작성(Simultaneous localization and mapping, SLAM) 기법을 사용하여 드론 배송지의 실시간 3차원 포인트 클라우드 지도를 생성하고 장애물 탐지 시 드론의 안전한 착륙 영역을 식별하기 위해 제시한 그리드 분할(Grid segmentation) 기법을 적용한다. 노이즈를 제거하고 정상 모델을 예측하는 무작위 샘플 합의(Random sampling and consensus, RANSAC) 알고리즘을 통해 3차원 포인트 클라우드 지도에서 평평한 지역을 식별하고 착륙 가능 지점을 선정하는데, 그리드 분할 기법은 착륙 가능 후보 지역을 줄일 수 있어 RANSAC 알고리즘의 많은 연산량을 줄여 빠른 착륙 지역 도출을 가능하게 한다. 마지막으로 배송지의 드론 영상 데이터를 이용하여 제시한 기법의 정확성을 실험적으로 검증한다.
2. 드론 착륙지 선정 기법
드론의 안전한 착륙을 위한 다양한 연구가 진행됐다. 본 장에서는 드론 착륙지 선정 연구를 간략히 소개하며 문 앞 배송 드론의 착륙을 위한 기술로 적용 시 문제점에 대해 살펴본다.
2.1. 인공지능 기반 자율 착륙 기법
드론에서 얻어지는 영상 또는 이미지를 활용하여 도심지 빌딩 옥상 등 드론이 맞이하는 다양한 착륙지의 환경에서 장애물을 회피하고 안전한 착륙 장소를 선정하기 위해 다수의 인공지능(Artificial intelligence, AI) 기반 알고리즘들이 제안됐다.(5,6) 인공지능 기반 알고리즘은 드론이 학습된 환경에서는 장애물을 인식하고 회피하는 작업에 높은 자율성과 정밀성을 보인다. 그러나 인공지능 기반 알고리즘은 학습에 필요한 데이터 수집 및 사전 처리가 어렵고, 많은 양의 데이터가 필요하며 데이터 라벨링에 많은 시간이 요구된다. 또한, 학습 과정에 상당한 연산 성능이 필요하며 학습되지 않은 상황에 대한 오작동과 잘못된 판단의 위험이 있고, 알고리즘이 결과를 도출하는 처리 과정을 해석하고 분석하기 어렵다는 단점이 있다.(7) 학습이 잘된 인공지능 알고리즘이라 할지라도 드론의 연산 모듈 상에서 실행되기에는 배터리 문제 등이 존재하는 드론의 성능 한계로 적용하는데 어려움이 존재한다.
2.2. 마커 기반 자율 착륙 기법
마커 기반 착륙 기법은 위에서 설명한 바와 같이 현재 드론의 안전한 착륙을 위해 거점 기반 드론 운용에 많이 사용되고 있다. 마커 기반 착륙 기법은 드론의 안전한 착륙을 위해 펜스를 설치한 지면에 착륙 지점을 만들고 사전에 정의된 도형이나 문자, QR 코드 등의 마커를 사용해 드론의 안전 착륙을 유도하는 방식이다.(8,9) 마커 기반 착륙 기법에 인공지능 알고리즘을 적용하여 착륙 정밀도를 높이는 연구도 다수 진행되었다.(10) 마커 기반 착륙 기법은 높은 정확도로 드론의 착륙을 유도할 수 있는 장점이 있으나, 마커 기반 착륙 기법이 본 논문에서 고려하는 문 앞 배송의 안전한 착륙 실현을 위해 실질적 적용에는 명확한 한계가 존재한다. 마커 기반 착륙 기법을 적용한 드론 운용 시스템도 드론이 비행 중 비상 착륙 등 마커가 없는 지역에서의 착륙 상황이 발생하기 때문에 반드시 마커가 없는 지역에서의 착륙 기법이 동반되어야 한다.
2.3. SLAM 기반 자율 착륙 기법
앞 장에서 설명한 인공지능과 마커 기반 착륙 기법은 드론의 착륙 정밀성을 높이지만, 학습의 어려움과 학습되지 않은 환경에서의 불확실성, 추가적인 장치 설치의 필요성이라는 한계를 가진다. SLAM 기술은 드론 센서를 통해 실시간으로 얻어지는 데이터를 통해 배송지 환경을 3차원 포인트 클라우드 지도로 구축 가능하며 동시에 자신의 위치를 정확하게 파악할 수 있어 드론이 사전에 환경 정보나 마커가 없는 배송지에서도 안전한 착륙 지점을 선정 가능케 한다.(11)
SLAM 기술은 다양한 종류의 센서를 사용하여 구현할 수 있는데, 자율주행 자동차 등에서 많이 사용하는 라이다 기반 SLAM은 매우 정밀한 3차원 지도를 구축할 수 있으나, 비싼 센서 비용과 복잡한 시스템이 드론의 적용에 적합하지 않다.(12) 초음파 기반 SLAM은 저렴하고 구현이 간단하지만, 탐지 가능 거리가 짧은 단점이 있어 약 10 m 정도의 높이에서 탐지해야 하는 드론의 특성상 유의미한 데이터를 추출하는 데 한계가 존재한다.(13) 비전 기반 SLAM은 영상 또는 이미지 데이터를 활용하여 3차원 지도 구축이 가능하며, 특히 스테레오 카메라의 경우 깊이 측정도 가능하여 드론이 공중에서 지상의 장애물을 탐지하고 3차원 지도를 생성하는데 큰 이점이 있다.(14) 따라서 본 논문에서는 스테레오 카메라를 활용하여 3차원 포인트 클라우드 지도를 생성하는 것을 고려하였다.
3. 제안 알고리즘
3.1. SGR 알고리즘
본 논문에서 제안하는 알고리즘은 배송 착륙 예정지 상공에서 SLAM 기술을 이용하여 드론의 스테레오 카메라에서 들어오는 영상을 통해 실시간 3차원 포인트 클라우드 지도를 생성하고, 이를 그리드 분할 기법으로 처리한 후 RANSAC 알고리즘을 통해 안정적으로 착륙 가능한 영역을 도출한다. 이를 기반으로 현재 드론의 위치에서 장애물을 탐지하고 착륙 가능 여부를 판단한다. 현 착륙 예정지에 장애물이 탐지되면 처리된 데이터를 기반으로 드론이 이동할 방향을 판단하고 이동한 위치에서 위의 절차를 반복하여 안전한 착륙 지점을 도출한다. Fig. 1은 제안하는 SLAM - Grid segmentation - RANSAC(SGR) 기반 알고리즘의 흐름도를 나타낸다.
3.2. 착륙 예정지의 정보 수집
드론 착륙 예정지에서 장애물 탐지와 안전 착륙 지점 선정의 첫 번째 단계는 센서로 착륙 예정지의 정보를 얻는 것이다. 본 연구에서는 관성 측정장치(Inertial measurement unit, IMU)가 포함된 스테레오 카메라를 사용하여 배송 예정지의 실시간 영상을 취득하고 SLAM 기술을 사용하여 3차원 포인트 클라우드 지도로 변환한다. 스테레오 카메라 기반 SLAM은 실시간으로 얻어지는 연속적인 이미지를 사용하여 3차원 지도를 구성한다. 초기 단계에서 알고리즘은 두 개 이상의 이미지에서 관측된 같은 특징점을 찾는다. 이 특징점들 사이의 상대적인 위치와 움직임, 관성 측정장치를 통해 수집된 카메라의 이동 정보, 카메라의 초점거리, 주점, 왜곡 계수 등의 내부 파라미터를 사용하여, 이 특징점들의 3차원 위치를 추정하고 이를 통해 수집된 3차원 위치 정보들이 모여 3D 포인트 클라우드를 형성하게 된다.
3.3. 포인트 클라우드 전처리와 그리드 분할
위의 과정을 통해 얻은 드론 착륙 예정지의 포인트 클라우드 데이터는 최하단의 지면도 포인트로 표현을 하는데, 이는 제안하는 알고리즘이 지면의 분할된 영역마다 지면에서 현재 드론의 높이까지의 포인트의 존재 여부를 장애물 존재 여부 판단에 활용한다는 점에서 성능 저하를 발생하는 원인이 된다. 또한, 드론이 빠르게 움직이거나 스테레오 카메라의 기술적 한계로 인해 평평한 지면의 포인트 클라우드가 왜곡되는 오류를 발생할 수 있다. 이러한 오류를 제거하기 위해 해당 3차원 포인트 클라우드 데이터를 전처리 과정을 통해 제외해야 한다. 지면으로부터 일정 높이까지의 포인트 클라우드 데이터를 제거하기 위해 고정된 높이 값 hth를 적용하면 알고리즘의 성능을 저하하는 결과를 초래하기 때문에, 3차원 포인트 클라우드 데이터의 분포에 따라 유동적으로 임계 높이 값 hth를 결정해야 하며 이는 식 (1)로 정할 수 있다.
식 (1)에서 μ는 3차원 포인트 클라우드 내 전체 포인트들의 평균 높이 값이며, k는 가중치 값으로 값이 클수록 오류 값들에 영향을 덜 받게 된다. Q1과 Q3은 전체 포인트들의 높이 값의 첫 번째, 세 번째 사분위 수를 의미한다.
전처리 과정을 마친 3차원 포인트 클라우드를 그리드 분할을 통해 착륙 가능 지역과 불가 지역을 도출할 수 있다. 3차원 포인트 클라우드 지도의 지면과 같은 크기를 갖는 2차원 평면(3차원 지도의 x, y축 기준)을 생성하고 N개의 그리드로 나눈다. 드론이 착륙 가능한 구역은 현재 드론의 높이에서부터 지면까지 장애물이 없어야 한다는 점을 이용하여, 3차원 그리드의 z축을 따라 각 그리드의 지면에서 드론 높이까지의 모든 포인트 수를 고려하여 특정 밀도 이상으로 포인트가 분포하는 그리드는 드론 착륙 불가 지역으로 분류한다.
3.4. RANSAC 알고리즘을 이용한 착륙 지점 도출
RANSAC 알고리즘은 이상치가 포함된 데이터의 모델을 추정하는 알고리즘이다. RANSAC 알고리즘은 반복 프로세스를 통해 전체 데이터에서 무작위로 선택된 최소한의 데이터를 사용하여 데이터 모델을 생성한다. 반복을 통해 알고리즘은 선택된 데이터로부터 모델 파라미터를 추정하고, 전체 데이터가 이 모델이 얼마나 잘 적합한지를 평가한다. 데이터가 모델에 의해 생성된 결과와 얼마나 일치하는지는 합의 집합(Consensus set)의 크기로 정량화하며 사전에 정의된 임계값을 초과하면 해당 모델을 잠재적으로 유효한 해로 간주한다.
제안하는 기법에서 RANSAC 알고리즘은 3차원 포인트 클라우드 데이터에서 무작위로 선택된 포인트를 기반으로 포인트 모델을 생성하고, 이 모델에 맞는 포인트들을 반복적으로 탐색하는 방식을 통해 드론이 착륙할 수 있는 평지를 탐색한다. RANSAC 알고리즘은 연산의 복잡도가 O(P2logP)로 포인트의 수 P가 증가할수록 급격히 증가하는데, 3.3장의 그리드 분할 기법은 드론 착륙 불가 지역을 사전 선별하여 착륙 불가 지역의 불필요한 포인트를 제거해 줌으로써 RANSAC 알고리즘의 연산량을 줄여주는 이점이 있다. 현재 드론의 위치에서 드론의 크기와 안전 운영 반경을 고려하여 탐색한 드론 착륙 가능 평지 내 착륙이 가능하면 착륙을 진행하고, 장애물과 충돌이 예상될 시 착륙 가능 평지가 넓은 쪽으로 드론이 이동하여 위 과정을 반복해 안전한 드론 착륙 지점을 찾는다.
4. 실 험
4.1. 실험 개요
본 논문에서는 배송 드론의 배송 예정지와 유사한 환경을 드론으로 촬영하였으며, 실험을 통해 배송 예정지의 장애물 탐지와 드론의 현 위치에서 장애물로 인해 착륙 불가 시 안전한 착륙 지점 도출 성공 여부로 제시한 알고리즘의 성능을 검증한다. 실험을 위해 고도 10 m에서 촬영한 영상 데이터를 사용하였으며, 본 논문에서 제시하는 이미지는 해당 영상의 순간을 캡쳐한 것이다.
4.2. 실험 장비 및 환경 설정
실험에 필요한 영상 데이터 취득을 위해 Fig. 2의 쿼드콥터 드론에 ZED 2i 스테레오 카메라와 NVIDIA Jetson Xavier NX 임베디드 보드를 탑재하여 사용하였다. 실험 과정에서는 ZED 2i 스테레오 카메라와 연동된 ZED ROS wrapper의 SLAM 기능을 활용하여 포인트 클라우드 데이터를 생성하였다. ZED ROS wrapper는 ROS 환경 내에서 ZED 카메라의 깊이 추정, 카메라와 호환되는 SLAM 지원, 카메라의 각종 데이터를 ROS 노드에 전달하는 등의 기능을 쉽게 활용할 수 있도록 지원하며, 활용 목적에 맞는 카메라 보정 변수를 자동으로 설정할 수 있게 하여 복잡한 과정을 거치지 않아도 높은 정확도의 포인트 클라우드를 제공할 수 있다. SLAM의 결과인 포인트 클라우드 데이터는 ROS 노드를 통해 관리하며, 이는 알고리즘의 처리가 특정 SLAM에 종속되지 않고 다양한 SLAM 기술을 적용할 수 있는 독립적인 환경을 구축하기 위함이다.
4.3. SGR 알고리즘 실험 (1)
Fig. 3(a)~(d)는 제안한 SGR 알고리즘의 처리 단계별 결과를 나타낸다. Fig. 3(a)는 드론 배송 예정지에 있는 드론에서 취득되는 영상의 순간을 캡쳐한 이미지다. Fig. 3(c)는 ZED ROS wrapper가 연속적으로 들어오는 영상을 이용하여 3.2절에서 설명한 방법으로 SLAM 기법을 적용해 드론 배송 예정지의 포인트 클라우드 지도를 생성한 것이며, 이 포인트 클라우드 데이터는 ROS 노드를 통해 관리되는데 메모리 사용량을 줄이기 위해 임시로 PCD 파일 형태로 저장된다. 이 파일을 분석하여 hth를 설정하고 3차원 포인트 클라우드 지도를 전처리한 후 그리드 분할 기법을 적용하여 드론이 착륙 가능 지역과 불가 지역을 판단하며, Fig. 3(d)에서 드론 착륙 가능 지역과 불가 지역은 흰색과 검은색으로 각각 표현되었다. 도출된 드론 착륙 가능 지역 중 안정적으로 착륙할 수 있는 평면 지역을 RANSAC 알고리즘을 통해 식별하며, 드론의 크기, 축간거리, 안전 운용 반경 등을 고려하여 드론이 현재 위치에서 착륙 가능한지를 판단한다. Fig. 3(b)은 알고리즘을 통해 탐지된 장애물을 제거하고 식별된 평면 내에 안전한 드론 착륙을 위한 최대 고려 반경(빨간 원)을 적용했을 때 현재 위치에서 안전하게 착륙 가능하다는 결과를 보여준다. Fig. 3(e)는 드론이 수신하는 원본 영상 위에 착륙 가능 지점을 표시한 것이다.
4.4. SGR 알고리즘 실험 (2)
Fig. 4는 드론이 배송 예정지에 도착 시 착륙 예정지에 장애물이 존재하여 장애물을 회피하고 안전한 착륙 지점을 찾는 과정을 보여준다. Fig. 4(a)는 드론 배송 예정지에 드론이 도달했을 때 밑에 장애물이 있는 상황의 영상을 캡쳐한 이미지이다. Fig. 4(c)와 (d)는 4.3절의 과정과 같은 결과를 나타낸 것이며, Fig. 4(b)는 현재 드론의 위치에서 장애물로 인해 안전한 착륙 지점을 도출할 수 없음을 보여준다. 이런 상황에서는 Fig. 4(d)의 결과를 기반으로 드론이 영상의 아래쪽으로 이동 시 착륙 가능 지점을 찾을 확률이 가장 높으므로 드론을 일정 거리 이동하며, Fig. 4(e)는 이동한 지역에서의 영상을 캡쳐한 이미지이다. Fig. 4(g)와 (h)는 알고리즘을 반복한 결과를 나타내며, Fig. 4(f)는 SGR 알고리즘을 통해 찾은 착륙 지점을 나타내고 Fig. 4(i)는 최종적으로 드론이 취득하고 있는 영상 위에 안전 착륙 지점을 나타낸 것이다. 따라서, 장애물이 있는 상황과 없는 상황에서 SGR 알고리즘을 이용하여 장애물을 탐지하고 안정적으로 드론 착륙 지점을 찾는 것을 확인할 수 있다.
5. 결 론
본 논문에서는 문 앞 드론 배송 시스템을 위한 안정적 드론 착륙을 위하여 드론이 배송지 도착 시 착륙 예정지의 장애물을 탐지하고 착륙 불가 시 안전한 착륙지를 선정하는 기법을 제안하였다. 이를 위해 SLAM을 사용하여 드론 배송지의 실시간 3차원 포인트 클라우드 지도를 생성하고 장애물 탐지 시 드론의 안전한 착륙 영역을 식별하기 위해 제시한 그리드 분할 기법을 적용하였다. 노이즈를 제거하고 정상 모델을 예측하는 RANSAC 알고리즘을 통해 3차원 포인트 클라우드 지도에서 평평한 지역을 식별하고 착륙 가능 지점을 선정하였다. 드론의 현재 배송 예정지에 장애물이 존재하면 드론 착륙 가능성이 가장 큰 방향으로 드론을 이동시킨 후 제안한 알고리즘을 반복 적용하여 안전한 착륙 가능 지점을 찾을 수 있다. 이를 위해 드론 배송 예정지와 유사한 환경의 지점들을 실제 드론을 이용하여 영상을 취득하였으며, 해당 영상을 기반으로 제안한 알고리즘의 성능을 검증하였다.
본 논문에서 소개한 실험 결과는 일부 지역에서 촬영한 영상을 기반으로 알고리즘의 성능을 평가한 것으로, 법적 드론 영상 취득의 어려움으로 인해 다양한 환경을 고려한 알고리즘 성능 평가에 어려움이 있다. 향후 연구에서는 다양한 방식으로 구현 가능한 SLAM, 그리드 분할, RANSAC 기법의 변화에 따른 성능 향상 분석과 복잡한 환경에서의 안정적 드론 착륙 방법에 관한 연구로 확대가 필요하다.
