2026-06-18 — views

자율주행차 보행자·자전거 감지 — 가장 어려운 인식 문제와 안전 데이터

보행자와 자전거는 AV 센서가 감지하기 가장 어려운 대상이다. 작고, 빠르고, 예측 불가능하다. 감지 과학과 안전 데이터를 분석한다.

피지컬 AI 벤치마크 시리즈 59편 — 가장 어려운 인식 문제

자율주행차가 감지해야 하는 모든 대상 중에서 보행자와 자전거 이용자는 가장 중요하고 기술적으로 가장 어려운 타겟이다. 사고가 났을 때 목숨을 잃는 것은 그들이고, 센서가 가장 힘들어하는 것도 그들이다. 자동차는 크고 단단하며 레이더 반사 단면적이 크고 예측 가능한 궤적으로 이동한다. 반면 보행자는 작고, 관절 구조를 가지며, 레이더 반사 단면적이 매우 작고, 순식간에 방향을 바꾸고, 사각지대에서 갑자기 나타나며, 거의 무한한 외관 변이를 가진다. 자전거 이용자는 더 빠르고 기동성이 높으며, 차량과 보행자 사이의 공간을 주행하지만 도로 인프라가 명확하게 설계한 경우는 드물다.

이 글에서는 구체적인 감지 과제, 각 센서 모달리티의 기여, 현재 양산 시스템의 접근법 차이, 그리고 이용 가능한 안전 데이터가 보여주는 것을 분석한다.

1절 — 보행자와 자전거 이용자가 왜 특별히 어려운가

어려움은 단일 요인에서 비롯되지 않고 여러 과제의 복합에서 온다. 아래의 각 과제는 다른 과제들을 증폭시킨다.

과제	세부 내용
작은 크기	보행자의 정면 단면적은 약 0.5㎡로 자동차의 약 6㎡에 비해 훨씬 작다. 레이더 반사 단면적은 더욱 작아서 보행자가 반환하는 레이더 신호는 약하고 다른 작은 물체의 노이즈에 묻히기 쉽다.
예측 불가능한 움직임	보행자는 어떤 신호도 없이 순식간에 방향을 바꿀 수 있다. 특히 어린이는 갑작스러운 횡방향 움직임이 잦다. 자동차 궤적은 2~3초 선행을 합리적으로 예측할 수 있지만 보행자는 불가능하다.
차폐와 갑작스러운 등장	보행자는 주차 차량 사이, 건물 모퉁이, 버스 문에서 센서 시야에 갑자기 진입한다 — 경고 시간 제로로. 차량은 고정된 차선에서 접근하므로 완전히 다르다.
관절 구조의 신체	팔과 다리는 몸통과 독립적으로 움직인다. 보행자 감지는 강체 경계 상자를 찾는 것이 아니라 각 사지가 독립적인 운동 벡터를 가진 변형 가능한 물체를 인식하는 것이며, 보행 의도를 이해하려면 자세 추정이 필요하다.
외관의 다양성	보행자는 밝은 노란 재킷이나 어두운 코트를 입을 수도, 우산을 쓸 수도, 유모차를 밀 수도, 휠체어를 탈 수도, 코스튬을 입을 수도 있다. 시각적 다양성은 차량의 외관 변이를 수십 배 초과한다.
저조도 취약성	미국 보행자 사망 사고의 75% 이상이 어둠 속에서 발생한다 (NHTSA 데이터). 인간 운전자는 야간에 능력이 저하되고, 카메라 기반 AV 시스템도 동일한 저하를 겪는다 — 참조가 되는 헤드라이트 조명 없이.
집단 역학	교차로의 군중, 서로를 차폐하는 여러 보행자 — 다중 주체 집단 행동 예측은 단일 물체 추적보다 훨씬 복잡하다.
엣지 케이스	휠체어 이용자, 부상이나 장애로 인한 비정형 보행자, 비표준 동작으로 교통 정리하는 경찰관, 도로 근처 놀이기구에 탄 어린이, 행사장의 코스튬 캐릭터 — 외관과 행동의 롱테일은 매우 길다.

자전거 이용자는 여기에 속도의 복잡성을 추가한다. 자전거는 시속 25~40km로 이동하며 보행자보다 빠르지만 교차로에서 보행자와 공간을 공유한다. 손 신호는 작고 짧다. 차선 위치는 종종 모호하다. 보행자와 마찬가지로 자전거 이용자의 구성도 다양하다: 짐가방, 트레일러, 헬멧 착용/미착용, 집단/단독.

2절 — 각 센서가 보행자를 어떻게 다루는가

단일 센서로 보행자 감지 문제를 해결할 수 있는 것은 없다. 실질적인 문제는 어떤 조합이 다양한 실패 모드에서 최선의 커버리지를 제공하는가다.

센서	보행자 감지 강점	주요 한계
카메라 (가시광선)	주간 조건에서 우수: 색상, 질감, 신체 자세 모두 포착; 딥러닝 감지기 (YOLO 계열, DETR 기반 아키텍처)는 표준 밝은 조건에서 높은 정확도 달성. 동영상 (시간 시퀀스)은 단일 프레임에서 놓치는 동작 기반 단서를 가능케 함.	야간: 충분한 조명 없이 성능이 크게 저하. 폭우: 대비 손실과 렌즈 물방울이 화질 저하. 차폐: 고체를 통해 볼 수 없어 부분 신체 감지는 추론에 의존.
LiDAR	조명 조건에 거의 독립적인 3D 포인트 클라우드 생성. 주차 차량 뒤에서 보행자 다리를 감지 가능 — 전신이 보이기 전에 — 차폐 시나리오의 핵심 이점. 3D 경계 상자로 외관에 독립적인 거리 추정 가능.	반사율이 매우 낮은 의류 (어두운 겨울 코트)는 반환 강도를 감소시킴. 폭우는 레이저 빔을 감쇠시킴. 원거리 소형 목표는 반환 점수가 적어 신뢰도가 낮아짐.
레이더	비와 안개를 통해 움직임과 방사 속도 (도플러)를 안정적으로 감지. 악천후에서 강건함.	각도 분해능 낮음 — 형상으로 보행자와 소형 동물, 쓰레기통, 우편함을 구별 불가. 속도와 대략적인 거리만 제공하고 형상이나 자세 정보 없음. 도로변 인프라의 오탐지율 높음.
열적외선 (IR)	체열을 직접 감지; 환경광이나 인공 조명 없이 완전한 어둠에서도 작동.	고가의 센서로 양산차에서 이용 가능성 제한. 가시 카메라보다 낮은 해상도. 형상이나 자세 세부 정보 없어 분류 어려움. 도로면 열이나 차량 엔진 등 환경 열원이 클러터 생성.
센서 융합	LiDAR가 3D 위치와 형상 제공; 카메라가 외관 분류와 자세 제공; 레이더가 속도와 악천후 강건성 제공. 결합하면 단일 센서보다 훨씬 높은 신뢰도로 보행자를 감지, 분류, 추적하고 의도를 예측할 수 있음.	융합 복잡성은 고유한 실패 모드를 도입. 융합 알고리즘이 캘리브레이션 드리프트로 인해 다른 센서의 감지를 잘못 병합하면, 개별 센서 오류보다 발견하기 어려운 거짓 음성을 만들 수 있음.

3절 — Tesla의 카메라만을 이용한 보행자 감지

Tesla의 FSD 시스템은 카메라 우선 철학에 기반하며, 현재 양산 FSD 차량에는 LiDAR나 레이더가 탑재되지 않는다 (레이더는 2021년부터 대부분의 차종에서 제거됨). 보행자 감지는 카메라 이미지의 신경망 추론에 완전히 의존한다.

측면	세부 내용
감지 아키텍처	FSD는 플릿이 수집한 대규모 데이터셋으로 훈련된 엔드투엔드 신경망 방식 (v12 아키텍처)을 사용. 시스템은 단일 프레임이 아닌 동영상 시퀀스를 처리하여 차폐 처리를 위한 시간적 맥락을 가능하게 함.
규모의 이점	Tesla 플릿은 다양한 지리, 기상 조건, 시간대에 걸쳐 방대한 보행자 조우 데이터를 수집했으며, 훈련 데이터셋 규모는 외관 다양성 과제를 다루는 실질적인 경쟁 우위다.
주간 성능	주간 표준 도시 보행자 감지 (횡단보도 보행자, 인도 보행자, 자전거 차선 사이클리스트)는 양호. 전봇대, 개, 쓰레기통 등 유사한 크기의 물체와 보행자를 구별할 수 있음.
야간 약점	LiDAR 없이는 시스템이 헤드라이트가 비추는 범위와 주변광에 완전히 의존. 어두운 의류를 입은 보행자가 조명 불량 도로에 있을 경우 관련 제동 거리에서 헤드라이트 조명이 거의 닿지 않음. 이것이 카메라만을 사용한 시스템의 보행자 안전 측면에서 가장 중요한 취약점이다.
차폐 시간적 추론	보행자가 2초 전에 보였다가 지금은 차폐된 경우, 모델은 차폐 후 보행자가 있을 가능성이 높은 위치의 추정 궤적을 유지. 이것은 의미 있는 능력이지만 측정이 아닌 추론이다.
의도 예측	FSD v13은 보행자 의도 신호 읽기를 개선했다 — 머리 회전 방향, 도로를 향한 신체 기울기, 횡단보도에서 거수. 이것은 인간 운전자도 사용하는 실제 행동 단서이며, 신경망에 가르치는 것은 의미 있는 진전이다. 성능은 아직 불완전하며 독립적으로 검증되지 않음 (추정).
팬텀 제동 이력	초기 FSD 버전에서는 그림자, 비닐봉지, 덤불을 보행자로 잘못 인식하는 팬텀 제동 빈도가 높았다. FSD v12와 v13에서 크게 개선되어, 거짓 양성 감소에서 플릿 규모 훈련 데이터의 가치를 반영.
자율주행 안전 데이터	2026년 중반 기준, Tesla FSD는 인간 감독 하에 작동. Waymo의 공개 로보택시 데이터 규모에 상응하는 자율주행 보행자 상호작용 안전 데이터베이스는 존재하지 않음.

4절 — Waymo의 멀티센서 보행자 감지

Waymo의 차량은 단일 센서 고장이 감지 사각지대를 만들지 않도록 설계된 센서 스위트를 탑재한다. 보행자에 대해 LiDAR가 주요 감지 센서이고 카메라는 확인과 분류 세부 정보를 제공한다.

측면	세부 내용
LiDAR의 주요 역할	3D 포인트 클라우드는 조명 조건에 거의 독립적으로 보행자 형상을 감지한다 — 야간에도, 우천에도, 헤드라이트 없이도. 완전한 어둠 속 50m 거리에서 걷는 보행자가 인체 형상의 점 군집을 반환하고 LiDAR 분류기가 인간으로 식별. 야간과 주간 성능이 실질적으로 동일하다.
카메라 확인	카메라는 LiDAR가 감지한 물체에 색상, 질감, 의류 세부 정보, 신체 자세 추정을 추가하여 더 세밀한 분류 (성인 vs 어린이, 화물 자전거 vs 일반 자전거)와 자세에서의 의도 추론을 가능하게 함.
레이더 속도 레이어	레이더는 감지된 물체가 움직이고 있음을 확인하고 속도 벡터를 제공. 인도에 정지해 있는 보행자와 도로로 발을 내딛으려는 보행자를 구별하는 데 도움이 됨.
차폐 이점	LiDAR는 주차 차량 뒤에서 보행자의 다리를 감지할 수 있어 전신이 보이기 전에 경고를 제공. 30m 거리에서 카메라만을 사용한 시스템보다 약 0.5~1.0초의 추가 경고를 제공 — 도시 주행 속도에서 이 여유는 의미 있다.
어둠 속 감지 거리	LiDAR는 완전한 어둠에서도 50~80m 거리의 보행자를 감지할 수 있다 (추정). 헤드라이트 조명에 의존하는 카메라 시스템은 유사한 속도에서 약 40m 앞까지만 볼 수 있다 — 가로등이 부족한 교차로에서 이 차이는 중요하다.
공개 안전 데이터	Waymo의 2023년 안전 보고서는 약 700만 마일의 자율주행 주행을 커버하며, Waymo 시스템 과실로 귀인되는 심각한 보행자 부상은 제로로 보고됨 (공개 데이터 기준). 이것은 방향성 발견이지 결정적인 통계 비교가 아니다 — 운영 환경 (주로 피닉스와 샌프란시스코 도시 지역)과 “심각한 부상”의 정의가 NHTSA 기준과 다르다.
자전거 이용자 특화 감지	사이클리스트는 보행자보다 빠르게 (시속 25~40km) 이동하여 궤적 예측이 더 시간 민감적이다. LiDAR는 자전거 프레임과 라이더를 결합된 물체로 추적하고, 카메라는 손 신호와 신체 위치를 분류하며, 레이더가 속도 확인을 제공. 멀티센서 스택은 카메라만보다 더 일찍 신뢰할 수 있는 분류를 가능하게 한다 (추정).

5절 — 안전 비교: AV vs 인간 운전자

AV 투자와 규제의 핵심 질문은 이 기술이 가장 위험에 처한 도로 이용자에 대해 인간 기준보다 입증 가능하게 안전한지 여부다. 2026년 중반 기준 솔직한 답은: LiDAR 탑재 로보택시가 운영 도메인 내에서는 방향성으로 더 나은 성과를 보이지만, 데이터 규모가 통계적으로 결정적인 결론을 내리기에 아직 부족하다는 것이다.

지표	인간 운전자 (NHTSA 기준)	Waymo (2023년 공개)	Tesla FSD (감독 있음)
1억 마일당 보행자 사망자 수	약 1.75 (NHTSA 미국 평균, 최근 연도)	약 700만 자율주행 마일에서 심각한 보행자 부상 제로 (NHTSA 비율과 직접 비교 불가 — 다른 운영 도메인과 분모)	자율주행 데이터 없음; 감독 있는 상황에서의 개입 비율이 이용 가능한 대리 지표
야간 보행자 위험	야간 위험이 주간의 약 3배 (75% 야간 사망 통계와 일치)	LiDAR 탑재 시스템: 야간/주간 성능 차이 거의 없음	카메라만: 야간 성능이 실질적으로 더 어려움 (추정); 정량화는 독립적 테스트 필요
무단횡단 보행자	인간 운전자는 보이는 보행자에 반응; 반응 시간 0.7~1.5초	Waymo는 보행자 횡단을 확률 분포로 모델링; LiDAR는 동일 거리 카메라보다 먼저 도로 방향 횡방향 움직임 감지	FSD 신경망이 신체 자세와 머리 방향에서 의도 예측; v13 변경 로그에서 능력 확인됐으나 독립 벤치마킹 없음
음주·약물 영향	치명적 사고의 약 25%가 영향받은 운전자 포함 (NHTSA)	절대 영향받지 않음	절대 영향받지 않음
주의 산만	휴대폰 산만은 치명적 사고의 약 9%의 요인 (NHTSA)	절대 산만해지지 않음	절대 산만해지지 않음

비교 방법론에 대하여: Waymo의 700만 자율주행 마일과 NHTSA 전국 기준은 직접 비교할 수 없다. Waymo는 주로 피닉스와 샌프란시스코 도시 지역에서 운영된다 — 보행자 밀도는 미국 평균보다 높지만 (미국 평균에는 광대한 농촌 주행이 포함), 주행 속도는 낮고 충돌 시 운동 에너지도 낮다. Waymo는 아직 농촌 고속도로, 눈보라, 전국 플릿이 겪는 많은 엣지 케이스에서 운영하지 않았다. 공개 데이터의 방향성 신호는 긍정적이지만 주의가 필요하다: 이것은 신중하게 선택된 운영 도메인의 초기 데이터다.

출처: NHTSA 사망사고 분석 보고 시스템 (FARS) — nhtsa.gov; Waymo 2023년 안전 보고서 — waymo.com/safety; Tesla 차량 안전 보고서 — tesla.com/VehicleSafetyReport; IEEE 지능형 교통시스템 학회지 — ieeexplore.ieee.org. (추정)으로 표시된 모든 수치는 공개 기업 자료, 업계 보고서, 애널리스트 리서치에서 도출된 추정치입니다. 독립적으로 검증되지 않았으며 방향성 참고로 취급해야 합니다. 이 글은 투자 조언을 구성하지 않습니다.