[Summary] Towards a Robust Adversarial Patch Attack Against Unmanned Aerial Vehicles Object Detection

[embed]

0. Contents

1. Introduction
2. Methods
3. Experiments

1. Introduction

최근 Unmanned Aerial Vehicle (UAV, 무인 항공기), Drone에 대한 사용 증가되었다.

무인 항공기의 객체 탐지 기술은 DNN 기반으로 적대적 패치에 취약한 모습을 보인다.

해당 논문은 UAV의 특성을 고려한 적대적 패치 생성 기법을 제안한다.

패치 생성 시 두 가지 고려 사항은 다음과 같다.

• Printable 실제 환경 (physical world)에서 패치가 적용 가능하게 패치를 생성한다.
• Transferable (Gray-box setting) 공격자는 하나의 모델에 접근 가능하지만 다른 여러 모델에도 공격이 적용 된다.

2. Methods

무인 항공기 환경 즉, 실제 환경에 적용 가능한 패치를 만들며 transferable 한 패치를 만들기 위해서는 robust한 패치를 만들어야 한다.

패치 생성 시 크게 두 가지 단계를 통해 robust한 특성을 가지는 패치를 생성한다.

2.1 Phase 1: Transformation

1. Printability

• Non-Printable Score를 활용한다.

Non Printable Score란 디지털 이미지의 색상이 실제로 인쇄될 때 디스플레이에서 보는 것과 다를 수 있다는 문제를 해결하기 위한 것으로, 특정 색상이 프린터로 출력할 때 올바르게 출력되지 않을 가능성을 나타낸다.

• 일반적인 패치에 multiplicative gaussian (패치의 강도와 대비를 감소) 와 additive multivariate gaussian (색상 분포를 변경) 을 을 적용한다.

2. Scene Intensity Matching

패치가 실제 환경에서 주변 장면과 잘 어울리도록, 효과적으로 작동하기 위해 세 가지 수준을 조절하여 학습한다.

• Scene Contrast, Brightness, Noise 세 가지 조건을 랜덤하게 또는 fintuned 하여 조정한다.

3. Affine Transformation

변환을 통해 패치가 다양한 시각적 변형에 대응할 수 있도록 한다.

• Scaling, Rotation procedure

패치가 object bounding box에 부착 되도록 한다.

2.2 Phase 2: Loss

1. Total Patch Variation

패치의 픽셀 간 색상 변화가 부드럽게 보이기 위해 적용한다.

P는 패치의 특정 픽셀을 나타내며 인접한 픽셀 간의 색상 차이를 계산한다.

2. Total Patch Saliency

사람과 객체 탐지기에게 모두 탐지되지 않고 자연스러운지 평가하는 함수이다.

sRGB 공간에서 색상의 눈에 띄는 정도를 계산하고 색상이 덜 띄는 쪽으로 최적화한다.

채도를 낮추는 것으로 조절하지 않고 색상을 조절하는 이유는 채도를 낮출 때 오히려 눈에 잘 띄는 현상이 나타났기 때문이다.

3. Total Patch Objectiveness

패치가 객체 탐지 모델의 정확도를 얼마나 낮출 수 있는 지를 평가한다.

탐지 모델의 클래스 confindence, objectiveness를 기반으로 계산한다.

3. Experiments

3.1 Setup

Goal

• 대상 객체 탐지 모델의 신뢰도를 기준으로 임계값 이하로 낮추는 것

Target Model

• Yolov5-small, medium, large (pre-trained COCO)

Dataset

• VisDrone

Research Question

• 적대적 패치가 UAV의 객체 탐지기의 신뢰성에 어떤 영향을 미치는가?
• 제안된 적대적 패치 생성 방식이 transferable 한 특성을 가지는가?

3.2 Results

• 적대적 패치가 부착된 모습과 원본 모습 비교

• 패치 크기에 따른 ASR

• 다른 모델에 대해 transferable 한 특성을 가지는 모습을 보임