[Summary] Digital-to-Physical Visual Consistency Optimization for Adversarial Patch Generation in Remote Sensing Scenes

0. Contents

1. Introduction
2. Methods
3. Experiments

1. Introduction

적대적 패치는 디지털 환경에서 실제 환경으로 전환될 때 시각적 왜곡이 발생한다.

디지털 환경에서 적대적 패치를 부착할 때는 카메라로 이미지가 캡쳐된 상태에서 특정 위치에 적대적 패치를 부착하는 방식이다.

그에 반해 실제 환경에서 적대적 패치를 부착할 때는 physical 적으로 생성한 적대적 패치를 시나리오의 특정 위치에 부착한 뒤 카메라로 이미지를 캡쳐하게 된다.

이는 디지털 환경과 실제 환경에서 시각적으로 동일하게 보여지기 위해서는 physical 적으로 생성된 패치를 캡쳐한 상태와 디지털 상에서 생성한 적대적 이미지가 동일해야 한다.

2. Methods

2.1 Phase 1 : Train Image Harmonization Network

Phase 1 에서 제안하는 기법은 패치를 상황에 맞게 생성하기 위해 필요한 Harmonization Network를 학습하는 단계이다.

• Harmonization Network 이미지와 마스크를 입력으로 받아 시각적 특성을 조정하여 이미지를 생성하는 네트워크를 학습한다.

기본적으로 Harmonization Network의 출력은 3D LUT의 파라미터이다.

3D LUT의 좌표 공간

3D LUT, Lookup Table은 주어진 연산에 대해 미리 계산된 결과들의 집합으로 해당 상황에서의 3D LUT의 파라미터는 이미지의 각 위치에 저장된 값을 의미하며 마스크 된 지역의 색상 변환을 위한 매핑 함수의 값을 의미한다.

다시말해, Harmonization Network는 마스크된 지역의 픽셀 색상 값을 원래의 색상 값으로 복원하도록 학습한다.

• Self-Supervised Learning 데이터의 불균형 문제를 해결하기 위해 해당 방법을 사용한다.
• Loss Function

다섯가지 loss를 통해 네트워크를 학습한다.

Pixel Regression Loss

• 패치가 부착된 이미지의 harmonized 예측이 ground truth 이미지와 전경 영역에서 최대한 일치하도록 한다.
• 해당 loss는 이미지의 픽셀 기준 최적화를 목표로 한다.

3D LUT Regresesion Loss

• 예측된 3D LUT 매개변수가 합성된 3D LUT의 ground truth 값에 최대한 일치하도록 한다.
• 해당 loss는 이미지의 전역적인 색상을 최적화를 목표로 한다.

Boundary Constraint Loss

• 3D LUT 파라미터가 RGB 색상 범위를 벗어나지 않도록 방지한다.
• Plb 는 색상 값의 하한, Phb는 색상 값의 상한을 의미한다.

2.2 Phase 2 : Trian Patch

시각적 일관성 최적화 기반 패치를 생성한다.

• 회전된 물체 탐지기를 목표로 다양한 배치를 사용하여 최적의 위치에 배치한다.
• Harmonization Network의 사용으로 패치의 성능 최적화를 진행한다. 이는 패치의 시각적 일관성 유지 즉 물리적 환경에서의 공격 성능 극대화를 목표로 한다.

패치 학습 시 알고리즘을 보게되면, 객체 탐지 모델에 대해 공격 성능을 높임과 동시에 Harmonization Network의 사용으로 위장능력 또한 높이는 모습을 보인다.

3. Experiments

• 각 환경에 따라 패치가 다르게 적용되는 모습을 볼 수 있다.
• 이전 공격에 비해 더 좋은 성능을 보이는 모습이다.

• Iteration에 따른 이미지 차이를 확인할 수 있다.