다크나이트 아닌가요?

회의실 창문 떨리는 거 감지해서 도청하는 기술도 실제로 있다고는 하던데...
이거는 좀 소름끼치네요

냉전시대 러시아의 미대사관 도청사건 생각나네요.. 러시아 도대체 ㄷㄷ

레이저로 공기 떨림을 감지해서 도청하곤 했다고 하던데...ㅎ ㄷ ㄷ

와 이건 엄청나네요

openai의 whisper는 오픈소스 stt(speech to text) 모델이고, large 모델은 VRAM 10GB 정도면 다른 LLM과 함께 집에서 직접 돌려볼 수 있습니다. 핵심 기술은 가청주파수 이상인 진동을 레이더로 증폭해서 수신한 다음, 실제 들리는 소리를 뽑아낸다는건데 이 변환과정이 놀랍네요.
나머지는 실제 음성과 측정되는 뽑아낸 신호를 모델에게 학습시켜 실제 음성으로 매치한다는건데...
예를 들어 1초간 77.564412 GHz 사인파는 '가', 77.919312 사인파는 '나' (text로 나오겠죠)

https://arxiv.org/html/2410.17457v1
코파일럿 요약입니다.

###

📡 **논문 요약: mmWave-Whisper – 밀리미터파 레이더를 활용한 전화 통화 엿듣기 및 자동 필사 시스템**

이 논문은 **mmWave-Whisper**라는 시스템을 소개하며, **스마트폰의 이어피스에서 발생하는 진동을 밀리미터파 레이더로 감지해 원거리에서 전화 통화를 엿듣고 자동으로 음성을 텍스트로 변환**하는 기술을 제안합니다.

---

### 🧠 핵심 아이디어
- **사용 기술**: FMCW (Frequency Modulated Continuous Wave) 밀리미터파 레이더 (77–81GHz)
- **엿듣기 방식**: 스마트폰 이어피스의 미세한 진동을 레이더로 감지 → 오디오 신호로 변환 → 음성 인식 모델로 텍스트화
- **차별점**: 기존 연구는 스피커나 제한된 어휘에 집중했지만, mmWave-Whisper는 **대규모 어휘와 문장 단위의 자동 음성 인식(ASR)**을 수행

---

### ⚙️ 기술적 구성 요소
| 모듈 | 설명 |
|------|------|
| 📈 오디오 추출 | 레이더의 IF 신호 위상 변화를 추적해 오디오 스트림 생성 |
| 🧪 합성 데이터 생성 | LibriSpeech 데이터를 필터링하고 잡음 벡터를 추가해 훈련용 레이더-오디오 데이터 생성 |
| 🧠 Whisper 모델 적응 | OpenAI의 Whisper-large 모델을 LoRA 방식으로 도메인 적응 (메모리/계산 효율화) |
| 🧪 훈련 데이터 | 460시간의 합성 데이터 + 772개의 실제 mmWave 레이더-오디오 발화 |

---

### 📊 성능 및 실험
- **장비**: TI AWR1843 BOOST 레이더 + Samsung Galaxy S20
- **거리 범위**: 25cm ~ 125cm
- **정확도**:
- 단어 정확도: 44.74%
- 문자 정확도: 62.52%

---

### ⚠️ 윤리적 시사점
이 연구는 **AI 기술의 잠재적 오용 가능성**을 경고하며, **사생활 침해 및 보안 위협**에 대한 새로운 형태의 사이드 채널 공격 가능성을 제시합니다.

---