주요논문
SCOL: Style Code Orchestration in Latent Space for Proactive Face-Swapping Defense
- ACM Multimedia
- 2025년 10월 (예정)
- 이은기
얼굴 교체 딥페이크는 사생활 침해, 허위 정보 유포, 명예 훼손 등 심각한 위험을 초래하며, 오픈소스 플랫폼에서 사전 훈련된 모델을 쉽게 구할 수 있어 이러한 위험이 증폭됩니다. 선제적 방어 전략은 신원 정보를 보호하기 위해 원본 이미지를 변형하여 딥페이크 생성을 방해하는 것을 목표로 합니다. 그러나 기존 방법은 종종 얼굴 이미지에 인공물을 생성하거나 특정 딥페이크 모델에 의존하여 활용도가 제한됩니다. 이러한 문제점을 해결하기 위해, 우리는 얼굴 인식 모델 없이 잠재 공간에서 서로 다른 신원을 융합하여 신원을 난독화하는 잠재 공간 스타일 코드 오케스트레이션(SCOL) 방법을 제안합니다. 본 연구는 신원 보존 제약 조건을 통해 난독화된 신원을 유지하면서 생성기가 원본 외관을 따르도록 최적화합니다. 또한 시각적 일관성을 위해 잠재 코드 내 외관 지배적 구성 요소들을 정렬한다. 방어 효과 향상을 위해 반대 스타일 코드를 활용한 신원 반전 공격을 도입합니다. 실험 결과 SCOL이 다양한 얼굴 교체 딥페이크 기법에 대해 시각적 일관성을 유지하며 견고하게 방어함을 입증합니다.
Disentangled adaptive fusion transformer using adversarial perturbation for egocentric action anticipation
- Expert Systems with Applications
- 2025년 4월
- 김민혁, 정종원, 이은기
최근 몇 년간 웨어러블 자아중심 카메라를 위한 자아중심 행동 예측은 1인칭 시점에서 사물과 행동을 해석할 수 있다는 점에서 큰 주목을 받아왔습니다. 그러나 행동과 무관한 정보, 행동과 사물의 의미적으로 혼합된 표현, 사용자의 갑작스러운 움직임 등 여러 원인으로 발생하는 불확실성으로 인해 이 분야는 어려움을 겪고 있습니다. 이러한 문제를 해결하기 위해 우리는 자아중심 행동 예측 시스템의 견고성과 신뢰성을 향상시키기 위한 Ego-A4를 제안한다. 첫째, Ego-A4는 시각 정보 외 추가 데이터를 효율적으로 활용하기 위해 행동 관련 정보를 선택적으로 추출합니다. 둘째, 학습 가능한 행동 및 객체 쿼리를 활용해 동사와 명사에 대한 효과적인 분리 표현을 생성합니다. 마지막으로, Ego-A4는 적대적 교란을 통해 현재와 미래 간의 연속성을 강화합니다. EPIC-Kitchens-100 및 EGTEA Gaze+ 데이터셋에 대한 실험 결과는 Ego-A4가 평균 상위 5개 리콜률과 상위 1개 정확도 측면에서 기존 방법들을 각각 능가함을 보여줍니다. Translated with DeepL.com (free version)
경력경험기술서
[주요논문 연구분야]
본인의 세부 전공은 ‘딥러닝과 환경 인식 기법을 통한 자율주행 시스템 개발’ 이며, 학위 논문 주제는 ‘동적격자지도를 이용한 딥러닝 기반 객체검출 기법연구’ 입니다. ‘Object Detection’ 딥러닝 기법을 동적격자지도 환경에 적용하여 격자 지도에 존재하는 객체의 종류, 상태를 판별할 수 있고 자차 경로계획이나 격자확률 랜덤성에 대한 변수에 기여하여 격자지도기반 환경 인식 성능을 개선할 수 있는 연구입니다. 이러한 연구 활동을 통하여 최근 자율주행 차량에 다양한 방면으로 적용되고 각광받는 딥러닝 기법과 프레임워크를 활용하고 성능을 분석하는 능력을 키워왔습니다. 또한 알고리즘을 개발하고 분석하기 위해 Matlab, C++, Python, ROS와 같은 다양한 툴과 개발환경을 활용한 경험이 있습니다.
[프로젝트 수행경험]
‘Dynamic Occupancy Grid Map 기법을 활용한 이동물, 정지물 통합 센서퓨전 개발’이라는 주제로 하는 산학연구에서 LiDAR, Camera 센서 퓨전 및 실차 실험 환경구성을 담당했습니다. 센서를 통해 검출된 객체를 격자 지도 기반으로 동적, 정적객체로 분류, 검출하는 알고리즘 개발 업무를 담당했습니다. 최종적으로 본 알고리즘을 자동차안전연구원 내에 있는 자율주행실험도시(K-city)에서 교차로, 고속주행로의 시나리오를 구성하여 객체 인식성능과 동, 정적 객체분류 성능에 대한 분석을 진행하였습니다. 프로젝트 개발환경 및 데이터 분석과 시뮬레이션을 위해서 Matlab, Simulink를 활용하였습니다. 알고리즘의 목표 검출성능을 검증하기 위해서 다수의 차량으로 위치, 속도 및 궤적을 지정하여 3가지의 시나리오를 구성하고 센서로 실측하며 실험을 진행했습니다.
[기타 대외활동]
자율주행경진대회에 적용했던 딥러닝 기반 차선 인식 알고리즘이 실차 실험 중 터널 진입, 진출 구간에서 광량 문제로 검출성능이 저하되는 문제가 있었습니다. 이러한 문제를 해결하기 위해서 칼만필터 추적 알고리즘을 적용하고 문제가 발생하는 상황에 대한 데이터를 추가로 취득, 학습하여 차선 검출성능을 개선하였습니다. 또한 카메라의 조도 환경개선을 위해 센서 위치 변경을 진행하여 Raw data 취득환경을 개선하였고, 강건한 차선 인식 성능을 확보했습니다.