KEA 한국전자정보통신산업진흥회

본 연구에서는 Reasoning Segmentation via Visual Prompts (RSVP)라는 새로운 방법을 제안합니다. RSVP는 vision-language models (VLMs)이 가진 이해 능력과 segmentation models이 가진 이미지를 나누는 능력을 연결해 주는 기술입니다. 기존 연구들은 주로 텍스트에서 나온 <SEG> token의 임베딩을 그대로 segmentation model에 입력했지만, RSVP는 VLM output에서 직접 coarse mask와 point prompts를 만들어냅니다. 이렇게 생성된 visual prompts는 Segment Anything Model (SAM)과 잘 맞도록 설계되어, 사전 학습된 성능을 그대로 활용할 수 있습니다.
또한 RSVP는 refinement module을 통해 마스크의 경계를 더 정교하게 다듬고, 불필요한 오류(구멍이나 경계선의 흐림)를 줄여줍니다. 이 과정은 별도의 추가 학습이 필요 없으면서도, 하나의 물체뿐 아니라 여러 개의 물체를 각각 구분하는 instance-level segmentation까지 가능하게 합니다.
우리는 이를 평가하기 위해 새로운 데이터셋인 RISeg를 만들었습니다. RISeg는 918장의 이미지와 2,533개의 물체 마스크, 그리고 다양한 reasoning queries로 구성되어 있습니다. 실험 결과, RSVP는 여러 성능 지표와 다양한 모델 크기에서 기존 방법보다 뛰어난 성과를 보여주었으며, reasoning segmentation 분야에서 효과적이고 확장 가능한 방법임을 입증했습니다.

본 프로젝트는 사람의 전신 이미지와 키 정보를 입력받아 신체 부위의 정면 길이, 측면 길이, 둘레를 예측하는 인공지능 시스템을 개발하는 연구과제입니다. OpenPose를 활용해 인체 골격을 추출하고, PixelLib 기반의 전경·후경 분리를 통해 키 정보를 보정한 뒤, 내부 알고리즘으로 어깨 너비·가슴·배 둘레 및 팔·다리 길이를 계산하도록 구현했습니다. 회전된 이미지나 신체가 겹치는 경우에도 정확한 측정을 가능하게 하기 위해 법선 벡터 기반 회전 보정과 가슴 길이 측정 개선 기법을 적용했습니다. 본 연구는 실제 신체 치수 예측의 자동화 가능성을 확인했으며, 기업에 인계되어 앱으로 상용화가 추진될 만큼 높은 실용성과 확장성을 입증했습니다.

본 프로젝트는 해커톤 대회에서 수행된 연구로, ZOOM·Google Meet 등 비대면 플랫폼에서 캡처한 단체 사진을 자연스러운 합성 사진으로 변환하는 인공지능 웹 서비스를 개발했습니다. YOLOv5를 이용한 사람 검출, 전경·후경 분리 및 독자적인 합성 알고리즘을 적용해 인물 배치를 자동화하였고, CartoonGAN을 활용해 다양한 스타일의 합성 이미지를 제공했습니다. 또한 Flask 기반의 웹 환경에서 누구나 쉽게 사용할 수 있도록 구현했으며, 상반신 데이터셋을 추가 학습하여 검출 성능을 86.1%에서 91.4%로 향상시켰습니다. 본 연구는 비대면 시대의 새로운 디지털 소통 방식을 제안하고, 상용화 가능성을 입증한 점에서 의의가 있습니다.

[인턴십]

청년 기술사업화 전담인력
- 전남대학교 산학협력단 / 인공지능융합학과 스마트컴퓨팅연구실
- 기간 2023.07 ~ 2024.02(8개월)

전남대학교 컴퓨터비전 연구실 학부연구생
- 연구과정 수행, 프로젝트 및 논문작성, 학술 연구회 등
- 기간 2021.04 ~ 2022.12(2년)

[자격증]
정보처리기사(필기/실기)
- 기간 2024.06.18

빅데이터분석기사(필기)
- 기간 2025.04.25

----------------------------------------------

[수상경력]
ICT/SW기반 사회문제 해결 아이디어 공모전(우수상)
- 전라남도, 나주시 주최
- 기간 2021.11.02

이노베이션 해커톤 (특별상)
- 전남대학교
- 기간 2021.08.31

저는 인공지능을 활용한 컴퓨터비전 분야 연구와 응용 서비스 개발에 집중해왔습니다. 학부와 대학원 과정 동안 다양한 프로젝트와 학술 활동을 통해 객체 탐지, 추적, 세분화(Segmentation) 및 행동 분석 기술을 직접 구현하고 성능을 개선하는 경험을 쌓았습니다. 특히 실제 데이터 수집과 전처리, 모델 성능 개선을 위한 파라미터 최적화, 다중 객체 추적 문제 해결 등 구체적인 과제를 수행하며 실질적인 연구 및 개발 능력을 키웠습니다.

[주요논문 연구분야]
AAAI 2026에 제출한 논문 Reasoning Segmentation via Visual Prompts (RSVP)에서는 Vision-Language Model에서 coarse mask와 point prompts를 생성하여 SAM과 결합하는 새로운 방식을 제안했습니다. Reasoning Segmentation은 단순히 물체의 형태를 구분하는 기존 세분화와 달리, 텍스트 질의나 맥락적 단서를 바탕으로 간접적으로 지시된 영역을 추론하여 찾아내는 차세대 세분화 연구 분야입니다. 이는 인간이 사물을 인지할 때 단순 시각적 특징뿐 아니라 상황적 의미와 추론을 활용하는 방식을 모방한다는 점에서 큰 의의가 있습니다. RSVP 연구를 통해 기존 text token 기반 접근 방식의 한계를 극복하고, 새로운 벤치마크 데이터셋 RISeg(918장 이미지, 2,533개 마스크)를 구축하여 성능을 정량적으로 입증했습니다. 또한 2025 한국디지털콘텐츠학회에서는 YOLO 기반 객체 탐지와 BoT-SORT 추적, Line-Crossing 기법을 결합한 과일봉지 자동 계수 시스템을 발표했습니다. 단순 탐지·추적 대비 정확도를 26.3%에서 91.2%까지 끌어올리며 농업 현장의 수작업 문제를 효과적으로 해결할 수 있음을 보였습니다.



[프로젝트 수행경험]
졸업프로젝트에서는 반려동물 CCTV 영상을 분석해 움직임, 식사, 배변 등을 자동으로 인식하고 시각화하는 웹 서비스를 개발했습니다. YOLOv5, DeepSort, VGG를 통합한 모델로 다중 반려동물 객체 추적 문제를 해결했으며, 데이터셋 1만 장을 추가 수집·라벨링하고 파라미터를 20회 이상 조정하여 탐지 재현율을 52.3%에서 95.1%까지 향상시켰습니다. 분석 결과는 반려동물의 이동 시간, 구역 방문 횟수 등을 정량화하여 웹 대시보드로 제공했고, Flask와 Node.js를 연동해 실시간 서비스로 구현했습니다.
또한 해커톤에서는 Zoom·Google Meet 등에서 캡처한 단체 사진을 자연스러운 합성 사진으로 변환하는 CloseCV 프로젝트를 수행했습니다. YOLOv5로 인물 객체를 검출하고, 자체 설계한 배치 알고리즘으로 얼굴이 겹치지 않도록 합성했으며, CartoonGAN을 적용해 다양한 스타일의 이미지를 제공했습니다. 상반신 데이터셋 700장을 새로 구축해 재학습을 진행한 결과, 상반신 검출 성능을 Recall 86.1%에서 91.4%로 개선했습니다.
신체 치수 예측 프로젝트에서는 OpenPose와 PixelLib을 활용하여 인체 골격과 키 정보를 추출한 뒤 어깨·가슴·배 둘레 및 팔·다리 길이를 자동으로 산출하는 알고리즘을 개발했습니다. 특히 회전 이미지나 신체 부위가 겹친 상황에서도 법선 벡터 기반 회전 보정과 가슴 길이 측정 개선을 적용해 정확도를 높였습니다. 해당 연구는 기업과 연계되어 실제 앱으로 상용화가 추진될 만큼 실용성을 인정받았습니다.



[기타 대외활동]
저는 전공지식과 실무 경험을 동시에 갖추기 위해 다양한 활동에 적극적으로 참여해왔습니다. 정보처리기사(필기/실기)와 빅데이터분석기사(필기) 자격증을 취득하며 데이터 처리 및 분석 능력을 체계적으로 검증받았고, 이를 프로젝트 수행 과정에서 적극 활용하였습니다.
실무 경험으로는 청년 기술사업화 전담인력으로 8개월간 전남대학교 산학협력단 인공지능융합학과 스마트컴퓨팅연구실에서 근무하며 AI 관련 연구 지원과 기술사업화 실무를 경험했습니다. 또한 학부 연구생으로 2년간 컴퓨터비전 연구실에 소속되어 프로젝트 수행, 논문 작성, 학술 연구회 참여 등을 통해 연구의 전 과정을 경험하며 학문적 기반을 다졌습니다.
더불어 전라남도·나주시 주최 ICT/SW 기반 사회문제 해결 아이디어 공모전에서 우수상을, 전남대학교 이노베이션 해커톤에서 특별상을 수상하며 문제 해결력과 창의적인 아이디어를 인정받았습니다. 이러한 활동은 저에게 기술적 역량뿐만 아니라 협업 능력, 실무 적응력, 문제 해결 중심의 태도를 길러주었고, 새로운 도전 과제 앞에서도 적극적으로 대응할 수 있는 자신감을 심어주었습니다.