주요논문
Deep Learning-Based Autonomous Vehicle on SoC
- 2025 International Technical Conference on Circuits/Systems, Computers, and Communications
- 2025년 7월
- (주저자) 황규현
• 요약:
Zynq SoC 기반 1/5 크기 전기차를 개조하여 자율주행 실험을 수행했습니다. 전통적 영상처리(Hough Transform)와 DPU 가속 기반 딥러닝(UFLD, YOLOv3-Tiny, YOLACT)을 비교했으며, 최적화된 YOLOv3-Tiny는 85.47 FPS, YOLACT는 20.27 FPS를 기록해 실시간 자율주행 인식이 가능함을 보였습니다.
• 개발 내용:
- 하드웨어 설계: 전기차에 모터 드라이버, SMPS, PWM IP를 적용하여 제어 가능하도록 개조.
- 비교 실험: 전통적 방법은 ~13.64 FPS로 노이즈에 취약, 반면 딥러닝 모델은 최적화(양자화, 입력 축소, 백본 교체) 후 실시간 처리 가능.
- 모델별 결과: UFLD(6.29 FPS), 최적화 YOLOv3-Tiny(85.47 FPS), 최적화 YOLACT(20.27 FPS).
• 역량:
딥러닝 모델을 FPGA SoC 환경에서 최적화·배치하는 능력을 강화했습니다. 전통적 알고리즘과 딥러닝을 비교 분석하여 각각의 장단점을 평가하고, 실시간 자율주행에 적합한 모델을 선택·설계하는 역량을 길렀습니다.
Zynq SoC 기반 1/5 크기 전기차를 개조하여 자율주행 실험을 수행했습니다. 전통적 영상처리(Hough Transform)와 DPU 가속 기반 딥러닝(UFLD, YOLOv3-Tiny, YOLACT)을 비교했으며, 최적화된 YOLOv3-Tiny는 85.47 FPS, YOLACT는 20.27 FPS를 기록해 실시간 자율주행 인식이 가능함을 보였습니다.
• 개발 내용:
- 하드웨어 설계: 전기차에 모터 드라이버, SMPS, PWM IP를 적용하여 제어 가능하도록 개조.
- 비교 실험: 전통적 방법은 ~13.64 FPS로 노이즈에 취약, 반면 딥러닝 모델은 최적화(양자화, 입력 축소, 백본 교체) 후 실시간 처리 가능.
- 모델별 결과: UFLD(6.29 FPS), 최적화 YOLOv3-Tiny(85.47 FPS), 최적화 YOLACT(20.27 FPS).
• 역량:
딥러닝 모델을 FPGA SoC 환경에서 최적화·배치하는 능력을 강화했습니다. 전통적 알고리즘과 딥러닝을 비교 분석하여 각각의 장단점을 평가하고, 실시간 자율주행에 적합한 모델을 선택·설계하는 역량을 길렀습니다.
How Lightweight Deep Learning Enhances Performance in DPU-Accelerated Autonomous Driving on Zynq SoC
- 2025 11th International Conference on Mechatronics and Robotics Engineering
- 2025년 2월
- (주저자) 황규현
• 요약:
자원이 제한된 Zynq SoC(Ultra96v2) 기반 환경에서 실시간 자율주행을 구현하기 위해 경량화된 딥러닝 모델을 연구했습니다. 입력 크기 축소, 채널 프루닝, 양자화 등의 최적화 기법을 통해 YOLOv3-Tiny 모델을 개선하였으며, 최종적으로 67.592 FPS 성능을 달성하여 실시간 임베디드 자율주행이 가능함을 입증했습니다.
• 개발 내용:
- 모델 최적화: YOLOv3에서 YOLOv3-Tiny로 백본을 교체하고 입력 크기를 416×416에서 256×256으로 축소.
- 프루닝 및 양자화: 채널 프루닝(50%)과 8bit 정수 양자화를 적용하여 파라미터 수와 메모리 사용량을 크게 줄임.
- 실험 결과: 원본 YOLOv3는 2.715 FPS였으나, 최적화된 YOLOv3-Tiny는 67.592 FPS를 기록해 25배 이상의 성능 향상을 확인.
• 역량:
FPGA 기반 제한된 하드웨어에서 딥러닝 모델 최적화를 수행하는 능력을 확보했습니다. 특히, 속도·전력·정확도 간의 트레이드오프를 정량적으로 분석하여 실시간 자율주행 시스템에 적합한 경량 딥러닝 아키텍처를 설계할 수 있는 역량을 길렀습니다.
자원이 제한된 Zynq SoC(Ultra96v2) 기반 환경에서 실시간 자율주행을 구현하기 위해 경량화된 딥러닝 모델을 연구했습니다. 입력 크기 축소, 채널 프루닝, 양자화 등의 최적화 기법을 통해 YOLOv3-Tiny 모델을 개선하였으며, 최종적으로 67.592 FPS 성능을 달성하여 실시간 임베디드 자율주행이 가능함을 입증했습니다.
• 개발 내용:
- 모델 최적화: YOLOv3에서 YOLOv3-Tiny로 백본을 교체하고 입력 크기를 416×416에서 256×256으로 축소.
- 프루닝 및 양자화: 채널 프루닝(50%)과 8bit 정수 양자화를 적용하여 파라미터 수와 메모리 사용량을 크게 줄임.
- 실험 결과: 원본 YOLOv3는 2.715 FPS였으나, 최적화된 YOLOv3-Tiny는 67.592 FPS를 기록해 25배 이상의 성능 향상을 확인.
• 역량:
FPGA 기반 제한된 하드웨어에서 딥러닝 모델 최적화를 수행하는 능력을 확보했습니다. 특히, 속도·전력·정확도 간의 트레이드오프를 정량적으로 분석하여 실시간 자율주행 시스템에 적합한 경량 딥러닝 아키텍처를 설계할 수 있는 역량을 길렀습니다.
산학프로젝트 / 현장실습ᆞ인턴십
TSN용 FPGA 기반 영상 노이즈 필터 설계 및 구현
- 업체명
- 파스텍
- 기간
- 2025. 03. 01 ~ 2025. 06. 30
• 개요
- TSN(Time Sensitive Networking) 환경에서 실시간 카메라 영상의 조명 노이즈를 제거하는 FPGA 기반 필터를 개발했습니다. 60fps 실시간 처리와 33ms 이하 저지연을 달성하여 자율주행 및 스마트 제조 분야에 적용 가능한 시스템을 구현했습니다.
• 역활 및 기여
- FPGA 하드웨어 설계: 파이프라인 아키텍처 및 적응형 임계값 알고리즘 구현
- 시스템 통합: AXI4-Stream 프로토콜 및 TSN 네트워크 연동
- 성능 최적화: 실시간 처리 및 저지연 달성을 위한 하드웨어 튜닝
- TSN 환경에서 60fps 실시간 영상 노이즈 필터링 시스템 개발
- 33ms 이하 종단 간 지연시간으로 결정론적 멀티미디어 전송 구현
- PSNR/SSIM 지표를 통한 영상 품질 개선 및 시스템 안정성 검증
- 다중 카메라 및 AI 기반 확장을 위한 모듈식 구조 설계
- TSN(Time Sensitive Networking) 환경에서 실시간 카메라 영상의 조명 노이즈를 제거하는 FPGA 기반 필터를 개발했습니다. 60fps 실시간 처리와 33ms 이하 저지연을 달성하여 자율주행 및 스마트 제조 분야에 적용 가능한 시스템을 구현했습니다.
• 역활 및 기여
- FPGA 하드웨어 설계: 파이프라인 아키텍처 및 적응형 임계값 알고리즘 구현
- 시스템 통합: AXI4-Stream 프로토콜 및 TSN 네트워크 연동
- 성능 최적화: 실시간 처리 및 저지연 달성을 위한 하드웨어 튜닝
- TSN 환경에서 60fps 실시간 영상 노이즈 필터링 시스템 개발
- 33ms 이하 종단 간 지연시간으로 결정론적 멀티미디어 전송 구현
- PSNR/SSIM 지표를 통한 영상 품질 개선 및 시스템 안정성 검증
- 다중 카메라 및 AI 기반 확장을 위한 모듈식 구조 설계
Zonal 아키텍처로의 변화 대응을 위한 AP 기반의 TSN 및 SOME/IP 네트워크 스택 개발
- 업체명
- 현대자동차
- 기간
- 2024. 03. 01 ~ 2025. 03. 01
• 개요
- 차세대 차량용 고성능 AP 환경에서, 결정적 통신을 보장하는 TSN 기술과 서비스 지향 미들웨어인 SOME/IP를 통합하여 시스템을 구축하고 그 성능을 최적화하는 것을 목표인 과제였습니다.
• 역할 및 기여
- 프로젝트의 핵심 개발자로서 TSN 기능의 AP 및 스위치 직접 포팅/구현 및 성능 분석을 주로 담당했습니다.
- 소프트웨어 기반 TSN 과 하드웨어 기반 TSN의 시간 오차(Jitter)를 측정하는 실험을 통해 아키텍처 방향성을 제시했습니다.
- 어플리케이션을 분석하여 프로세스/스레드 구조를 최적화하고, CPU 코어 할당(Core Affinity)을 통해 컨텍스트 스위칭을 최소화하여 I/O 성능을 개선했습니다.
- 반복적인 테스트 과정의 비효율을 개선하고자 PyQT 기반의 GUI를 개발했습니다. 복잡한 설정 과정을 자동화하여 팀 전체의 개발 및 테스트 시간을 단축시키는 등 프로젝트 생산성 향상에 기여했습니다.
- 차세대 차량용 고성능 AP 환경에서, 결정적 통신을 보장하는 TSN 기술과 서비스 지향 미들웨어인 SOME/IP를 통합하여 시스템을 구축하고 그 성능을 최적화하는 것을 목표인 과제였습니다.
• 역할 및 기여
- 프로젝트의 핵심 개발자로서 TSN 기능의 AP 및 스위치 직접 포팅/구현 및 성능 분석을 주로 담당했습니다.
- 소프트웨어 기반 TSN 과 하드웨어 기반 TSN의 시간 오차(Jitter)를 측정하는 실험을 통해 아키텍처 방향성을 제시했습니다.
- 어플리케이션을 분석하여 프로세스/스레드 구조를 최적화하고, CPU 코어 할당(Core Affinity)을 통해 컨텍스트 스위칭을 최소화하여 I/O 성능을 개선했습니다.
- 반복적인 테스트 과정의 비효율을 개선하고자 PyQT 기반의 GUI를 개발했습니다. 복잡한 설정 과정을 자동화하여 팀 전체의 개발 및 테스트 시간을 단축시키는 등 프로젝트 생산성 향상에 기여했습니다.
교육수료
[인턴십]
한국전자통신연구원 ETRI
- 연구원 인턴 객체 검출 모델 경량화 프로젝트 참여
- 기간 2023. 01 ~ 2023. 02 (2달)
한국전자통신연구원 ETRI
- 연구원 인턴 포즈 추정 모델 성능 향상 프로젝트 참여
- 기간 2023. 07 ~ 2023. 08 (2달)
LG전자 CTO부문
- NPU 컴파일러 설계(딥러닝 양자화, NPU 메모리 스펙 기반 스케줄러 설계, 등)
- 기간 2025. 07 ~ 2025. 08 (7주)
---------------------------------------------
[교육수료]
ㅇ 전자회로 설계 기초 실무 과정 수료
ㅇ 실무 전자회로 설계 과정 수료
ㅇ 전자회로 설계 연구개발 과정 수료"
- 기간 2021. 02. 01 ~ 2022. 02. 01
현대자동차 H-Mobility Class 통신 및 네트워크 분야
- 기간 2023. 08 ~ 2024. 02
한국전자통신연구원 ETRI
- 연구원 인턴 객체 검출 모델 경량화 프로젝트 참여
- 기간 2023. 01 ~ 2023. 02 (2달)
한국전자통신연구원 ETRI
- 연구원 인턴 포즈 추정 모델 성능 향상 프로젝트 참여
- 기간 2023. 07 ~ 2023. 08 (2달)
LG전자 CTO부문
- NPU 컴파일러 설계(딥러닝 양자화, NPU 메모리 스펙 기반 스케줄러 설계, 등)
- 기간 2025. 07 ~ 2025. 08 (7주)
---------------------------------------------
[교육수료]
ㅇ 전자회로 설계 기초 실무 과정 수료
ㅇ 실무 전자회로 설계 과정 수료
ㅇ 전자회로 설계 연구개발 과정 수료"
- 기간 2021. 02. 01 ~ 2022. 02. 01
현대자동차 H-Mobility Class 통신 및 네트워크 분야
- 기간 2023. 08 ~ 2024. 02
기타 대외활동
[자격증]
컴퓨터활용능력2급
- 기간 2021.08
Opic
- IH
기간 2025.05
[수상 내용]
현대자동차 H-Mobility Class 최종 우수 학습자 선정
- 기간 2024. 02.
컴퓨터활용능력2급
- 기간 2021.08
Opic
- IH
기간 2025.05
[수상 내용]
현대자동차 H-Mobility Class 최종 우수 학습자 선정
- 기간 2024. 02.
자기소개
현재 소속된 Vision HW팀에 큰 애착을 느끼고 있습니다. 다양한 기술을 습득하고 개발하는 것을 좋아하며, 앱 개발, 아날로그 회로 설계 교육, 딥러닝 인턴십, ROS2 기반 자율주행 등 여러 분야에서 경험을 쌓았습니다.
석사 과정 중 Vision SW팀에서 ROS2 기반 센서 융합 연구를 진행하며 IEEE ISIE학회에 논문을 제출하였습니다.
이후 교수님의 추천으로 FPGA HW 설계에 관심을 가지게 되었고, 현재는 팀장으로서 신입생 3명과 함께 Zynq-SoC(Ultra96v2) 소형 임베디드 보드를 활용해 유아용 전동차에 자율주행 시스템을 구축하였습니다.
구축된 시스템은 학부생 교육에 적용되었습니다. 학부생들은 HW와 SW 융합적으로 설계할 경험이 많지 않습니다. 이에 HW(FPGA 가속기), SW(자율주행 알고리즘 설계)설계를 동시에 경험할 수 있는 4주과정의 AI 칩 설계 경진대회를 개최하였습니다. 총 60여명의 학생이 참여하였으며, 교육과 경진대회 모두 진행하였습니다. 직접 설계 및 교육한 내용을 기반으로 학생들에게 도움을 줄 수 있어 뿌듯한 경험이었습니다.
이 교육내용을 입증하기 위해, 현재 IEEE Transactions on Intelligence Vehicle(IF: 14.3) 저널에 교육 모델 논문을 투고하고 있습니다.
석사 과정 중 Vision SW팀에서 ROS2 기반 센서 융합 연구를 진행하며 IEEE ISIE학회에 논문을 제출하였습니다.
이후 교수님의 추천으로 FPGA HW 설계에 관심을 가지게 되었고, 현재는 팀장으로서 신입생 3명과 함께 Zynq-SoC(Ultra96v2) 소형 임베디드 보드를 활용해 유아용 전동차에 자율주행 시스템을 구축하였습니다.
구축된 시스템은 학부생 교육에 적용되었습니다. 학부생들은 HW와 SW 융합적으로 설계할 경험이 많지 않습니다. 이에 HW(FPGA 가속기), SW(자율주행 알고리즘 설계)설계를 동시에 경험할 수 있는 4주과정의 AI 칩 설계 경진대회를 개최하였습니다. 총 60여명의 학생이 참여하였으며, 교육과 경진대회 모두 진행하였습니다. 직접 설계 및 교육한 내용을 기반으로 학생들에게 도움을 줄 수 있어 뿌듯한 경험이었습니다.
이 교육내용을 입증하기 위해, 현재 IEEE Transactions on Intelligence Vehicle(IF: 14.3) 저널에 교육 모델 논문을 투고하고 있습니다.
경력경험기술서
[주요논문 연구분야]
저는 Zynq UltraScale+ SoC와 같은 CPU-FPGA 이기종 플랫폼을 활용하여 자율주행에 필요한 HW/SW 풀스택을 구현하고, FPGA 상에서 딥러닝 추론을 가속하는 연구를 진행했습니다.
특히 YOLO, YOLACT, UFLD와 같은 모델을 임베디드 환경에 맞게 경량화·양자화(Int8)하여 실시간 성능을 확보하는 최적화 기법을 제안했습니다. 또한 카메라와 LiDAR 센서를 융합한 ROS2 기반 인식 시스템을 직접 구현하여, 차선 인식·장애물 회피·주차와 같은 실제 자율주행 과제를 해결할 수 있음을 검증했습니다.
아울러 F1FIFTH 프로그램을 통해 이러한 연구 성과를 교육 모델에 접목하였고, 학부생들이 직접 HW-IP를 설계하고, 딥러닝 모델을 학습·추론하며, 시스템 통합 및 경진대회를 경험할 수 있도록 했습니다. 이를 통해 저는 단순한 모델 구현에 그치지 않고, 경량 딥러닝·FPGA 가속·센서 융합·PBL 교육 모델이라는 네 가지 축을 중심으로 자율주행과 AI 반도체 융합 연구에 기여했습니다.
[프로젝트 수행경험]
저는 TSN(Time Sensitive Networking) 환경에서 실시간 카메라 영상의 조명 노이즈를 제거하기 위해 FPGA 기반 영상 필터를 설계·구현했습니다. 이 과정에서 파이프라인 아키텍처와 적응형 임계값 알고리즘을 FPGA 하드웨어로 구현하고, AXI4-Stream 기반 인터페이스를 활용하여 TSN 네트워크와 통합하였습니다.
또한 하드웨어 최적화를 통해 60fps 실시간 처리와 33ms 이하의 종단 간 지연을 달성하여, 자율주행 및 스마트 제조 환경에서도 활용 가능한 안정적 시스템을 구현했습니다. 영상 품질은 PSNR 및 SSIM 지표를 통해 검증하였으며, 다중 카메라와 AI 기반 확장을 고려한 모듈형 구조를 설계하여 확장성까지 확보했습니다.
저는 Zynq UltraScale+ SoC와 같은 CPU-FPGA 이기종 플랫폼을 활용하여 자율주행에 필요한 HW/SW 풀스택을 구현하고, FPGA 상에서 딥러닝 추론을 가속하는 연구를 진행했습니다.
특히 YOLO, YOLACT, UFLD와 같은 모델을 임베디드 환경에 맞게 경량화·양자화(Int8)하여 실시간 성능을 확보하는 최적화 기법을 제안했습니다. 또한 카메라와 LiDAR 센서를 융합한 ROS2 기반 인식 시스템을 직접 구현하여, 차선 인식·장애물 회피·주차와 같은 실제 자율주행 과제를 해결할 수 있음을 검증했습니다.
아울러 F1FIFTH 프로그램을 통해 이러한 연구 성과를 교육 모델에 접목하였고, 학부생들이 직접 HW-IP를 설계하고, 딥러닝 모델을 학습·추론하며, 시스템 통합 및 경진대회를 경험할 수 있도록 했습니다. 이를 통해 저는 단순한 모델 구현에 그치지 않고, 경량 딥러닝·FPGA 가속·센서 융합·PBL 교육 모델이라는 네 가지 축을 중심으로 자율주행과 AI 반도체 융합 연구에 기여했습니다.
[프로젝트 수행경험]
저는 TSN(Time Sensitive Networking) 환경에서 실시간 카메라 영상의 조명 노이즈를 제거하기 위해 FPGA 기반 영상 필터를 설계·구현했습니다. 이 과정에서 파이프라인 아키텍처와 적응형 임계값 알고리즘을 FPGA 하드웨어로 구현하고, AXI4-Stream 기반 인터페이스를 활용하여 TSN 네트워크와 통합하였습니다.
또한 하드웨어 최적화를 통해 60fps 실시간 처리와 33ms 이하의 종단 간 지연을 달성하여, 자율주행 및 스마트 제조 환경에서도 활용 가능한 안정적 시스템을 구현했습니다. 영상 품질은 PSNR 및 SSIM 지표를 통해 검증하였으며, 다중 카메라와 AI 기반 확장을 고려한 모듈형 구조를 설계하여 확장성까지 확보했습니다.
즐겨찾기 목록
즐겨찾기 내역이 없습니다.