🎓 2024 캡스톤디자인 졸업작품

A.RM.I

ARM과 AI 모델을 활용한 분산형 저전력 온디바이스 객체인식 군용 경계 감시 시스템

STM32 Cube.AI KiCad PCB nRF24L01+ OV2640 CNN Object Detection MPPT Low-Power Design

프로젝트 차별점 및 임팩트

0.02%
전력 소비량 절감
기존 장비 대비 (8.43Wh/년)
>95%
객체인식 정확도
1:N 분산형 AI 아키텍처
14만원
초저가 구축 비용
기존 수백만 원 장비 대체
178g
초경량 무선 디바이스
설치 제약 극복 및 가변적 증설
Edge Device Final
Edge Device 최종 모습
카메라 + PIR 센서 + RF 안테나 조립 상태
A.RM.I Concept
System Concept
STM32 MCU · PIR Sensor · NRF24L01 · OV2640 구성도

시연 영상

A.RM.I 시스템의 실제 동작 및 객체 인식 시연 과정입니다.

프로젝트 개요

전력 공급이 어려운 지형적 한계와 병력 부족 문제를 해결하기 위해, 초저전력 엣지 디바이스와 서버를 연동한 분산형 AI 경계 감시 시스템을 제안합니다.

🎯

혁신적 감시 체계

기존 24시간 병사 감시 체제를 보조·대체하며, 전력 공급이 어려운 지역에서도 장기간 운용 가능한 저전력 AI 기반 분산형 경계 감시 시스템입니다.

0.02% 초저전력 운영

상시 작동하는 기존 장비(연간 45kWh)와 달리, 이벤트 기반 동작과 대기 전력 차단을 통해 연간 8.43Wh (기존 대비 0.02%) 수준으로 전력 소모를 극단적으로 최소화했습니다.

🧠

높은 정확도의 분산형 AI

기존 단일 장비(85%)의 한계를 넘어, Edge(CNN)와 Server(YOLOv4)를 연동한 1:N 아키텍처를 구축해 객체인식 정확도를 95% 이상으로 대폭 향상시켰습니다.

📡

초경량 무선 확장성

무겁고 유선망이 필수적인 기존 장비와 달리 178g의 초경량 디바이스와 무선 RF 통신을 활용하여, 감시 지점의 제약 없이 장비를 무한 증설할 수 있습니다.

💰

초저가 구축 및 자급자족

대당 수백만 원에 달하는 기존 시스템을 대체하여, 대당 약 14만 원의 초저가 제작 비용과 태양광 MPPT 에너지 하베스팅을 통한 무보수 운영을 실현했습니다.

🖥️

통합 관제 서버

서버 PC에서 다수 Edge 디바이스의 이미지를 수신하고 실시간으로 분석하여, 군사 및 상업 보안 영역의 인력 부족 문제를 효과적으로 해결합니다.

시스템 사양

// Edge Device — Hardware
MCU STM32H7A3VIT6
Clock 84 MHz
Flash / RAM 1 MB / 1.4 MB
이미지센서 OV2640
RF 모듈 nRF24L01+
동작감지센서 PIR Sensor
PCB KiCad Custom 4-Layer
// Edge Device — Software
IDE STM32CubeIDE
AI Framework X-CUBE-AI (Cube.AI)
AI Model CNN(Custom Model), TF Lite
CNN모델 Flash 사용량 54.97 KiB
CNN모델 RAM 사용량 662.78 KiB
// Server
OS Windows 10/11
Framework Qt / OpenCV / YOLOv4
Language C++ / C
통신 RF USB Module

시스템 아키텍처

Edge Device와 Server 간의 분산 처리 아키텍처 및 통신 프로토콜

HW Architecture
HW 구성도
Edge Device 하드웨어 아키텍처
SW Architecture
SW 구성도
Edge Device 소프트웨어 아키텍처
Edge Device Flowchart
Edge Device 흐름도
PIR 감지 → 촬영 → Cube.AI 추론 → RF 전송 → Standby
Server Flowchart
Server 흐름도
RF 수신 → 이미지/배터리 분기 → YOLOv4 객체인식
Communication Sequence
RF 통신 시퀀스
Edge ↔ Server 간 우선순위 기반 양방향 ACK 프로토콜

온디바이스 CNN 모델 제작

가장 전력을 많이 소모하는 '무선 RF 통신'을 최소화하기 위해, 엣지 디바이스 내부에서 자체적으로 타겟을 선별하는 가벼운 AI 모델을 구축했습니다.

🧠

On-Device AI의 핵심 목적

배터리 기반 시스템에서 무선 통신은 전력 소모의 가장 큰 원인(Peak 시 555mW)입니다. 모든 이미지를 무조건 전송하지 않고, 엣지 디바이스 자체 CNN 모델로 사람을 식별한 경우에만 이미지를 송신하도록 설계하여 무의미한 통신 전력 소모를 원천 차단했습니다.

📸

커스텀 데이터셋 구축

기존 오픈 데이터셋은 타겟 환경인 산악 지형과 배경이 달라 인식률이 크게 떨어졌습니다. 이를 해결하고자 실제 산에서 직접 훈련 데이터를 촬영하여 모델에 최적화된 전용 데이터셋을 구축했습니다.

📉

해상도 일치화 (320x240)

고해상도 촬영 후 압축 시 발생하는 이미지 질 저하를 막기 위해, Edge Device의 실제 카메라(OV2640) 입력 해상도인 320×240으로 처음부터 훈련 데이터를 직접 촬영하여 손실을 방지했습니다.

⚙️

TensorFlow Keras 학습

TensorFlow와 Keras API를 활용하여 CNN 신경망을 설계하였으며, Adam 옵티마이저와 Cross Entropy 손실 함수를 적용하여 하드웨어 제약 조건에 맞는 커스텀 학습을 진행했습니다.

🗜️

TFLite 양자화 (INT8)

STM32 MCU의 제한된 메모리(Flash, RAM)에 모델을 탑재하기 위해 TensorFlow Lite 형식으로 변환 후, 32비트 부동소수점을 8비트 정수로 양자화(Quantization)하여 모델 용량을 원본의 약 10% 수준으로 대폭 압축했습니다.

저전력 설계

실측 전력 소모 데이터 — 0.01Ω 센트 저항 전압 강하 + 전류계 측정

<Peak Power Consumption>

Peak Power Measurement

(RF Module in Use)

3.7V × 1.5mV 0.01Ω = 3.7V × 150mA
≈ 555mW

<Standby Mode Power Consumption>

Standby Power Measurement

(MCU Power Save Mode + Modules Off + PIR Sensor in Use)

3.7V × 1.43mA
≈ 5.29mW

Standby Mode

MCU는 평소 초저전력 Standby 모드로 대기하다가 PIR 센서를 통해 Wake Up 합니다. 이때 무조건 이미지를 보내지 않고, 온디바이스 CNN 모델로 타겟 유무를 먼저 확인하여 통신(가장 큰 전력 소모) 빈도를 최소화합니다. 타겟이 확인된 경우에만 서버로 이미지를 무선 전송한 후 다시 Standby 모드로 복귀합니다.

3.3V On/Off MOSFET Circuit

3.3V On/Off MOSFET Circuit

MOSFET 회로를 구성하여 이미지 센서와 RF 모듈의 전원을 차단하여, OV2640 이미지 센서와 RF 모듈의 대기 전력을 완전히 제거하였다.

Energy Harvesting

MPPT Charger Circuit

MPPT(Maximum Power Point Tracking) 회로를 구성하여 태양광을 사용한 배터리 충전 효율을 극대화하였다.

객체인식 모델

NN Model Size

320 × 240 grayscale 이미지 객체인식 모델을 설계하여 Edge Device에 이식되는 모델의 크기, 연산량을 최소화하였다.

NN 모델 Flash / RAM 사용 용량
- Used Flash: 88.92 KiB
- Used RAM: 625.87 KiB

하드웨어 갤러리

PCB 설계부터 3D 프린팅 케이스까지 — 개발 과정의 실물 기록

PCB v1.0 Front
PCB v1 — 앞면
초기 프로토타입 PCB 설계
PCB v1.0 Back
PCB v1 — 뒷면
2레이어 기판 하부 배선
PCB v2.1
PCB v2 — 단독 보드
최종 버전 커스텀 PCB 실물
PCB with Nucleo
PCB v1 — Nucleo-U5 + PCB
디버깅용 Nucleo 보드 연결 상태
PCB 모델 로딩 중... PCB 3D Render

A.RM.I — PCB v2 Design

직접 설계한 Edge Device 커스텀 회로 기판 3D 모델

KiCad PCB Design
Rotate: L-Drag|Pan: R-Drag|Zoom: Shift+Scroll
Enclosure Front
3D 프린팅 케이스 — 전면
PIR 센서 + 카메라 + LED 상태 표시
Enclosure Back
3D 프린팅 케이스 — 후면
스피커 슬릿 + RF/전원 LED 확인창
RF USB Module Top
RF USB 모듈 — Top
nRF24L01+ + CH340 USB-UART 변환 보드
RF USB Module Bottom
RF USB 모듈 — Bottom
서버 PC 연결용 커스텀 RF 수신기
PCB Layer
PCB Layer 구조
4레이어 기판 배선 설계

개발 타임라인

2024-1학기 — 캡스톤디자인 1
아이디어 확정, 온디바이스 객체인식, PCB v1.0
  • ARM Cortex-M 기반 온디바이스 객체인식 아키텍처 설계
  • STM32 + Cube.AI CNN 모델 포팅
  • PCB v1.0 회로 설계 및 제작
  • OV2640 카메라 모듈 인터페이스 개발
2024 여름방학
YOLOv4(C++), PCB v2.0
  • 서버측 YOLOv4 C++ 구현 및 Qt UI 개발
  • MCU 실장 및 주변 회로 검증
  • RF TX/RX 양방향 ACK 통신 성공
  • PCB v2.0.1 설계 — USB VCP, 벅-부스트 레귤레이터
  • OV2640, RF 모듈 전원 On/Off 회로 구현
  • 배터리 ADC, LED 함수 코딩
2024-2학기 — 캡스톤디자인 2
RF 통신 완성, PCB v2.1, 최종 시연
  • RF 통신 프로토콜 완성 및 안정화
  • PCB v2.1 최종 설계 및 Hand Soldering
  • MPPT 에너지 하베스팅 회로 통합
  • 저전력 Standby/Wake-up 최적화
  • 최종 시연 및 논문 작성

프로젝트 성과

🏆

교내 캡스톤디자인 작품발표회

은상 수상

🥇

ICT멘토링 학술대회 (ACK 2023)

최우수상 수상

🏅

교내 캡스톤디자인 경진대회 (2022)

대상 수상

📄

한국정보전자통신기술학회 논문 투고

"Low-Power AI Object Recognition Military Surveillance System using ARM and Cube.AI, A.RM.I"

🔬

스마트 임베디드 플랫폼 사업단

Education Center for Smart Embedded Platform 지원 프로젝트

💻

GitHub 오픈소스 공개

Edge Device, Server 코드 공개

팀원

지도 교수: 김재민 교수님

HW / PCB / Algorithm
KimTeddy
@KimTeddy
Sleep Mode / Server UI
MoonScott
@MoonScott
RF Communication
iamgodjinsu
@iamgodjinsu
Image Sensor
minjoll
@minjoll
CNN Model & Porting
jungminhye
@jungminhye

역할 분담

수행 내용 KimTeddy iamgodjinsu jungminhye MoonScott minjoll
기획 및 사양 분석
시스템 아키텍처 구상, 필요 부품 분석 및 선정
PCB 설계 및 HW 제작
회로 설계(KiCad), PCB 아트워크 및 하드웨어 조립
- - - -
이미지 센서(OV2640) 제어
OV2640 레지스터 세팅 및 이미지 획득 제어
- -
On-Device AI 설계
CNN 모델 설계 및 MCU 이식
- - - -
사용자 인터페이스(UI)
Qt 기반 모니터링 관리 프로그램 개발
- - -
서버 YOLO 시스템 구축
PC 서버 환경 YOLOv4 모델 적용 및 최적화
- - - -
서버 이미지 통신 및 처리
서버-디바이스 간 이미지 데이터 통신 및 수신 처리
- - - -
무선 통신 및 프로토콜
nRF24L01 기반 1:N 통신 알고리즘 구현
-
문서화 및 성과 보고
보고서, 발표 자료 및 포스터 공동 제작

소스코드 보기

Edge Device와 Server의 main 코드가 공개되어 있습니다.