POC MODEL COMPARISON REPORT

Gemma Vs Qwen
비교 결과

소방청 화재·구조구급 민원 데이터를 대상으로 두 AI 모델의 자동 정확도, 사람평가 점수, 처리속도, 분류 분포를 비교 분석한 결과보고서입니다.

1. 모델별 핵심 지표

Gemma

모델명gemma-4-26B-A4B-it

수행 회차#19

분석 건수100

자동 정확도90.0%

사람평가 미평가

처리속도138.43초

평균 응답시간1383.36ms

Qwen

모델명Qwen3.6-35B-A3B

수행 회차#20

분석 건수100

자동 정확도91.0%

사람평가 미평가

처리속도138.32초

평균 응답시간1382.3ms

2. 자동 정확도 비교(참조)

Gemma 90.0%

Qwen 91.0%

3. 처리속도 비교

Gemma 속도지수 99.9점

Qwen 속도지수 100.0점

4. 사람평가 점수 비교

      사람 검증 기반 AI 판단 신뢰도 비교
    
      사람이 직접 맞음/틀림을 평가한 결과를 기준으로
      모델별 실제 운영 신뢰도를 비교합니다.
    
        Gemma
  
            미평가
          
        Qwen
  
            미평가

5. 분류 분포

Gemma 분류 결과

대상 36

참고 23

비대상 41

Qwen 분류 결과

대상 36

참고 24

비대상 40

5. 관련 자료

구분	내용
분석 대상	소방청 화재·구조구급 민원 데이터 100건
분류 체계	사실조사 대상, 사실조사 참고, 사실조사 비대상
평가 항목	자동 정확도, 사람평가 점수, 처리속도, 평균 응답시간, 분류 분포
색상 기준	대상=빨강, 참고=주황, 비대상=노랑
보고서 생성일시	2026-05-19 19:44:09

최종 결론

자동 정확도 기준으로는 Qwen3.6-35B-A3B 모델이 더 우수합니다.

본 PoC 결과는 자동 정확도와 처리속도뿐 아니라 사람이 직접 검토한 평가 점수를 함께 반영해야 합니다. 자동 정확도는 임의 라벨링으로 참조자료이고 정확도는 사람평가로 평가합니다. 처리속도, 설명 품질, 사실조사 대상 누락 여부를 함께 검토하여 판단하는 것이 적절합니다.

Gemma Vs Qwen비교 결과