4. 실제 데이터 값 및 무결성 점검

4. 실제 데이터 값 및 무결성 점검

논문 작성용 상세 본문

운영기에 표시되는 수치는 배포 시점의 JSON/CSV 결과를 기준으로 하며, 원천 후보 10,000건과 실제 분석 통화 1,000건을 구분한다.

화자분리 결과는 통화 파일 수, 세그먼트 수, 통화-화자 슬롯, 응답쌍, 디코딩 성공/실패 건수로 분리해 표시한다.

파일명에 .wav.wav가 보였던 문제는 표시용 문자열 처리 문제였으며, 실제 분석 파일과 세그먼트 결과의 무결성은 별도 진단표로 확인한다.

실제 데이터 값 검증은 단순한 화면 표시 확인이 아니라 파일 존재 여부, CSV 행 수, JSON 상태, 디코딩 성공 수, 세그먼트 수를 교차 확인하는 과정이다.

원천 후보 10,000건, 실제 분석 통화 1,000건, 화자 세그먼트 57,619건, 통화-화자 슬롯 2,000건은 서로 다른 분석 단위이다.

이 단위를 분리하지 않으면 2,000 슬롯을 2,000개의 원본 음성으로 오해하거나 세그먼트 수를 통화 수로 해석하는 오류가 발생한다.

분석 수치 및 결과표

표 4-1. 실제 데이터 계층

표 4-2. 오디오 처리 무결성

표 4-Q. 연구 질문

표 4-M. 분석 방법 및 도구

분석 그림 및 도식

원본 분석 산출물 연계

산출물 CSV: research_continuity/24_speaker_actual_diarization_v181/speaker_actual_file_diagnostics_v189.csv (행 1,000, 열 8)

산출물 CSV: research_continuity/24_speaker_actual_diarization_v181/speaker_actual_file_diagnostics_v199.csv (행 1,000, 열 8)

산출물 CSV: research_continuity/24_speaker_actual_diarization_v181/speaker_actual_file_diagnostics_v200.csv (행 1,000, 열 8)

산출물 CSV: results/tables/data_quality_action_plan.csv (행 3, 열 7)

산출물 CSV: results/tables/deploy_result_integrity.csv (행 22, 열 7)

산출물 CSV: results/tables/final_paper_quality_check.csv (행 53, 열 6)

산출물 텍스트: results/manuscript_text/data_quality_action_log_ko.md

# 데이터 품질 자동 조치 계획

## 1. VOC STT/WPM 자동 복구
- 코드: `FIX_VOC_STT_WPM`
- 원인: 전사문, 단어 수, WPM 또는 z_wpm이 비정상입니다. VOC STT부터 다시 돌려야 합니다.
- 트리거: VOC transcript column; VOC word_cnt; VOC text_len; VOC wpm; Stress index z_wpm
- 자동 실행 가능: YES
- 실행 힌트: `python src/auto_remediate.py --fix-voc-stt-wpm --model medium --limit <N> --overwrite-stt`

## 3. 상수/결측 변수 해석 제한 표시
- 코드: `REVIEW_FEATURE_QUALITY`
- 원인: 상수 또는 결측 처리된 변수가 있습니다. 자동 복구보다 STT/원본 데이터 확인이 우선입니다.
- 트리거: Feature quality table
- 자동 실행 가능: PARTIAL
- 실행 힌트: `먼저 FIX_VOC_STT_WPM 실행. 이후에도 남으면 해당 변수는 본문에서 보조/제외로 표시`

## 4. 표본 수 확대 재실행
- 코드: `RUN_LARGER_SAMPLE`
- 원인: 현재는 테스트/파일럿 표본입니다. SCI 원고용은 500개 이상, 가능하면 전체/998건으로 재실행해야 합니다.
- 트리거: VOC feature sample size
- 자동 실행 가능: YES
- 실행 힌트: `대시보드 테스트 개수 500/1000/전체 선택 후 전체 파이프라인 또는 자동 조치 실행`

산출물 텍스트: results/manuscript_text/data_quality_warning_ko.md

# 데이터 품질 점검 결과

- PASS: 1
- WARN: 3
- FAIL: 5
- 논문용 사용 가능 여부: 불가 또는 추가 확인 필요

## 조치 필요 항목
- **VOC Whisper STT result file** [WARN]: VOC STT 파일은 있으나 빈 전사문 비율이 높습니다. → 빈 전사문이 많으면 Whisper model/device 설정, 음성 변환 파일, VAD 설정을 확인하세요.
- **VOC feature sample size** [WARN]: 현재 VOC 특징 데이터는 n=100입니다. → SCI 최종 원고 전에는 500개 이상, 가능하면 전체/998건으로 재실행하세요.
- **VOC transcript column** [FAIL]: transcript가 대부분 비어 있습니다. 현재 결과는 STT 제외 테스트 결과입니다. → STT 제외 체크를 해제하고 VOC Whisper STT 포함으로 전체 파이프라인을 재실행하세요.
- **VOC word_cnt** [FAIL]: word_cnt 산출 상태 확인 → FAIL이면 STT 포함 재실행 필요
- **VOC text_len** [FAIL]: text_len 산출 상태 확인 → FAIL이면 STT 포함 재실행 필요
- **VOC wpm** [FAIL]: wpm이 전부 0 또는 상수입니다. 논문용 stress_score에 사용할 수 없습니다. → STT 제외 체크 해제 → VOC Whisper STT 실행 → VOC 특징 추출 → Stress Index 재산출 순서로 다시 실행하세요.
- **Stress index z_wpm** [FAIL]: z_wpm이 전부 0입니다. WPM이 지수에 반영되지 않았습니다. → VOC STT 포함 재실행 후 stress_score를 재산출하세요.
- **Feature quality table** [WARN]: 상수/결측 처리된 변수가 있습니다. → 해당 변수가 후속 원고에서 현재 분석 결과처럼 해석되지 않도록 주의하세요.

## 실행 권장 순서
1. Whisper STT 메뉴에서 dataset=voc, model=medium으로 STT 실행
2. VOC 특징 추출 실행
3. Stress Index 재산출 실행
4. 데이터 품질 점검 실행
5. PASS 확인 후 구성 타당도 분석과 논문 원고 생성 진행

산출물 텍스트: results/manuscript_text/deploy_result_integrity_ko.md

# 모바일 배포 결과값 출처 점검

- 생성시각: 2026-07-04 18:35:46
- 프로파일: `n1000`
- 판정: **READY**
- 메시지: 모바일 배포에 사용할 Feature/Stress 결과가 확인됐습니다. 0건 표시가 나오면 패키지가 오래된 것입니다.

## 핵심 사용 출처

- Features: 1000건 · root · `C:\AI\sci_voc_bot\data\voc\features\voc_features.csv`
- Stress: 1000건 · root · `C:\AI\sci_voc_bot\results\stress_index\voc_stress_score_rebuilt.csv`
- STT small: 1000건 · root · `C:\AI\sci_voc_bot\data\voc\stt\voc_whisper_small_results.csv`

## 해석

모바일 콘솔은 분석을 실행하는 곳이 아니라, 로컬에서 생성된 결과값을 확인하는 곳입니다.
따라서 0건으로 보이면 먼저 결과 파일 부재가 아니라 잘못된 snapshot 또는 오래된 배포 패키지를 의심해야 합니다.

결과 해석

한계 및 논문 반영 기준