← 목록
공개 범위 안내 — 이 사이트는 도구 설계·기획 문서만 공개합니다. 분석 대상 원문(수행안내서 전문, 제안요청서, 제안서 판독본)과 특정 제안서에 대한 분석 결과는 포함하지 않습니다. 문서에 남은 실명·연락처는 마스킹 처리했습니다.

개인정보 컨설팅 산출물 준거성 분석툴 — 기능 명세서

문서 버전 v1.0 · 2026-08-04
목적 본 세션에서 수작업으로 수행한 「수행안내서 ↔ 마사회 제안서」 분석을 재현 가능한 도구로 구현하기 위한 기능 정의
코드명 PIA-Auditor (가칭)


0. 이 명세서가 나온 경위 — 실제 분석 과정의 역설계

기능 명세는 상상이 아니라 실제로 수행한 분석 절차를 그대로 분해해서 도출했다. 아래가 실행된 절차이며, 각 단계가 그대로 모듈이 된다.

# 실제 수행한 일 발생한 문제 도출된 모듈
1 PDF 3종의 텍스트 레이어 유무 판별 발표자료 50쪽 전체가 이미지 → 텍스트 0자 M1 수집·판별
2 텍스트 PDF → Markdown 변환 한글 PDF에서 띄어쓰기 전부 소실(정보보안및개인정보보호실태점검) M2 텍스트 정규화
3 제목 계층 복원 문서 전체 최빈 폰트가 표 글자(11pt)라 본문(15pt)이 전부 제목으로 승격됨 M2 구조 복원
4 표 추출 RFP 요구사항 정의서가 전부 표 → 표 손실 시 분석 불가 M2 표 추출
5 이미지 슬라이드 판독 OCR 미설치 → 렌더링 후 vision 판독 M3 이미지 판독
6 안내서에서 평가체계 추출 121개 지표·12개 품질 체크리스트가 표로 흩어져 있음 M4 기준 지식베이스
7 RFP 요구사항 목록 추출 CNR/PMR/QUR/COR/PSR/SER 6분류 42항목 M5 요구사항 추출
8 제안서 ↔ RFP ↔ 안내서 3자 대조 수작업 대조는 누락 위험 M6 커버리지 매핑
9 격차 판정 (§3.1~3.7) 판정 근거를 매번 원문에서 다시 찾아야 함 M7 룰 엔진
10 제안서 자체 품질 이슈 발견 (§4) 0년0월, xxx, 0회, '12년말 M8 문서위생 검사
11 근거 추적표 작성 (§7) 페이지 마커가 없으면 재확인 불가 M9 근거 추적
12 보고서 생성 M10 리포팅

설계 원칙 1 — 추적성 우선. 모든 변환 산출물은 <!-- page:N --> 마커를 보존한다. 마커가 없으면 어떤 판정도 검증할 수 없고, 검증할 수 없는 판정은 컨설팅 산출물로 쓸 수 없다.

설계 원칙 2 — 룰과 LLM의 역할 분리. 기계적으로 판정 가능한 것(요구사항 코드 누락, 미기입 필드, 산출물 대조)은 결정론적 룰로, 의미 판단이 필요한 것(방법론 정합성)은 LLM + 근거 인용 강제로 처리한다.

설계 원칙 3 — 미발견을 발견으로 위장하지 않는다. 판정은 PASS / FAIL / INSUFFICIENT_EVIDENCE 3값이다. 요약본만 분석했는데 "누락"이라고 단정하면 오탐이 된다.


1. 시스템 개요

1.1 한 문장 정의

공공기관 개인정보보호 컨설팅 사업의 제안요청서·제안서·수행 산출물을, 개인정보보호위원회 『개인정보 영향평가 수행안내서』를 비롯한 준거 기준과 자동 대조하여 커버리지·방법론 정합성·문서 품질의 격차를 근거와 함께 리포팅하는 도구.

1.2 사용자

사용자 사용 시점 얻는 것
발주기관 사업담당자 제안서 평가 시 제안서별 커버리지 매트릭스, 방법론 격차
발주기관 검수담당자 중간·완료보고 시 RFP 산출정보 대비 실제 산출물 대조표
컨설팅사 PM 제안서 제출 전 자체 품질검토 (미기입·과거자료·누락 사전 탐지)
컨설팅사 품질조직 산출물 납품 전 안내서 품질검토 체크리스트 12항목 자가진단

1.3 파이프라인

 [입력]  PDF/HWP/PPTX/XLSX
   │
   ├─ M1 수집·판별 ──── 문서유형·텍스트레이어 판별 → 경로 분기
   │       ├→ 텍스트 有 → M2 텍스트 정규화·구조복원·표추출
   │       └→ 텍스트 無 → M3 렌더링 + 이미지 판독 → M2 후처리
   │
   ├─ M4 기준 지식베이스 (안내서·고시·법령 → 지표 121 / 체크리스트 12)
   ├─ M5 요구사항 추출   (RFP → 요구사항 42항목 + 산출정보)
   │
   ├─ M6 커버리지 매핑   (제안서 ↔ RFP ↔ 안내서 3자 대조)
   ├─ M7 룰 엔진         (방법론 정합성 룰 카탈로그 실행)
   ├─ M8 문서위생 검사   (미기입·과거일자·표기불일치)
   │
   ├─ M9 근거 추적       (모든 Finding에 원문 위치 부착)
   └─ M10 리포팅         (Markdown / XLSX / JSON)

2. 모듈별 기능 명세

M1. 문서 수집 및 판별

ID 기능 상세
M1-F01 문서 인입 PDF, HWP, HWPX, PPTX, DOCX, XLSX 지원. 디렉터리 일괄 투입
M1-F02 텍스트 레이어 밀도 판정 페이지당 추출 문자수를 계산. 평균 < 50자/쪽 이면 이미지 문서로 분류하고 M3로 분기
M1-F03 문서 역할 자동 분류 기준문서(안내서/고시/법령) / 제안요청서(RFP) / 제안서 / 산출물 4종. 파일명 + 첫 3쪽 키워드로 분류하되 사용자 확인 필수(오분류 시 전체 분석이 뒤틀림)
M1-F04 HWP 처리 텍스트 추출 실패 시 PDF 동반본 우선 사용, 없으면 변환 후 처리

판정 기준 근거: 본 세션에서 발표자료는 50쪽에 총 1,618자(평균 32자/쪽)로 이미지 문서였고, RFP는 81쪽 74,798자(평균 923자/쪽)로 텍스트 문서였다. 임계값 50은 이 관측에 기반한다.


M2. 텍스트 정규화 및 구조 복원

이 모듈이 전체 분석 품질을 결정한다. 여기서 깨진 텍스트는 이후 모든 단계에서 복구되지 않는다.

M2-F01 한글 띄어쓰기 복원 (필수)

문제: 상당수 한글 PDF는 공백 문자를 인코딩하지 않고 글자 위치로만 표현한다. 단순 추출 시 사업명:정보보안및개인정보보호실태점검·관리체계강화 처럼 붙어 나온다. 이 상태로는 키워드 매칭·LLM 판독 모두 실패한다.

알고리즘:

라인 내 글자들의 bbox 수집 (공백 문자 제외)
글자 폭의 중앙값 aw 계산
연속한 두 글자의 간격 gap > aw × 0.22 이면 공백 삽입

검증 결과: 사업명:정보보안및개인정보보호실태점검·관리체계강화사업명 : 정보보안 및 개인정보보호 실태점검·관리체계 강화

M2-F02 자간 벌림 재결합

문제: 제목이 사 업 명 처럼 자간이 벌어져 조판되면 F01이 글자마다 공백을 넣는다.

알고리즘: 한 글자 토큰이 4개 이상 연속하고 그중 3개 이상이 한글인 구간만 결합. (및 그 외 같은 정상 문장 파괴 방지 — 이 가드가 없으면 본문이 손상된다)

M2-F03 제목 계층 복원 — 페이지 단위 기준선

문제: 문서 전체의 최빈 폰트를 본문으로 잡으면, 표가 많은 문서에서 표 글자 크기가 본문으로 오인된다. 본 세션 RFP에서 실제로 발생: 전체 최빈 11.0pt(요구사항 정의서 표) vs 서술 본문 15.0pt → 본문 전체가 h3로 승격되어 문서가 제목 목록처럼 변했다.

해결: 텍스트 라인이 8개 이상인 페이지는 해당 페이지의 최빈 폰트 크기를 본문 기준선으로 사용한다. 라인이 적은 표지·간지는 문서 전체 기준선을 사용한다.

승격 규칙:
| 조건 | 레벨 |
|---|---|
| ^제N장, ^[ⅠⅡⅢ…], ^Part | H1 |
| ^제N절 | H2 |
| 크기비 ≥ 1.5 / ≥ 1.3 / ≥ 1.18 | H1 / H2 / H3 |
| 크기비 ≥ 1.05 + 굵기 + 40자 이하 | H3 |
| 굵기 + ^N. ^가. ^(N) + 40자 이하 | H4 |
| 60자 초과 또는 종결어미(~다./~음/~함)로 끝남 | 승격 금지 |

M2-F04 표 추출

M2-F05 페이지 마커 삽입 (필수)

모든 페이지 경계에 <!-- page:N --> 를 삽입한다. 슬라이드 문서는 <!-- slide:N -->. M9 근거 추적의 유일한 기반이며, 생략 불가.

M2-F06 노이즈 제거


M3. 이미지 문서 판독

ID 기능 상세
M3-F01 페이지 렌더링 110 dpi PNG 기본. A4 가로 슬라이드에서 표 내부 숫자까지 판독 가능함을 확인. 판독 실패 시 200 dpi 재시도
M3-F02 판독 경로 선택 ① OCR 엔진(한국어 학습모델) ② 비전 모델 판독 ③ 하이브리드. 본 세션은 OCR 부재로 ②를 사용했고, 표·조직도·타임라인의 구조 보존 품질이 OCR보다 우수했다
M3-F03 판독 프롬프트 규격 슬라이드 1장 = Markdown 섹션 1개. 표는 GFM 표로, 프로세스 도해는 A → B → C 로, 판독 불가 영역은 (이미지) 로 명시
M3-F04 판독 불확실성 표기 미세 문자·저해상 캡처는 임의 추정하지 않고 (판독 한계) 로 표기. 이 표기가 있는 구간에서 나온 Finding은 자동으로 INSUFFICIENT_EVIDENCE 로 강등
M3-F05 텍스트 레이어 병합 이미지 슬라이드에도 페이지번호·머리말은 텍스트로 남아 있는 경우가 많다. 이를 판독 결과와 대조하여 슬라이드 번호 정합성 검증

M4. 준거 기준 지식베이스

기준문서를 구조화된 지식으로 변환한다. 매 분석마다 안내서를 다시 읽는 낭비를 없애는 것이 목적.

M4-F01 평가지표 카탈로그

수행안내서 §Ⅱ-4.1(p.57~59)에서 다음 스키마로 추출한다.

- indicator_id: "3.1.1"
  area: "3. 개인정보 처리단계별 보호조치"      # 5개 평가영역
  field: "3.1 수집"                             # 28개 평가분야
  subfield: "개인정보 수집의 적합성"
  question: "개인정보를 수집하는 경우 정보주체의 동의를 받거나…"
  legal_basis: ["개인정보 보호법 제15조", "표준 개인정보 보호지침 제6조"]
  mandatory: true                               # 법적 필수 여부
  conditional_on: null                          # 예: "보유 10만명 이상", "공공시스템"
  source: {doc: "guide-2025.10", page: 152}

M4-F02 품질검토 체크리스트 카탈로그

안내서 p.78~81의 12개 항목을 자가진단 룰로 변환. 이것이 M7 룰 엔진의 골격이다.

No 구분 검사 대상
1 영향평가서 필수사항 시행령 제38조제2항 4개 항목 포함 여부
2 투입인력 자격요건 자격증 + 경력 1년 + 전문교육 인증번호 3요건
3 흐름분석 식별성 총괄·업무별 개인정보흐름도 존재
4 흐름도 구체성 도형·색상 활용, 우려지점에 지표번호 표기
5 평가항목 최신성 최신 법령·고시 반영
6 평가항목 최적화 기관 특성·특정 IT기술 반영
7 점검 충실성 증적의 객관성·상세성
8 흐름분석 연계성 흐름도 식별 경로가 빠짐없이 점검되었는가
9 세부점검 누락 항목별 필수 세부점검 수행
10 인프라 영역 점검 응용시스템 외 서버·DBMS 점검
11 위험분석 합리성 위험도가 실질 위험 대변, 위반 조항·처벌 명기
12 개선방안 실질성 Copy&Paste 지양, How-to 상세 제시

M4-F03 절차·산출물 카탈로그

안내서의 단계별 필수 산출물을 등록.

- stage: "개인정보 흐름 분석"
  guide_ref: {page: 34}
  required_outputs:
    - 개인정보 영향도 등급표
    - 개인정보 처리업무표
    - 개인정보 처리업무 흐름도
    - 개인정보 흐름표
    - 개인정보 흐름도
    - 정보시스템 구조도

M4-F04 산식 카탈로그

- formula_id: "risk_score"
  expr: "영향도 + (발생가능성 × 법적준거성) × 2"
  params:
    영향도: {1등급: 5, 2등급: 3, 3등급: 1}
    법적준거성: {법적_준수사항: 1.5, 법률_외_요건: 1.0}
  guide_ref: {page: 66}

M4-F05 버전 관리

기준문서는 개정된다(안내서: '11.12 발간 → '17.12 → '18.4 → '20.12 → '24.4 → '25.10). 지식베이스는 버전 태그를 갖고, 개정 시 지표 diff(신설/삭제/변경)를 산출한다.

예: 2025.10 개정에서 5.7 인공지능(AI) 신설 → 이 diff가 있으면 2025.10 이후 사업 제안서에 AI 평가항목이 없을 때 자동으로 Finding 발생. 본 세션 §3.5가 정확히 이 룰의 결과다.


M5. 요구사항 추출 (RFP)

ID 기능 상세
M5-F01 요구사항 목록 파싱 분류 / 고유번호 / 요구사항 명칭 3열 표에서 전체 목록 추출. 코드 체계 자동 인식(CNR-001, PMR-001, QUR, COR, PSR, SER …)
M5-F02 상세 요구사항 파싱 요구사항 정의서 표에서 정의 / 세부내용 / 산출정보 추출
M5-F03 번호 연속성 검사 목록에 CNR-001~017 이 있는데 본문 정의서에 CNR-012가 없으면 경고. 본 세션에서 제안서 매핑표의 CNR-012 누락을 잡아낸 룰
M5-F04 산출정보 정규화 산출정보 필드를 산출물 목록으로 분해. M6-F03 산출물 대조의 기준이 됨
M5-F05 인력·자격 요건 추출 PMR에서 PM 자격, 상주 요건, 경력 요건, M/M 요건 추출
M5-F06 평가배점 추출 기술평가 배점표에서 정량 요건 추출(예: 영향평가기관 지정 여부 4점)

M6. 커버리지 매핑 (3자 대조)

이 모듈이 도구의 핵심 산출물을 만든다.

M6-F01 요구사항 ↔ 제안서 커버리지

각 RFP 요구사항에 대해 제안서에서 대응 구간을 찾아 판정한다.

판정 조건
COVERED 대응 섹션이 존재하고 세부내용의 핵심 요소를 다룸
PARTIAL 언급은 있으나 세부내용 일부만 대응
MISSING 대응 구간 없음
INSUFFICIENT_EVIDENCE 요약본만 분석했거나 판독 한계 구간

매칭 방식: ① 요구사항 명칭 정확 일치 → ② 세부내용 키워드 집합 유사도 → ③ 임베딩 유사도 상위 후보를 LLM이 판정. 모든 판정에 제안서 슬라이드/페이지 번호 인용을 강제한다.

M6-F02 요구사항 ↔ 안내서 평가영역 매핑

RFP 요구사항이 안내서 5개 평가영역 중 어디에 해당하는지 매핑하여, "안내서 기준으로 봤을 때 이 RFP가 비워둔 영역" 을 산출한다.

본 세션 결과: 영역 1~3은 CNR-011/014/015가 커버, 영역 4는 CNR-012가 얇게 커버, 영역 5는 대응 요구사항 자체가 없음 → §2 매핑표.

M6-F03 산출물 대조

RFP 산출정보 × 제안서 산출물 목록 × 실제 납품 산출물 3자 대조표.

본 세션 결과: RFP는 CNR-015/016/017 산출정보를 상세히 규정(위탁 실태점검 이행실적 증빙, 교육 동영상, 카드뉴스 15종, 퀴즈 10문항, X배너 등)했으나 제안서 슬라이드 44 산출물 목록에는 3개 과업 산출물이 누락 → §4-4.

M6-F04 인력 요건 대조

RFP 인력 요건 vs 제안서 투입인력표.


M7. 룰 엔진 — 방법론 정합성

M4 지식베이스를 근거로 실행되는 룰 카탈로그. 각 룰은 id / 근거 / 검사 / 판정 / 심각도 / 권고 를 갖는다.

룰 카탈로그 (v1.0, 본 세션에서 실제로 발화한 룰)

룰 ID 검사 내용 근거 심각도 본 세션 발화
R-FLOW-01 개인정보 흐름표·흐름도가 산출물 목록에 존재하는가 안내서 p.34, 체크리스트 3 높음 ● §3.1
R-FLOW-02 흐름도상 우려지점에 지표번호가 표기되는가 체크리스트 4 ○ 확인필요
R-FLOW-03 흐름분석에서 식별된 모든 경로가 점검 범위에 포함되는가 체크리스트 8 높음 ○ (선행조건 미충족)
R-RISK-01 침해요인 도출 단계가 절차에 존재하는가 안내서 p.65 높음 ● §3.2
R-RISK-02 위험도 산식에 법적 준거성 가중치가 포함되는가 안내서 p.66~67 높음 ● §3.3
R-RISK-03 법령 위반 침해요인에 위반 조항·처벌이 기재되는가 체크리스트 11 ● §3.2
R-IND-01 평가지표 모수와 추가·삭제 대조표가 제시되는가 안내서 p.74 ● §3.4
R-IND-02 4단계 판정(Y/P/N/N-A) 체계를 사용하는가 안내서 p.60 ○ 확인필요
R-IND-03 기준문서 최신 개정 신설 분야가 반영되었는가 (M4-F05 diff 연동) 안내서 개정이력 높음 ● §3.5 (AI)
R-DOMAIN-01 기관 특성 지표 자동 제안 — 기관 속성에서 필수 평가분야 역추론 체크리스트 6 높음 ● §3.5 (위치정보·CCTV)
R-IMPL-01 개선사항 이행점검 구간이 일정에 배정되었는가 안내서 p.86~87 높음 ● §3.6
R-IMPL-02 개선계획에 담당부서·수행시기·지표코드가 포함되는가 안내서 p.69~71 ○ 확인필요
R-METH-01 개인정보 과업에 개인정보 전용 방법론이 적용되는가 안내서 전반 높음 ● §3.7 (C.PIAM 미적용)
R-SCOPE-01 영향평가 의무대상 판단(5만/50만/100만 조건)이 수행되었는가 안내서 p.10~11 높음 ● §0.2
R-SCOPE-02 컨설팅 사업 포함 발주 시 영향평가 비용 분리·독립성 확보 안내서 p.25 높음 ● 권고8
R-HR-01 투입인력 PIA 인증번호 보유 확인 절차가 있는가 체크리스트 2, 안내서 p.25

R-DOMAIN-01 상세 — 가장 가치 있는 룰

기관 속성으로부터 반드시 점검되어야 할 평가분야를 역추론한다. 본 세션에서 위치정보·CCTV 누락을 잡아낸 룰이며, 사람이 놓치기 가장 쉬운 유형이다.

탐지 신호 (문서 내 근거) 추론되는 필수 평가분야
"위치정보사업자" 언급 5.4 위치정보
수탁사 업무에 "영상정보처리기기 설치 및 운영" 5.1 고정형 영상정보처리기기 (+ 설치·관리 위탁)
"생체인식", "지문", "안면인식" 5.3 생체인식정보
"가명처리", "결합", "데이터 개방" 5.5 가명정보
"AI", "머신러닝", "자동 심사/추천" 5.6 자동화된 결정, 5.7 인공지능(AI)
"채용", "입사지원" 3.2 보유 + 「채용절차의 공정화에 관한 법률」 제11조 (180일)
"10만명 이상" / "공공시스템 목록 등재" 안전성 확보조치 기준 제7조6항·제11조 / 제15~17조

핵심: 신호는 제안서 자신의 실적·수탁사 목록에서도 추출한다. 본 세션에서 위치정보 신호는 제안사가 자기 실적으로 적은 한국마사회 위치정보사업자 정기실태점검 대비 사전 컨설팅(25.04~25.05) 에서 나왔다. 제안사가 그 사실을 알면서 과업에 반영하지 않은 것이므로 지적의 설득력이 매우 높다.


M8. 문서 위생 검사 (결정론적 룰)

LLM 없이 정규식·구조 검사만으로 판정 가능한 항목. 오탐이 거의 없고 즉시 수정 가능하여 실무 효용이 가장 크다.

룰 ID 패턴 본 세션 발화
H-01 미기입 플레이스홀더 0년0월, xxx, XXX, ○○○, TBD, N/A 가 표의 동일 열 전체에 반복 ● 수탁사 18개사 전부 (§4-1)
H-02 정량 약속 0값 0회, 0건, 0명, (협의필요), (추후협의) ● 교육 0회(협의필요) (§4-3)
H-03 과거 일자 재사용 문서 작성연도 대비 3년 이상 과거의 이행 시한 표기 '12년 12월까지, '13년 말까지 (§4-2)
H-04 요구사항 코드 결번 코드 시퀀스의 빈 구간 CNR-012 누락 (§4-5)
H-05 목차 ↔ 본문 불일치 목차 장 수 ≠ 본문 간지 수 ● 5 vs 6 챕터 (§4-6)
H-06 인명·직급 표기 불일치 유사 인명(편집거리 ≤ 1) 간 직급 상충 ● 전○찬 주임 / 전△찬 선임 (§4-6)
H-07 일정 상충 동일 과업의 절대일정(월)과 상대일정(M+n)이 불일치 ● 보호수준 평가 7~9월 vs M+4~M+5 (§4-7)
H-08 M/M 검산 개별 M/M 합 ≠ 합계 표기 ○ 정상(21.0)
H-09 산출물 상호참조 과업 목록에 있으나 산출물 목록에 없는 과업 ● 위탁점검·교육·캠페인 3건 (§4-4)
H-10 타기관명 잔존 발주기관 외 기관명이 본문 서술에 등장(템플릿 재사용 흔적)

M9. 근거 추적

ID 기능
M9-F01 모든 Finding에 {doc, page/slide, quote} 부착. 인용문 없는 Finding은 생성 거부
M9-F02 원문 역참조 링크 생성 — 04_보고서.md#F-03102_RFP.md p.14
M9-F03 근거 추적표 자동 생성 (본 세션 §7과 동일 형식)
M9-F04 인용 검증 — 인용문이 변환 산출물에 실제 존재하는지 문자열 대조. 불일치 시 Finding 폐기 (환각 차단)

M10. 리포팅

M10-F01 산출 형식

형식 용도
Markdown 사람이 읽는 분석보고서 (본 세션 04_...md 형태)
XLSX 커버리지 매트릭스 / Finding 목록 / 산출물 대조표 (검수 실무용)
JSON 후속 도구 연계, 이력 비교

M10-F02 Finding 스키마

{
  "id": "F-031",
  "rule_id": "R-METH-01",
  "severity": "HIGH",
  "verdict": "FAIL",
  "title": "개인정보 영향평가 방법론(C.PIAM)을 보유했으나 본 사업에 미적용",
  "evidence": [
    {"doc": "03_제안서_발표자료", "slide": 23,
     "quote": "C.PIAM  Privacy Impact Assessment Methodology 개인정보영향평가 방법론"}
  ],
  "criterion": {"doc": "guide-2025.10", "ref": "§Ⅱ 전반"},
  "impact": "개인정보 과업이 정보보안 방법론으로 처리되어 흐름분석·침해요인·법적준거성 가중치가 파이프라인에 부재",
  "recommendation": "CNR-011~015에 C.PIAM 병행 적용. 보유 자산이므로 추가 비용 없음",
  "confidence": 0.9
}

M10-F03 보고서 구성 (고정 템플릿)

0. 분석의 전제와 한계        ← 필수. 요약본 분석 여부·판독 한계 명시
1. 종합 판정 (축별 등급)
2. 커버리지 매핑
3. 방법론 격차 (룰별 상세)
4. 문서 위생 이슈
5. 강점                      ← 필수. 결함만 나열하면 의사결정에 못 씀
6. 권고사항 (우선순위)
7. 근거 추적표

§5 "강점" 섹션은 선택이 아니라 필수다. 결함만 나열된 보고서는 "이 제안사를 쓸 것인가"라는 실제 의사결정에 답하지 못한다. 본 세션에서 제안사의 PIA 인력 풀 52명·영향평가기관 지정·선행사업 연속성이 강점 섹션에 없었다면, 권고 1번("보유한 C.PIAM을 적용하라 — 추가 비용 없음")이라는 가장 실행 가능한 권고가 도출되지 않았을 것이다.

M10-F04 심각도 정의

등급 정의
CRITICAL 법적 의무 미이행 — 과태료·처분 대상
HIGH 안내서 필수 절차·산출물 부재로 결과물 신뢰성 훼손
MEDIUM 품질 저하, 검수 단계에서 분쟁 소지
LOW 표기·편집 오류

3. 데이터 모델

Document ─┬─ id, role(기준/RFP/제안서/산출물), version, pages
          └─ Page ─┬─ number, text_md, tables[], render_path
                   └─ Block ─ type(heading/para/list/table), level, bbox, text

Criterion ─┬─ Indicator (121)  : area, field, subfield, question, legal_basis, mandatory
           ├─ QualityCheck (12): category, question, evidence_doc
           ├─ StageOutput      : stage, required_outputs[]
           └─ Formula          : expr, params

Requirement ─ code, category, name, definition, details[], outputs[], source_ref

Finding ─ id, rule_id, severity, verdict, title, evidence[], criterion, impact,
          recommendation, confidence

CoverageCell ─ requirement_code × proposal_section → verdict, evidence[]

4. 비기능 요구사항

구분 요구
정확성 인용 검증(M9-F04) 실패 Finding은 자동 폐기. 환각 인용 0건이 합격 기준
재현성 동일 입력 → 동일 Finding 집합. 프롬프트·룰·지식베이스·모델 ID 버전 고정. ⚠️ 온도 0으로 재현성을 확보할 수 없다 — Claude Opus 5 / Sonnet 5는 temperature·top_p·top_k를 아예 거부한다(400). 재현성은 샘플링이 아니라 구조화 출력(JSON 스키마 강제) + 인용 검증 + 골든셋 회귀로 확보한다. 상세: 06_기술스택선정_및_개발기획서.md §4.6
추적성 100% Finding이 원문 위치를 가짐. 예외 없음
보안 입력 문서에 개인정보·미공개 사업정보가 포함된다. 로컬 처리 기본, 외부 API 전송 시 사전 동의 및 전송 항목 로깅. 렌더링 이미지는 처리 후 파기
성능 텍스트 500쪽 5분 이내. 이미지 문서는 판독 경로 특성상 별도 산정
확장성 기준문서 추가(보호수준 평가 편람, ISMS-P 인증기준, 안전성 확보조치 기준)를 지식베이스 등록만으로 지원
국제화 한국어 우선. 한글 조판 특성(띄어쓰기 소실·자간 벌림) 처리는 핵심 기능이지 부가 기능이 아니다

5. 검증 계획

단계 방법 합격 기준
V1. 변환 정확도 텍스트 PDF 10건 샘플링, 문단 100개 육안 대조 띄어쓰기 복원 정확도 ≥ 95%, 표 셀 손실 0
V2. 지식베이스 완전성 안내서 121개 지표 전수 대조 지표 수·영역·분야 100% 일치
V3. 룰 재현성 본 세션 분석 결과를 골든셋으로 사용 §3·§4의 13개 Finding을 룰 엔진이 재현
V4. 오탐률 준거성 양호한 제안서 5건 투입 HIGH 이상 오탐 ≤ 1건/건
V5. 근거 무결성 전체 Finding 인용문 문자열 대조 불일치 0

V3의 골든셋이 이 도구의 존재 근거다. 본 세션에서 사람이 찾아낸 13개 Finding(§3.1~3.7 방법론 격차 7건, §4 문서 위생 6건 + 확인필요 1건)을 도구가 자동 재현하지 못하면 도구를 쓸 이유가 없다.


6. 개발 로드맵

단계 범위 산출
Phase 1 — 변환 기반 M1, M2, M9-F01 페이지 마커 보존 Markdown 변환기. 본 세션에서 tools/pdf2md.py 로 이미 구현 완료
Phase 2 — 결정론 검사 M5, M8, M6-F03/F04 요구사항 추출 + 문서 위생 10룰 + 산출물·인력 대조. LLM 없이 동작하며 실무 효용 즉시 발생
Phase 3 — 지식베이스 M4 안내서 121지표 + 체크리스트 12 + 절차·산식 카탈로그
Phase 4 — 룰 엔진 M7, M6-F01/F02 방법론 정합성 16룰. R-DOMAIN-01 우선 구현(효용 최대)
Phase 5 — 이미지 판독 M3 슬라이드 문서 지원
Phase 6 — 리포팅 M10 보고서·XLSX·JSON 생성, 이력 비교

Phase 2를 먼저 내는 이유: 미기입 필드·결번·산출물 누락은 오탐이 없고 즉시 수정 가능하다. 본 세션에서 발견한 §4의 6건은 전부 Phase 2 범위이며, 제안서 제출 전 셀프체크만으로도 도구 값어치를 한다.


7. 알려진 한계

  1. 요약본과 본 제안서의 구분 — 도구는 입력 문서가 요약본인지 본 제안서인지 자동 판별할 수 없다. 사용자가 지정해야 하며, 요약본이면 모든 MISSING 판정이 INSUFFICIENT_EVIDENCE 로 강등된다.
  2. 의미적 동등성 — 제안서가 안내서와 다른 용어로 같은 절차를 기술한 경우(예: "개인정보 처리 현황 매핑" = 흐름표) 임베딩 매칭으로 상당수 잡히나 완전하지 않다. MISSING 판정은 사람 확인을 거쳐야 한다.
  3. 기준문서 해석 여지 — "충실히 작성되었는가"(체크리스트 3) 같은 정성 기준은 자동 판정 불가. 도구는 존재 여부까지만 판정하고 충실성은 사람에게 넘긴다.
  4. 개정 추종 지연 — 법령·고시는 수시 개정된다. M4-F05 버전 관리가 있어도 지식베이스 갱신 자체는 사람의 일이다.

부록 A. 현재 구현 자산

파일 상태 내용
tools/pdf2md.py 동작 확인 완료 M1-F02, M2-F01~F06 구현. 안내서 456쪽·RFP 81쪽 변환 검증
output/01_개인정보_영향평가_수행안내서(2025.10).md 완료 408,506자 / 456쪽
output/02_제안요청서-마사회.md 완료 73,475자 / 81쪽, 요구사항 정의서 표 전량 보존
output/03_제안서_발표자료-마사회.md 완료 50슬라이드 판독 전사 (M3 수작업 수행)
output/04_마사회_제안서_분석보고서.md 완료 V3 골든셋

부록 B. 용어

용어 설명
PIA Privacy Impact Assessment, 개인정보 영향평가
평가영역/분야/지표 안내서의 3단 평가체계 (5 / 28 / 121)
DoA Degree of Assurance, 수용 가능 위험 수준
Finding 도구가 산출하는 단일 지적사항
골든셋 도구가 재현해야 할 정답 Finding 집합
INSUFFICIENT_EVIDENCE 근거 부족으로 판정 보류 — MISSING과 엄격히 구분