문서 버전 v1.0 · 2026-08-04
목적 본 세션에서 수작업으로 수행한 「수행안내서 ↔ 마사회 제안서」 분석을 재현 가능한 도구로 구현하기 위한 기능 정의
코드명 PIA-Auditor (가칭)
기능 명세는 상상이 아니라 실제로 수행한 분석 절차를 그대로 분해해서 도출했다. 아래가 실행된 절차이며, 각 단계가 그대로 모듈이 된다.
| # | 실제 수행한 일 | 발생한 문제 | 도출된 모듈 |
|---|---|---|---|
| 1 | PDF 3종의 텍스트 레이어 유무 판별 | 발표자료 50쪽 전체가 이미지 → 텍스트 0자 | M1 수집·판별 |
| 2 | 텍스트 PDF → Markdown 변환 | 한글 PDF에서 띄어쓰기 전부 소실(정보보안및개인정보보호실태점검) |
M2 텍스트 정규화 |
| 3 | 제목 계층 복원 | 문서 전체 최빈 폰트가 표 글자(11pt)라 본문(15pt)이 전부 제목으로 승격됨 | M2 구조 복원 |
| 4 | 표 추출 | RFP 요구사항 정의서가 전부 표 → 표 손실 시 분석 불가 | M2 표 추출 |
| 5 | 이미지 슬라이드 판독 | OCR 미설치 → 렌더링 후 vision 판독 | M3 이미지 판독 |
| 6 | 안내서에서 평가체계 추출 | 121개 지표·12개 품질 체크리스트가 표로 흩어져 있음 | M4 기준 지식베이스 |
| 7 | RFP 요구사항 목록 추출 | CNR/PMR/QUR/COR/PSR/SER 6분류 42항목 | M5 요구사항 추출 |
| 8 | 제안서 ↔ RFP ↔ 안내서 3자 대조 | 수작업 대조는 누락 위험 | M6 커버리지 매핑 |
| 9 | 격차 판정 (§3.1~3.7) | 판정 근거를 매번 원문에서 다시 찾아야 함 | M7 룰 엔진 |
| 10 | 제안서 자체 품질 이슈 발견 (§4) | 0년0월, xxx, 0회, '12년말 등 |
M8 문서위생 검사 |
| 11 | 근거 추적표 작성 (§7) | 페이지 마커가 없으면 재확인 불가 | M9 근거 추적 |
| 12 | 보고서 생성 | — | M10 리포팅 |
설계 원칙 1 — 추적성 우선. 모든 변환 산출물은
<!-- page:N -->마커를 보존한다. 마커가 없으면 어떤 판정도 검증할 수 없고, 검증할 수 없는 판정은 컨설팅 산출물로 쓸 수 없다.설계 원칙 2 — 룰과 LLM의 역할 분리. 기계적으로 판정 가능한 것(요구사항 코드 누락, 미기입 필드, 산출물 대조)은 결정론적 룰로, 의미 판단이 필요한 것(방법론 정합성)은 LLM + 근거 인용 강제로 처리한다.
설계 원칙 3 — 미발견을 발견으로 위장하지 않는다. 판정은
PASS / FAIL / INSUFFICIENT_EVIDENCE3값이다. 요약본만 분석했는데 "누락"이라고 단정하면 오탐이 된다.
공공기관 개인정보보호 컨설팅 사업의 제안요청서·제안서·수행 산출물을, 개인정보보호위원회 『개인정보 영향평가 수행안내서』를 비롯한 준거 기준과 자동 대조하여 커버리지·방법론 정합성·문서 품질의 격차를 근거와 함께 리포팅하는 도구.
| 사용자 | 사용 시점 | 얻는 것 |
|---|---|---|
| 발주기관 사업담당자 | 제안서 평가 시 | 제안서별 커버리지 매트릭스, 방법론 격차 |
| 발주기관 검수담당자 | 중간·완료보고 시 | RFP 산출정보 대비 실제 산출물 대조표 |
| 컨설팅사 PM | 제안서 제출 전 | 자체 품질검토 (미기입·과거자료·누락 사전 탐지) |
| 컨설팅사 품질조직 | 산출물 납품 전 | 안내서 품질검토 체크리스트 12항목 자가진단 |
[입력] PDF/HWP/PPTX/XLSX
│
├─ M1 수집·판별 ──── 문서유형·텍스트레이어 판별 → 경로 분기
│ ├→ 텍스트 有 → M2 텍스트 정규화·구조복원·표추출
│ └→ 텍스트 無 → M3 렌더링 + 이미지 판독 → M2 후처리
│
├─ M4 기준 지식베이스 (안내서·고시·법령 → 지표 121 / 체크리스트 12)
├─ M5 요구사항 추출 (RFP → 요구사항 42항목 + 산출정보)
│
├─ M6 커버리지 매핑 (제안서 ↔ RFP ↔ 안내서 3자 대조)
├─ M7 룰 엔진 (방법론 정합성 룰 카탈로그 실행)
├─ M8 문서위생 검사 (미기입·과거일자·표기불일치)
│
├─ M9 근거 추적 (모든 Finding에 원문 위치 부착)
└─ M10 리포팅 (Markdown / XLSX / JSON)
| ID | 기능 | 상세 |
|---|---|---|
| M1-F01 | 문서 인입 | PDF, HWP, HWPX, PPTX, DOCX, XLSX 지원. 디렉터리 일괄 투입 |
| M1-F02 | 텍스트 레이어 밀도 판정 | 페이지당 추출 문자수를 계산. 평균 < 50자/쪽 이면 이미지 문서로 분류하고 M3로 분기 |
| M1-F03 | 문서 역할 자동 분류 | 기준문서(안내서/고시/법령) / 제안요청서(RFP) / 제안서 / 산출물 4종. 파일명 + 첫 3쪽 키워드로 분류하되 사용자 확인 필수(오분류 시 전체 분석이 뒤틀림) |
| M1-F04 | HWP 처리 | 텍스트 추출 실패 시 PDF 동반본 우선 사용, 없으면 변환 후 처리 |
판정 기준 근거: 본 세션에서 발표자료는 50쪽에 총 1,618자(평균 32자/쪽)로 이미지 문서였고, RFP는 81쪽 74,798자(평균 923자/쪽)로 텍스트 문서였다. 임계값 50은 이 관측에 기반한다.
이 모듈이 전체 분석 품질을 결정한다. 여기서 깨진 텍스트는 이후 모든 단계에서 복구되지 않는다.
문제: 상당수 한글 PDF는 공백 문자를 인코딩하지 않고 글자 위치로만 표현한다. 단순 추출 시 사업명:정보보안및개인정보보호실태점검·관리체계강화 처럼 붙어 나온다. 이 상태로는 키워드 매칭·LLM 판독 모두 실패한다.
알고리즘:
라인 내 글자들의 bbox 수집 (공백 문자 제외)
글자 폭의 중앙값 aw 계산
연속한 두 글자의 간격 gap > aw × 0.22 이면 공백 삽입
검증 결과: 사업명:정보보안및개인정보보호실태점검·관리체계강화 → 사업명 : 정보보안 및 개인정보보호 실태점검·관리체계 강화
문제: 제목이 사 업 명 처럼 자간이 벌어져 조판되면 F01이 글자마다 공백을 넣는다.
알고리즘: 한 글자 토큰이 4개 이상 연속하고 그중 3개 이상이 한글인 구간만 결합. (및 그 외 같은 정상 문장 파괴 방지 — 이 가드가 없으면 본문이 손상된다)
문제: 문서 전체의 최빈 폰트를 본문으로 잡으면, 표가 많은 문서에서 표 글자 크기가 본문으로 오인된다. 본 세션 RFP에서 실제로 발생: 전체 최빈 11.0pt(요구사항 정의서 표) vs 서술 본문 15.0pt → 본문 전체가 h3로 승격되어 문서가 제목 목록처럼 변했다.
해결: 텍스트 라인이 8개 이상인 페이지는 해당 페이지의 최빈 폰트 크기를 본문 기준선으로 사용한다. 라인이 적은 표지·간지는 문서 전체 기준선을 사용한다.
승격 규칙:
| 조건 | 레벨 |
|---|---|
| ^제N장, ^[ⅠⅡⅢ…], ^Part | H1 |
| ^제N절 | H2 |
| 크기비 ≥ 1.5 / ≥ 1.3 / ≥ 1.18 | H1 / H2 / H3 |
| 크기비 ≥ 1.05 + 굵기 + 40자 이하 | H3 |
| 굵기 + ^N. ^가. ^(N) + 40자 이하 | H4 |
| 60자 초과 또는 종결어미(~다./~음/~함)로 끝남 | 승격 금지 |
|는 이스케이프모든 페이지 경계에 <!-- page:N --> 를 삽입한다. 슬라이드 문서는 <!-- slide:N -->. M9 근거 추적의 유일한 기반이며, 생략 불가.
············)을 … 로 축약| ID | 기능 | 상세 |
|---|---|---|
| M3-F01 | 페이지 렌더링 | 110 dpi PNG 기본. A4 가로 슬라이드에서 표 내부 숫자까지 판독 가능함을 확인. 판독 실패 시 200 dpi 재시도 |
| M3-F02 | 판독 경로 선택 | ① OCR 엔진(한국어 학습모델) ② 비전 모델 판독 ③ 하이브리드. 본 세션은 OCR 부재로 ②를 사용했고, 표·조직도·타임라인의 구조 보존 품질이 OCR보다 우수했다 |
| M3-F03 | 판독 프롬프트 규격 | 슬라이드 1장 = Markdown 섹션 1개. 표는 GFM 표로, 프로세스 도해는 A → B → C 로, 판독 불가 영역은 (이미지) 로 명시 |
| M3-F04 | 판독 불확실성 표기 | 미세 문자·저해상 캡처는 임의 추정하지 않고 (판독 한계) 로 표기. 이 표기가 있는 구간에서 나온 Finding은 자동으로 INSUFFICIENT_EVIDENCE 로 강등 |
| M3-F05 | 텍스트 레이어 병합 | 이미지 슬라이드에도 페이지번호·머리말은 텍스트로 남아 있는 경우가 많다. 이를 판독 결과와 대조하여 슬라이드 번호 정합성 검증 |
기준문서를 구조화된 지식으로 변환한다. 매 분석마다 안내서를 다시 읽는 낭비를 없애는 것이 목적.
수행안내서 §Ⅱ-4.1(p.57~59)에서 다음 스키마로 추출한다.
- indicator_id: "3.1.1"
area: "3. 개인정보 처리단계별 보호조치" # 5개 평가영역
field: "3.1 수집" # 28개 평가분야
subfield: "개인정보 수집의 적합성"
question: "개인정보를 수집하는 경우 정보주체의 동의를 받거나…"
legal_basis: ["개인정보 보호법 제15조", "표준 개인정보 보호지침 제6조"]
mandatory: true # 법적 필수 여부
conditional_on: null # 예: "보유 10만명 이상", "공공시스템"
source: {doc: "guide-2025.10", page: 152}
10만명 이상 공공기관 → 안전성 확보조치 기준 제7조6항(암호키 관리)·제11조(재해재난), 공공시스템 → 제15~17조안내서 p.78~81의 12개 항목을 자가진단 룰로 변환. 이것이 M7 룰 엔진의 골격이다.
| No | 구분 | 검사 대상 |
|---|---|---|
| 1 | 영향평가서 필수사항 | 시행령 제38조제2항 4개 항목 포함 여부 |
| 2 | 투입인력 자격요건 | 자격증 + 경력 1년 + 전문교육 인증번호 3요건 |
| 3 | 흐름분석 식별성 | 총괄·업무별 개인정보흐름도 존재 |
| 4 | 흐름도 구체성 | 도형·색상 활용, 우려지점에 지표번호 표기 |
| 5 | 평가항목 최신성 | 최신 법령·고시 반영 |
| 6 | 평가항목 최적화 | 기관 특성·특정 IT기술 반영 |
| 7 | 점검 충실성 | 증적의 객관성·상세성 |
| 8 | 흐름분석 연계성 | 흐름도 식별 경로가 빠짐없이 점검되었는가 |
| 9 | 세부점검 누락 | 항목별 필수 세부점검 수행 |
| 10 | 인프라 영역 점검 | 응용시스템 외 서버·DBMS 점검 |
| 11 | 위험분석 합리성 | 위험도가 실질 위험 대변, 위반 조항·처벌 명기 |
| 12 | 개선방안 실질성 | Copy&Paste 지양, How-to 상세 제시 |
안내서의 단계별 필수 산출물을 등록.
- stage: "개인정보 흐름 분석"
guide_ref: {page: 34}
required_outputs:
- 개인정보 영향도 등급표
- 개인정보 처리업무표
- 개인정보 처리업무 흐름도
- 개인정보 흐름표
- 개인정보 흐름도
- 정보시스템 구조도
- formula_id: "risk_score"
expr: "영향도 + (발생가능성 × 법적준거성) × 2"
params:
영향도: {1등급: 5, 2등급: 3, 3등급: 1}
법적준거성: {법적_준수사항: 1.5, 법률_외_요건: 1.0}
guide_ref: {page: 66}
기준문서는 개정된다(안내서: '11.12 발간 → '17.12 → '18.4 → '20.12 → '24.4 → '25.10). 지식베이스는 버전 태그를 갖고, 개정 시 지표 diff(신설/삭제/변경)를 산출한다.
예: 2025.10 개정에서
5.7 인공지능(AI)신설 → 이 diff가 있으면 2025.10 이후 사업 제안서에 AI 평가항목이 없을 때 자동으로 Finding 발생. 본 세션 §3.5가 정확히 이 룰의 결과다.
| ID | 기능 | 상세 |
|---|---|---|
| M5-F01 | 요구사항 목록 파싱 | 분류 / 고유번호 / 요구사항 명칭 3열 표에서 전체 목록 추출. 코드 체계 자동 인식(CNR-001, PMR-001, QUR, COR, PSR, SER …) |
| M5-F02 | 상세 요구사항 파싱 | 요구사항 정의서 표에서 정의 / 세부내용 / 산출정보 추출 |
| M5-F03 | 번호 연속성 검사 | 목록에 CNR-001~017 이 있는데 본문 정의서에 CNR-012가 없으면 경고. 본 세션에서 제안서 매핑표의 CNR-012 누락을 잡아낸 룰 |
| M5-F04 | 산출정보 정규화 | 산출정보 필드를 산출물 목록으로 분해. M6-F03 산출물 대조의 기준이 됨 |
| M5-F05 | 인력·자격 요건 추출 | PMR에서 PM 자격, 상주 요건, 경력 요건, M/M 요건 추출 |
| M5-F06 | 평가배점 추출 | 기술평가 배점표에서 정량 요건 추출(예: 영향평가기관 지정 여부 4점) |
이 모듈이 도구의 핵심 산출물을 만든다.
각 RFP 요구사항에 대해 제안서에서 대응 구간을 찾아 판정한다.
| 판정 | 조건 |
|---|---|
COVERED |
대응 섹션이 존재하고 세부내용의 핵심 요소를 다룸 |
PARTIAL |
언급은 있으나 세부내용 일부만 대응 |
MISSING |
대응 구간 없음 |
INSUFFICIENT_EVIDENCE |
요약본만 분석했거나 판독 한계 구간 |
매칭 방식: ① 요구사항 명칭 정확 일치 → ② 세부내용 키워드 집합 유사도 → ③ 임베딩 유사도 상위 후보를 LLM이 판정. 모든 판정에 제안서 슬라이드/페이지 번호 인용을 강제한다.
RFP 요구사항이 안내서 5개 평가영역 중 어디에 해당하는지 매핑하여, "안내서 기준으로 봤을 때 이 RFP가 비워둔 영역" 을 산출한다.
본 세션 결과: 영역 1~3은 CNR-011/014/015가 커버, 영역 4는 CNR-012가 얇게 커버, 영역 5는 대응 요구사항 자체가 없음 → §2 매핑표.
RFP 산출정보 × 제안서 산출물 목록 × 실제 납품 산출물 3자 대조표.
본 세션 결과: RFP는 CNR-015/016/017 산출정보를 상세히 규정(위탁 실태점검 이행실적 증빙, 교육 동영상, 카드뉴스 15종, 퀴즈 10문항, X배너 등)했으나 제안서 슬라이드 44 산출물 목록에는 3개 과업 산출물이 누락 → §4-4.
RFP 인력 요건 vs 제안서 투입인력표.
ISMS-P 심사원 or PIA 자격)최소 1명 이상 주3일 이상, 사업총괄책임자 사업기간 내 상주)PM은 평가기관 소속만 가능, 프리랜서·타사 인력 50% 미만, 평가수행 인력 상주 / 품질관리 담당자만 비상주 가능(안내서 p.25, p.28)M4 지식베이스를 근거로 실행되는 룰 카탈로그. 각 룰은 id / 근거 / 검사 / 판정 / 심각도 / 권고 를 갖는다.
| 룰 ID | 검사 내용 | 근거 | 심각도 | 본 세션 발화 |
|---|---|---|---|---|
R-FLOW-01 |
개인정보 흐름표·흐름도가 산출물 목록에 존재하는가 | 안내서 p.34, 체크리스트 3 | 높음 | ● §3.1 |
R-FLOW-02 |
흐름도상 우려지점에 지표번호가 표기되는가 | 체크리스트 4 | 중 | ○ 확인필요 |
R-FLOW-03 |
흐름분석에서 식별된 모든 경로가 점검 범위에 포함되는가 | 체크리스트 8 | 높음 | ○ (선행조건 미충족) |
R-RISK-01 |
침해요인 도출 단계가 절차에 존재하는가 | 안내서 p.65 | 높음 | ● §3.2 |
R-RISK-02 |
위험도 산식에 법적 준거성 가중치가 포함되는가 | 안내서 p.66~67 | 높음 | ● §3.3 |
R-RISK-03 |
법령 위반 침해요인에 위반 조항·처벌이 기재되는가 | 체크리스트 11 | 중 | ● §3.2 |
R-IND-01 |
평가지표 모수와 추가·삭제 대조표가 제시되는가 | 안내서 p.74 | 중 | ● §3.4 |
R-IND-02 |
4단계 판정(Y/P/N/N-A) 체계를 사용하는가 | 안내서 p.60 | 중 | ○ 확인필요 |
R-IND-03 |
기준문서 최신 개정 신설 분야가 반영되었는가 (M4-F05 diff 연동) | 안내서 개정이력 | 높음 | ● §3.5 (AI) |
R-DOMAIN-01 |
기관 특성 지표 자동 제안 — 기관 속성에서 필수 평가분야 역추론 | 체크리스트 6 | 높음 | ● §3.5 (위치정보·CCTV) |
R-IMPL-01 |
개선사항 이행점검 구간이 일정에 배정되었는가 | 안내서 p.86~87 | 높음 | ● §3.6 |
R-IMPL-02 |
개선계획에 담당부서·수행시기·지표코드가 포함되는가 | 안내서 p.69~71 | 중 | ○ 확인필요 |
R-METH-01 |
개인정보 과업에 개인정보 전용 방법론이 적용되는가 | 안내서 전반 | 높음 | ● §3.7 (C.PIAM 미적용) |
R-SCOPE-01 |
영향평가 의무대상 판단(5만/50만/100만 조건)이 수행되었는가 | 안내서 p.10~11 | 높음 | ● §0.2 |
R-SCOPE-02 |
컨설팅 사업 포함 발주 시 영향평가 비용 분리·독립성 확보 | 안내서 p.25 | 높음 | ● 권고8 |
R-HR-01 |
투입인력 PIA 인증번호 보유 확인 절차가 있는가 | 체크리스트 2, 안내서 p.25 | 중 | — |
기관 속성으로부터 반드시 점검되어야 할 평가분야를 역추론한다. 본 세션에서 위치정보·CCTV 누락을 잡아낸 룰이며, 사람이 놓치기 가장 쉬운 유형이다.
| 탐지 신호 (문서 내 근거) | 추론되는 필수 평가분야 |
|---|---|
| "위치정보사업자" 언급 | 5.4 위치정보 |
| 수탁사 업무에 "영상정보처리기기 설치 및 운영" | 5.1 고정형 영상정보처리기기 (+ 설치·관리 위탁) |
| "생체인식", "지문", "안면인식" | 5.3 생체인식정보 |
| "가명처리", "결합", "데이터 개방" | 5.5 가명정보 |
| "AI", "머신러닝", "자동 심사/추천" | 5.6 자동화된 결정, 5.7 인공지능(AI) |
| "채용", "입사지원" | 3.2 보유 + 「채용절차의 공정화에 관한 법률」 제11조 (180일) |
| "10만명 이상" / "공공시스템 목록 등재" | 안전성 확보조치 기준 제7조6항·제11조 / 제15~17조 |
핵심: 신호는 제안서 자신의 실적·수탁사 목록에서도 추출한다. 본 세션에서 위치정보 신호는 제안사가 자기 실적으로 적은
한국마사회 위치정보사업자 정기실태점검 대비 사전 컨설팅(25.04~25.05)에서 나왔다. 제안사가 그 사실을 알면서 과업에 반영하지 않은 것이므로 지적의 설득력이 매우 높다.
LLM 없이 정규식·구조 검사만으로 판정 가능한 항목. 오탐이 거의 없고 즉시 수정 가능하여 실무 효용이 가장 크다.
| 룰 ID | 패턴 | 본 세션 발화 |
|---|---|---|
H-01 미기입 플레이스홀더 |
0년0월, xxx, XXX, ○○○, TBD, N/A 가 표의 동일 열 전체에 반복 |
● 수탁사 18개사 전부 (§4-1) |
H-02 정량 약속 0값 |
0회, 0건, 0명, (협의필요), (추후협의) |
● 교육 0회(협의필요) (§4-3) |
H-03 과거 일자 재사용 |
문서 작성연도 대비 3년 이상 과거의 이행 시한 표기 | ● '12년 12월까지, '13년 말까지 (§4-2) |
H-04 요구사항 코드 결번 |
코드 시퀀스의 빈 구간 | ● CNR-012 누락 (§4-5) |
H-05 목차 ↔ 본문 불일치 |
목차 장 수 ≠ 본문 간지 수 | ● 5 vs 6 챕터 (§4-6) |
H-06 인명·직급 표기 불일치 |
유사 인명(편집거리 ≤ 1) 간 직급 상충 | ● 전○찬 주임 / 전△찬 선임 (§4-6) |
H-07 일정 상충 |
동일 과업의 절대일정(월)과 상대일정(M+n)이 불일치 | ● 보호수준 평가 7~9월 vs M+4~M+5 (§4-7) |
H-08 M/M 검산 |
개별 M/M 합 ≠ 합계 표기 | ○ 정상(21.0) |
H-09 산출물 상호참조 |
과업 목록에 있으나 산출물 목록에 없는 과업 | ● 위탁점검·교육·캠페인 3건 (§4-4) |
H-10 타기관명 잔존 |
발주기관 외 기관명이 본문 서술에 등장(템플릿 재사용 흔적) | — |
| ID | 기능 |
|---|---|
| M9-F01 | 모든 Finding에 {doc, page/slide, quote} 부착. 인용문 없는 Finding은 생성 거부 |
| M9-F02 | 원문 역참조 링크 생성 — 04_보고서.md#F-031 ↔ 02_RFP.md p.14 |
| M9-F03 | 근거 추적표 자동 생성 (본 세션 §7과 동일 형식) |
| M9-F04 | 인용 검증 — 인용문이 변환 산출물에 실제 존재하는지 문자열 대조. 불일치 시 Finding 폐기 (환각 차단) |
| 형식 | 용도 |
|---|---|
| Markdown | 사람이 읽는 분석보고서 (본 세션 04_...md 형태) |
| XLSX | 커버리지 매트릭스 / Finding 목록 / 산출물 대조표 (검수 실무용) |
| JSON | 후속 도구 연계, 이력 비교 |
{
"id": "F-031",
"rule_id": "R-METH-01",
"severity": "HIGH",
"verdict": "FAIL",
"title": "개인정보 영향평가 방법론(C.PIAM)을 보유했으나 본 사업에 미적용",
"evidence": [
{"doc": "03_제안서_발표자료", "slide": 23,
"quote": "C.PIAM Privacy Impact Assessment Methodology 개인정보영향평가 방법론"}
],
"criterion": {"doc": "guide-2025.10", "ref": "§Ⅱ 전반"},
"impact": "개인정보 과업이 정보보안 방법론으로 처리되어 흐름분석·침해요인·법적준거성 가중치가 파이프라인에 부재",
"recommendation": "CNR-011~015에 C.PIAM 병행 적용. 보유 자산이므로 추가 비용 없음",
"confidence": 0.9
}
0. 분석의 전제와 한계 ← 필수. 요약본 분석 여부·판독 한계 명시
1. 종합 판정 (축별 등급)
2. 커버리지 매핑
3. 방법론 격차 (룰별 상세)
4. 문서 위생 이슈
5. 강점 ← 필수. 결함만 나열하면 의사결정에 못 씀
6. 권고사항 (우선순위)
7. 근거 추적표
§5 "강점" 섹션은 선택이 아니라 필수다. 결함만 나열된 보고서는 "이 제안사를 쓸 것인가"라는 실제 의사결정에 답하지 못한다. 본 세션에서 제안사의 PIA 인력 풀 52명·영향평가기관 지정·선행사업 연속성이 강점 섹션에 없었다면, 권고 1번("보유한 C.PIAM을 적용하라 — 추가 비용 없음")이라는 가장 실행 가능한 권고가 도출되지 않았을 것이다.
| 등급 | 정의 |
|---|---|
CRITICAL |
법적 의무 미이행 — 과태료·처분 대상 |
HIGH |
안내서 필수 절차·산출물 부재로 결과물 신뢰성 훼손 |
MEDIUM |
품질 저하, 검수 단계에서 분쟁 소지 |
LOW |
표기·편집 오류 |
Document ─┬─ id, role(기준/RFP/제안서/산출물), version, pages
└─ Page ─┬─ number, text_md, tables[], render_path
└─ Block ─ type(heading/para/list/table), level, bbox, text
Criterion ─┬─ Indicator (121) : area, field, subfield, question, legal_basis, mandatory
├─ QualityCheck (12): category, question, evidence_doc
├─ StageOutput : stage, required_outputs[]
└─ Formula : expr, params
Requirement ─ code, category, name, definition, details[], outputs[], source_ref
Finding ─ id, rule_id, severity, verdict, title, evidence[], criterion, impact,
recommendation, confidence
CoverageCell ─ requirement_code × proposal_section → verdict, evidence[]
| 구분 | 요구 |
|---|---|
| 정확성 | 인용 검증(M9-F04) 실패 Finding은 자동 폐기. 환각 인용 0건이 합격 기준 |
| 재현성 | 동일 입력 → 동일 Finding 집합. 프롬프트·룰·지식베이스·모델 ID 버전 고정. ⚠️ 온도 0으로 재현성을 확보할 수 없다 — Claude Opus 5 / Sonnet 5는 temperature·top_p·top_k를 아예 거부한다(400). 재현성은 샘플링이 아니라 구조화 출력(JSON 스키마 강제) + 인용 검증 + 골든셋 회귀로 확보한다. 상세: 06_기술스택선정_및_개발기획서.md §4.6 |
| 추적성 | 100% Finding이 원문 위치를 가짐. 예외 없음 |
| 보안 | 입력 문서에 개인정보·미공개 사업정보가 포함된다. 로컬 처리 기본, 외부 API 전송 시 사전 동의 및 전송 항목 로깅. 렌더링 이미지는 처리 후 파기 |
| 성능 | 텍스트 500쪽 5분 이내. 이미지 문서는 판독 경로 특성상 별도 산정 |
| 확장성 | 기준문서 추가(보호수준 평가 편람, ISMS-P 인증기준, 안전성 확보조치 기준)를 지식베이스 등록만으로 지원 |
| 국제화 | 한국어 우선. 한글 조판 특성(띄어쓰기 소실·자간 벌림) 처리는 핵심 기능이지 부가 기능이 아니다 |
| 단계 | 방법 | 합격 기준 |
|---|---|---|
| V1. 변환 정확도 | 텍스트 PDF 10건 샘플링, 문단 100개 육안 대조 | 띄어쓰기 복원 정확도 ≥ 95%, 표 셀 손실 0 |
| V2. 지식베이스 완전성 | 안내서 121개 지표 전수 대조 | 지표 수·영역·분야 100% 일치 |
| V3. 룰 재현성 | 본 세션 분석 결과를 골든셋으로 사용 | §3·§4의 13개 Finding을 룰 엔진이 재현 |
| V4. 오탐률 | 준거성 양호한 제안서 5건 투입 | HIGH 이상 오탐 ≤ 1건/건 |
| V5. 근거 무결성 | 전체 Finding 인용문 문자열 대조 | 불일치 0 |
V3의 골든셋이 이 도구의 존재 근거다. 본 세션에서 사람이 찾아낸 13개 Finding(§3.1~3.7 방법론 격차 7건, §4 문서 위생 6건 + 확인필요 1건)을 도구가 자동 재현하지 못하면 도구를 쓸 이유가 없다.
| 단계 | 범위 | 산출 |
|---|---|---|
| Phase 1 — 변환 기반 | M1, M2, M9-F01 | 페이지 마커 보존 Markdown 변환기. 본 세션에서 tools/pdf2md.py 로 이미 구현 완료 |
| Phase 2 — 결정론 검사 | M5, M8, M6-F03/F04 | 요구사항 추출 + 문서 위생 10룰 + 산출물·인력 대조. LLM 없이 동작하며 실무 효용 즉시 발생 |
| Phase 3 — 지식베이스 | M4 | 안내서 121지표 + 체크리스트 12 + 절차·산식 카탈로그 |
| Phase 4 — 룰 엔진 | M7, M6-F01/F02 | 방법론 정합성 16룰. R-DOMAIN-01 우선 구현(효용 최대) |
| Phase 5 — 이미지 판독 | M3 | 슬라이드 문서 지원 |
| Phase 6 — 리포팅 | M10 | 보고서·XLSX·JSON 생성, 이력 비교 |
Phase 2를 먼저 내는 이유: 미기입 필드·결번·산출물 누락은 오탐이 없고 즉시 수정 가능하다. 본 세션에서 발견한 §4의 6건은 전부 Phase 2 범위이며, 제안서 제출 전 셀프체크만으로도 도구 값어치를 한다.
MISSING 판정이 INSUFFICIENT_EVIDENCE 로 강등된다.MISSING 판정은 사람 확인을 거쳐야 한다.| 파일 | 상태 | 내용 |
|---|---|---|
tools/pdf2md.py |
동작 확인 완료 | M1-F02, M2-F01~F06 구현. 안내서 456쪽·RFP 81쪽 변환 검증 |
output/01_개인정보_영향평가_수행안내서(2025.10).md |
완료 | 408,506자 / 456쪽 |
output/02_제안요청서-마사회.md |
완료 | 73,475자 / 81쪽, 요구사항 정의서 표 전량 보존 |
output/03_제안서_발표자료-마사회.md |
완료 | 50슬라이드 판독 전사 (M3 수작업 수행) |
output/04_마사회_제안서_분석보고서.md |
완료 | V3 골든셋 |
| 용어 | 설명 |
|---|---|
| PIA | Privacy Impact Assessment, 개인정보 영향평가 |
| 평가영역/분야/지표 | 안내서의 3단 평가체계 (5 / 28 / 121) |
| DoA | Degree of Assurance, 수용 가능 위험 수준 |
| Finding | 도구가 산출하는 단일 지적사항 |
| 골든셋 | 도구가 재현해야 할 정답 Finding 집합 |
| INSUFFICIENT_EVIDENCE | 근거 부족으로 판정 보류 — MISSING과 엄격히 구분 |