웍스AI 인공지능 영향평가서
작성일: 2025년 12월 9일
작성자: 웍스AI 안전성/윤리 위원회
대상 시스템: 웍스AI (정부/공공용)
1. 개요 및 평가 배경
본 평가는 ｢인공지능 발전과 신뢰 기반 조성 등에 관한 기본법｣ 및 동법 시행령, 관련 고시/가이드라인에 따라, 당사가 제공하는 '웍스AI' 서비스가 공공부문에 도입됨에 따라 발생할 수 있는 잠재적 위험과 영향을 식별하고, 이에 대한 관리 및 완화 방안을 수립하기 위함입니다.
2. 고영향 AI 해당 여부 확인
[근거: 고영향AI 확인 가이드라인]
판단 기준: 인공지능이 활용되는 영역과 그로 인한 영향(위험) 수준을 종합 고려
해당 영역: 제9호 (공공서비스)
사유: '웍스AI'는 공공기관의 업무 효율화를 위해 도입되는 인공지능 포털로, 공무원의 의사결정 지원, 민원 응대 초안 작성, 법령 검색 등을 수행하므로 공공서비스의 품질과 국민의 권익에 영향을 미칠 수 있음.
영향 및 중대성:
공공행정의 신뢰성 및 공정성에 영향을 줄 수 있으며, 잘못된 정보 생성(Hallucination) 시 행정 착오를 유발할 위험이 존재함.
결론: 고영향 AI로 분류하고 이에 따른 사업자 책무를 이행함.
3. AI 영향평가 상세 내용
[근거: AI 영향평가 가이드라인의 7대 항목]
① 영향받는 자 식별
직접 사용자: 웍스AI를 업무 보조 도구로 사용하는 공공기관 임직원 (공무원 등).
간접 영향자: 공공기관의 행정 서비스 및 처분을 받는 일반 국민(민원인).
위험 시나리오: AI가 생성한 잘못된 법령 해석이나 민원 답변을 담당 공무원이 검증 없이 사용하여 국민에게 잘못된 정보를 제공하는 경우.
② 관련 기본권 유형 식별
AI 시스템의 오작동 또는 편향성으로 인해 침해될 수 있는 헌법상 기본권:
평등권: AI 모델이 특정 집단(성별, 지역 등)에 편향된 데이터를 학습하여 차별적인 민원 답변이나 정책 초안을 생성할 가능성.
적법절차의 원칙(행정의 투명성): AI의 '블랙박스' 특성으로 인해 행정 행위의 구체적 근거를 설명하기 어려운 경우.
사생활의 비밀과 자유: 공공 데이터 처리 과정에서 개인정보(PII)가 AI 모델에 노출되거나 학습될 위험.
③ 사회·경제적 영향 내용 및 범위
긍정적 영향: 공공 업무의 단순 반복 작업 자동화로 행정 효율성 증대, 대국민 서비스 응답 속도 개선.
부정적 영향:
의존성 심화: AI 판단에 대한 담당자의 과도한 의존으로 인한 인간의 검토(Human-in-the-loop) 소홀.
책임 소재 불명확: AI 오류로 인한 행정 사고 발생 시 책임 소재 규명의 어려움.
④ 사용행태 분석
사용 목적: 문서 요약, 보도자료 초안 작성, 법령/규정 검색 및 질의응답(RAG 기반).
예상되는 오남용:
보안 등급이 높은 비공개 문서를 AI 포털에 업로드하여 요약 요청(데이터 유출).
AI가 생성한 텍스트를 사실 확인 없이 그대로 공문서로 발송.
⑤ 평가지표 활용
위험 수준을 정량/정성적으로 측정하기 위한 지표 설정:
정확성: RAG(검색 증강 생성) 답변의 사실 부합 여부 (Hallucination 비율).
공정성: 민감 주제(성별, 정치 등)에 대한 답변 편향성 테스트 점수.
견고성: 악의적인 프롬프트(Jailbreaking 시도)에 대한 방어율.
⑥ 위험예방 및 손실복구 등에 관한 사항
[핵심 조치 사항]
기술적 조치:
할루시네이션 최소화: RAG 기술 적용 시, 답변의 근거가 되는 원문 출처를 반드시 명시.
필터링 시스템: 비속어, 차별적 표현, 개인정보 포함 입력값에 대한 입/출력 필터링 적용.
절차적 조치:
사람의 개입 필수화: "AI의 답변은 참고용이며, 최종 의사결정 및 배포 전 반드시 담당자의 검토를 거쳐야 함"을 UI 상단에 상시 고지.
이용자 교육: 공공기관 사용자를 대상으로 AI 윤리 및 보안 교육 의무화.
손실 복구:
AI 오류로 인한 민원 발생 시 신속 대응을 위한 고객센터 채널 운영.
⑦ 개선계획
정기 모니터링: 월 1회 AI 답변 품질 및 편향성 점검 실시.
이력 관리: [문서 작성·보관 의무]에 따라 주요 위험 평가 결과 및 조치 이력을 3년간 보관.
Last updated