장애 대응 내역

2025.12.23

1. 장애 현상: Google Gemini 3 Pro 모델과 대화시 추론 토큰만 보이는 현상 발생

2. 진행 경과

[최초 보고]

고객사로부터 최초 보고 (오전 10시)

[원인 파악]

원인은 Google에서 간밤에 모델 API 일부를 업데이트를 했는데 여기서 연쇄적으로 발생한 문제로 확인되어 확인 중에 있습니다.

[진행 경과]

해결되는대로 다시 안내드리겠습니다. 우선은 Gemini 3 Pro 모델과의 대화를 자제해 주시기 바랍니다.

이는 웍스AI 문제가 아닌 구글의 일방적인 업데이트로 인해 발생한 문제로, 본의 아니게 서비스 이용에 불편을 드리게 되어 죄송합니다.

해결되는대로 다시 업데이트 드리겠습니다.

[원인 보고]

간밤에 구글이 Gemini 3 Pro 모델을 예고 없이 업데이트 하면서 모델의 응답 양상이 완전히 변경되었습니다.

모델이 사람이 아닌 기계가 알아보는 형태로 응답하려는 경향이 커졌고, 이로 인해 웍스AI가 구현해 놓은 도구 사용시 장애가 생겼습니다. 일반 대화 또한 무조건 구조화된 응답(Structured output)을 반환하였습니다.

[해결 방법]

우선 임시로 Gemini 3 Pro 모델 호출을 위해 일부 도구(출처 표기 도구) 호출을 비활성화 했습니다.

또한 스트리밍 출력을 중단하고 모델 답변이 모두 완료된 후에 사용자에게 표시하도록 했습니다. 그리고 모델에게 고정된 응답 양식을 강제(무조건 사람이 알아보는 형태의 답변을 시스템 프롬프트에서 강제)하는 방식으로 임시 해결했습니다.

하지만 아직 완벽히 문제가 해결된 것이 아닙니다. 현재 Gemini 3 Pro 모델이 이상하게 업데이트 된 것이 원인이므로, 계속 구글의 대응을 예의주시하며 해결해 가도록 하겠습니다.

[해결 완료]

Google 업데이트로 인한 문제, 패치로 모두 해결 완료되었습니다. (24일 18:30)

2025.12.04

1. 장애 현상: 공공 서버(https://gov.wrks.ai)에서 로그인이 안되거나 흰 화면만 나오는 문제 발생

2. 진행 경과

[최초 보고] 고객사로부터 의심 증상 접수 (12/04 목 오후 4:05)

[반복 보고] 다수의 고객사로부터 지속 장애 증상 접수 (12/04 목 오후 4:10)

[웍스AI 장애 선언] 공공 서버 접속 불가 장애 발생. 현재 원인 파악중이며, 문제 해결되는대로 후속 안내드리겠습니다. 이용에 불편을 드려 대단히 죄송합니다. (12/04 목 오후 4:11)

[1차 해결] 현재 임시 조치로 접속 및 이용 재개되었습니다. 하지만 재발 가능성 존재해 원인 분석 중에 있습니다. 완전 해결 후 다시 안내드리겠습니다. (12/04 목 오후 4:44)

2025.11.26

1. 현상: [업무 비서] 메뉴에서 대화 중 "OpenAI 문제로 AI와의 통신에 문제가 발생했다"는 오류 표출

2. 진행

[최초 보고] 고객사로부터 의심 증상 접수 (11/25 화 오후)

[반복 보고] 다수의 고객사로부터 지속 장애 증상 접수 (11/26 수 오전 10시)

[웍스AI 장애 선언] OpenAI Assistants API 스트리밍 출력 장애 확인 후 OpenAI사에 보고 완료 (11/26 오전 11시)

안타깝게도 OpenAI가 해결해 줄 때까지 당장 해결할 수 있는 방법이 없습니다. 계속 OpenAI에 보고해 문제가 해결될 수 있도록 노력하겠습니다.

[모니터링] 현재는 OpenAI에서 해당 장애 지속되지 않는 것으로 보여 이슈 종결합니다. (12/01 오후 7시)

2025.09.11

1. 현상: 파일을 참고해 대답하는 비서가 답변시 파일을 제대로 참고하지 못하는 현상 발생

2. 진행

[최초 보고] 고객사로부터 의심 증상 접수 (9/9 화)

[OpenAI 장애 선언] 파일 검색 기능 성능 저하 현상 인지 (9/10 수 오후 06:17)

[OpenAI 장애 업데이트] 원인 파악중 (9/11 오전 10:13)

[웍스AI 장애 선언] 파일 검색 기능 성능 저하 공지 (9/11 목 오후 01:13)

[OpenAI 장애 업데이트] 상세 문제 내용 및 해결책 (9/11 목 오후 04:50)

9월 10일 (수) 저녁 7시 17분부터 9월 11일 (목) 오후 4시 (한국시간 기준) 사이에 추가된 파일의 검색 품질에 문제가 발생할 수 있습니다. 해당 문제는 곧 해결될 예정입니다.

임시 해결책으로는, 문제가 발생한 파일을 비서에서 제거한 후 다시 추가하시기 바랍니다. 해당 파일을 제외한 다른 파일의 경우 정상적으로 작동하고 있습니다.

2025.08.19 - 장애 발생 및 대응 리포트

1. 현상: 비서에 파일 신규 추가가 안되거나 첨부된 파일 내용을 못불러오는 문제 발생

2. 진행 상황:

[최초 보고] 고객사로부터 의심 증상 접수 (8/19 오후 02:10)

[웍스AI 장애 선언] 현재 OpenAI 장애 발생으로 비서에 첨부된 파일 내용에 대해 질문시 파일 내용을 불러오지 못하는 현상이 발생하고 있습니다. 문제 해결되는대로 공지드리겠습니다. (8/19 오후 04:00)

[OpenAI 장애 선언] 장애 발생 12시간여 만에 장애 선언 (8/20 오전 01:43)

[해결] 장애 해결 선언 (8/20 오전 06:42)

[공지] 문제 해결 확인 후 장애 해결 공지 (8/20 오전 09:10)

2025.08.07 - 장애 발생 및 대응 리포트

1. 현상: 비서에 파일 업로드가 안되거나 업로드가 되어도 인식을 못하는 문제 발생

2. 진행 상황:

현재 OpenAI 장애 의심되어 확인중에 있습니다. 추가 파악되는대로 다시 안내드리겠습니다. (8/7 오전 11:57)

OpenAI 장애로 확인되어 현재 첨부파일이 존재하는 비서의 추가 및 수정, 대화 중 파일 업로드가 불가합니다. 해결되는대로 다시 안내드리겠습니다. (8/7 오후 04:04)

OpenAI사가 장애 발생 24시간만에 장애를 공식 선언하고 현재 문제 해결중이라고 합니다. 장애 해결되는대로 다시 공지드리겠습니다. 타사 장애로 웍스AI 이용에 불편을 드리게 되어 대단히 송구합니다. (8/8 오전 08:45)

OpenAI 장애 해결되어 현재 모든 서비스 정상으로 돌아왔습니다. (8/8 오전 11:40)

2025.06.16 - 장애 발생 및 대응 리포트

1. 현상: 서비스 이용이 전반적으로 느려지는 현상 발생 (해결 완료)

2. 보고 및 대응 내역:

• 15:17 - 고객 제보 최초 확인

• 15:18 - 개발팀 내부 보고

• 15:19 - 문제 확인 및 접수

• 15:40 - 문제 해결

• 16:40 - 1시간 동안 안정화 여부 모니터링한 후 장애 해결 선언

3. 문제 발생 원인

웍스AI 서비스 메인에서 자주 호출하는 API에 대해 최적화되지 않은 쿼리가 있었고, 오늘 사용 고객사 증가로 트래픽이 몰리며 해당 쿼리에 병목이 발생해 DB에 부하가 심해져 서비스 지연이 발생한 것으로 파악되었습니다.

4. 해결책

쿼리 최적화를 진행하여 DB 부하를 줄여 서비스를 정상화 했습니다.

5. 재발 방지 대책

서비스에서 호출하는 API 쿼리에 대한 전반적인 성능 점검 및 주기적인 테스트를 통해 향후 트래픽이 증가해도 서비스가 지연되는 일이 없도록 개선할 계획입니다.

서비스 이용에 불편을 드려 대단히 죄송합니다. 감사합니다.