장애 대응 내역
2025.08.19 - 장애 발생 및 대응 리포트
1. 현상: 비서에 파일 신규 추가가 안되거나 첨부된 파일 내용을 못불러오는 문제 발생
2. 진행 상황:
[최초 보고] 고객사로부터 의심 증상 접수 (8/19 오후 02:10)
[웍스AI 장애 선언] 현재 OpenAI 장애 발생으로 비서에 첨부된 파일 내용에 대해 질문시 파일 내용을 불러오지 못하는 현상이 발생하고 있습니다. 문제 해결되는대로 공지드리겠습니다. (8/19 오후 04:00)
[OpenAI 장애 선언] 장애 발생 12시간여 만에 장애 선언 (8/20 오전 01:43)
[해결] 장애 해결 선언 (8/20 오전 06:42)
[공지] 문제 해결 확인 후 장애 해결 공지 (8/20 오전 09:10)
2025.08.07 - 장애 발생 및 대응 리포트
1. 현상: 비서에 파일 업로드가 안되거나 업로드가 되어도 인식을 못하는 문제 발생
2. 진행 상황:
현재 OpenAI 장애 의심되어 확인중에 있습니다. 추가 파악되는대로 다시 안내드리겠습니다. (8/7 오전 11:57)
OpenAI 장애로 확인되어 현재 첨부파일이 존재하는 비서의 추가 및 수정, 대화 중 파일 업로드가 불가합니다. 해결되는대로 다시 안내드리겠습니다. (8/7 오후 04:04)
OpenAI 장애 해결되어 현재 모든 서비스 정상으로 돌아왔습니다. (8/8 오전 11:40)
2025.06.16 - 장애 발생 및 대응 리포트
1. 현상: 서비스 이용이 전반적으로 느려지는 현상 발생 (해결 완료)
2. 보고 및 대응 내역:
15:17 - 고객 제보 최초 확인
15:18 - 개발팀 내부 보고
15:19 - 문제 확인 및 접수
15:40 - 문제 해결
16:40 - 1시간 동안 안정화 여부 모니터링한 후 장애 해결 선언
3. 문제 발생 원인
웍스AI 서비스 메인에서 자주 호출하는 API에 대해 최적화되지 않은 쿼리가 있었고, 오늘 사용 고객사 증가로 트래픽이 몰리며 해당 쿼리에 병목이 발생해 DB에 부하가 심해져 서비스 지연이 발생한 것으로 파악되었습니다.
4. 해결책
쿼리 최적화를 진행하여 DB 부하를 줄여 서비스를 정상화 했습니다.
5. 재발 방지 대책
서비스에서 호출하는 API 쿼리에 대한 전반적인 성능 점검 및 주기적인 테스트를 통해 향후 트래픽이 증가해도 서비스가 지연되는 일이 없도록 개선할 계획입니다.
서비스 이용에 불편을 드려 대단히 죄송합니다. 감사합니다.
Last updated