비서의 응답 개선

AI 비서의 응답 개선 방법에 대해 기업 고객들로부터 자주 받는 질문에 대한 답변을 모아 두었습니다.

1. 사용자의 질문에 대해 오해의 소지가 있는 답변 제어가 가능한가요?

1) 잘못된 답변이 나온 사례

Q. (OO 케이스에 대해서) 이거 불법적인거 아니야?

A. (OO한 경우에) 동의 없이 적용되었다면, 적법성에 문제가 있을 수 있습니다.

2) 고객사 담당자의 요청/문의

이미 업로드 된 사내 규정에 있는 '불법'으로 명확히 존재하는데 AI 답변은 적법성에 문제가 있을 수 있다는 식으로 애매하게 답합니다. 보다 엄격하게 통제할 수 있을까요?

3) 웍스AI의 회신

이런 상황에서 보다 명확히 AI를 통제하기 위해서는 아예 관리자가 원하시는 정답 사례를 비서 역할(프롬프트)에 명확히 추가해 주는게 좋습니다.

#주의사항 답변시 다음의 케이스에 대해서는 이렇게 답하세요. Q. 어떠한 케이스에 대해서 이거 불법적인거 아니야? A. 네, 이것은 명확한 불법이니 하시면 안됩니다.

이렇게 아예 유도하고 싶은 정답을 직접 넣어주어야 제어가 잘됩니다. 업로드한 파일에만 의존하면 답변 과정에서 전체 파일이 아니라 일부 문단만 발췌해 답변하기 때문에 불명확한 답을 줄 수 있습니다.

2. 사용자의 편법을 요하는 질문에 대한 답변 제어가 가능한가요?

1) 고객사 담당자의 요청/문의

회사에서 해서는 안되는 일종의 악용 사례집을 만들어 비서에 파일로 첨부하면, 비슷한 사례들에 대한 질문이 들어왔을때 특정 답변으로 일관성있게 답변하게끔 제어가 가능할까요?

2) 웍스AI의 회신

악용 사례집을 만들어 첨부하면 사용자가 질문시 AI가 답변에 해당 내용을 참고할 수는 있지만 보다 일관성 있는 답변을 위해서는 위 사례와 같이 '비서 역할(프롬프트)'에 직접 사례를 넣어주시는게 보다 강력히 제어됩니다.

3. AI내 연간 달력에 대한 인식이 가능한 방법이 있나요?

1) 고객사 담당자의 요청/문의

외부검색 기능을 켜두자니, 달력 이외의 부분에 대해서도 외부에서 검색한 내용으로 답변할 것 같은데 휴일/평일/공휴일등 인식가능하게 할 수 있는 방법이 있을까요?

2) 웍스AI의 회신

AI가 답변시 휴일/평일/공휴일 등을 정확하게 인식하게 만들기는 상당히 어렵습니다. 만약 검색해야 하는 일자가 몇개 안될 경우(ex. 20개 미만의 기념일 등), 이는 아래와 같이 아예 날짜와 해당하는 일을 직접 넣어주어야 정확히 원하는대로 답합니다.

#답변시 참고할 주요 이벤트 2024년 3월 12일 (일요일) : 무슨 일 2025년 8월 15일 (광복절) : 무슨 일

... (반복)

4. 같은 질문을 했는데 정답을 답하는 경우도 있고, 엉뚱한 답을 하는 경우도 있습니다. 같은 답변을 할 수 있도록 제어할 수 있나요?

1) 고객사 담당자의 요청/문의

예를 들어 출장규정집을 업로드 해둔 비서에게 출장 중 교통 사고 발생시의 부담금 분배에 대한 내용을 질문했을때, 100만원의 자부담에 대한 내용을 질문했으나, 50만원으로 인식하여 답변을 할때가 있습니다.

2) 웍스AI의 회신

사용자 요청에 적합한 답을 가지고 있을 것 같은 어떤 청크(문단)을 선택해 맥락에 실어주느냐 여부는 RAG 엔진이 선택하므로 그때 그때 달라질 수 있습니다. 그래서 여러모로 불안정합니다.

정답을 대답할 확률을 높이기 위해서는 아예 비서에 첨부된 파일을 아래와 같이 FAQ 식으로 만들어 워드 파일이나 txt 파일로 올리시면 AI가 '아 이런 질문이 오면 이 대답을 해야하는구나' 좀 더 이해하기 쉽기 때문에 일관성 있는 대답을 유도할 수 있습니다.

Q. 출장 여비 규정 A. 임원 이상: 100만원 / 대리 이상: 30만원 / 사원급: 10만원 Q. 육아 휴직 신청 방법 A. [그룹웨어]-[복지]-[육아휴직신청] 메뉴에서 신청