비서의 대답 개선 방법

1. 사용자의 질의에 대해 오해의 소지가 있는 불필요한 답변에 대한 제어가 가능할까요?

(잘못된 답변의 예시)

Q. 어떠한 케이스에 대해서 이거 불법적인거 아니야?

A. 어떠한 경우에 동의 없이 적용되었다면, 적법성에 문제가 있을 수 있습니다.

이미 업로드 된 사내 규정에 있는 내용에 대해서 적법성에 문제가 있을 수 있다는 오해의 소지가 있는 답변이 나오는데 통제가 필요합니다.

→ 이런 통제를 위해서는 아예 그런 질문에 대해 원하시는 정답 사례를 비서 역할(프롬프트) 하단에 추가해 주는게 좋습니다.

#주의사항 답변시 다음의 케이스에 대해서는 이렇게 답하세요. Q. 어떠한 케이스에 대해서 이거 불법적인거 아니야? A. 원하시는 답변

이렇게 아예 넣어주어야 제어가 잘됩니다. 업로드한 파일에만 의존하면 RAG 과정에서 불완전하거나 잘못된 문단(청크)이 인용되어 불안정한 답을 할 수 있습니다.

2. 사용자의 편법을 요하는 질문에 대한 답변 제어가 가능한가요?

일종의 악용사례집을 만들어 파일로 첨부하면, 비슷한 사례들에 대한 질문이 들어왔을때 특정 답변으로 고정하여 답변하게끔 제어가 가능할까요?

→ 악용사례집을 만들어 첨부하면 사용자가 질문이 해당 내용을 참고할 수는 있는데 그보다는 위 사례와 같이 '비서 역할(프롬프트)'에 직접 넣어주시는게 더욱 강력히 제어됩니다.

3. AI내 연간 달력에 대한 인식이 가능한 방법이 있나요?

외부검색 기능을 켜두자니, 달력 이외의 부분에 대해서도 외부에서 검색한 내용으로 답변할 것 같은데 휴일/평일/공휴일등 인식가능하게 할 수 있는 방법이 있을까요?

→ 휴일/평일/공휴일 등을 인식하게 만들기는 상당히 어렵습니다. 만약 검색해야 하는 일자가 몇개 안될 경우(ex. 20개 미만의 기념일 등), 이는 아래와 같이 아예 날짜와 해당하는 일을 직접 넣어주어야 정확히 원하는대로 답합니다.

#답변시 참고할 주요 이벤트 2024년 3월 12일 (일요일) : 무슨 일 2025년 8월 15일 (광복절) : 무슨 일

... (반복)

4. 동일한 질문을 했는데 정확하게 인식하여 답변하는 경우가 있고, 잘못 인식하여 엉뚱한 답을 하는 경우가 있습니다. 동일한 답변을 할 수 있도록 제어할 수 있는 방법이 있나요?

예를 들어 출장규정집을 업로드 해둔 비서에게 출장 중 교통 사고 발생시의 부담금 분배에 대한 내용을 질문했을때, 100만원의 자부담에 대한 내용을 질문했으나, 50만원으로 인식하여 답변을 할때가 있습니다.

→ 사용자 요청에 적합한 답을 가지고 있을 것 같은 어떤 청크(문단)을 선택해 맥락에 실어주느냐 여부는 RAG 엔진이 선택하므로 그때 그때 달라질 수 있습니다. 그래서 여러모로 불완전하고, 그 확률을 높이기 위해 아예 첨부 파일을 아래와 같이 FAQ 식으로 만들어 워드 파일이나 txt 파일로 올리시면 AI가 '아 이런 질문이 오면 이 대답을 해야하는구나' 이해하기 쉽기 때문에 보다 일관성 있는 대답을 하게 됩니다.

Q. 출장 여비 규정 A. 임원 이상: 100만원 / 대리 이상: 30만원 / 사원급: 10만원 Q. 육아 휴직 신청 방법 A. [그룹웨어]-[복지]-[육아휴직신청] 메뉴에서 신청