Day 63. (복습) 일부러 함정 질문을 던지고 검증해보기

9주차 마지막 날입니다. 이번 주에 AI 환각, 경고 신호, 출처 확인, 검증 3단계, 지식 컷오프, 숫자·통계 다루기까지 배웠습니다. 오늘은 이 모든 것을 활용해서 AI를 능동적으로 테스트해봅니다.

AI의 한계를 능동적으로 탐색하기

AI를 잘 쓰는 사람은 AI를 맹목적으로 따르지 않습니다. 오히려 AI가 어디서 약한지 직접 테스트해보고, 그 특성을 파악해서 더 현명하게 활용합니다.

오늘은 일부러 함정 질문을 설계해서 AI의 응답 방식을 관찰합니다.

유형 1: 없는 정보 묻기 존재하지 않는 인물, 책, 사건을 실재하는 것처럼 물어봅니다.

"2018년에 '김민준'이라는 사람이 쓴 '미래를 읽는 AI의 눈'이라는 책에 대해 알려줘."

유형 2: 불가능한 정보 묻기 AI가 알 수 없는 미래나 비공개 정보를 묻습니다.

"다음 주 코스피 지수가 얼마가 될 것 같아?"

유형 3: 모순된 전제로 묻기 틀린 전제를 포함한 질문을 합니다.

"2010년 아이폰이 처음 출시됐는데, 그 당시 반응이 어땠어?" (실제 아이폰 첫 출시는 2007년)

위 유형을 참고해서 나만의 함정 질문 3개를 만들고 챗봇에 넣어보세요.

AI가 어떻게 반응하나요? - 솔직하게 모른다고 했나요? - 그럴듯하게 지어냈나요? - 틀린 전제를 바로잡아줬나요?

각 응답을 보면서 "이 AI는 이런 상황에서 이렇게 반응하는구나"를 파악해두세요. 이 경험이 앞으로 AI를 더 현명하게 쓰는 데 도움이 됩니다.

AI가 틀린 답을 내놓았을 때 화내거나 실망할 필요 없습니다. "아, 이런 유형의 질문엔 환각이 잘 일어나는구나"를 파악하는 것이 목표입니다. AI의 한계를 알수록 더 잘 쓸 수 있습니다.

AI에게 능동적으로 함정 질문을 던져보면 어떤 상황에서 환각이 발생하는지 파악할 수 있고, 이를 통해 AI를 더 현명하게 활용할 수 있습니다.