AI 방탈출 벤치

iwan AI TOOL

정보가 충분한 문제와 부족한 문제를 섞어 냅니다. 확답을 참아야 할 때 참을 수 있는지 확인하는 논리 훈련 도구입니다.

무엇을 재는 도구인가

AI 모델을 평가할 때 흔히 “정답을 맞히는가”만 봅니다. 그런데 실무에서 더 위험한 실패는 정보가 부족한데도 확신에 차서 답하는 것입니다.

이 도구는 겉모습이 거의 같은 문제 두 개를 섞어서 냅니다. 하나는 답이 하나로 정해지고, 다른 하나는 정해지지 않습니다. 다른 점은 마지막 한 줄의 단어 하나뿐입니다.

총 10라운드, 5~10분. 문제는 매번 새로 생성됩니다.

AI 모델 평가에서 “정답률”만 보면 놓치는 실패가 있습니다. 정보가 부족한 상황에서도 확신에 차서 답하는 모델은, 정보가 충분한 문제만 모아 놓고 보면 만점을 받습니다. 이 실패는 같은 본문에 조건 한 줄만 바꾼 대조쌍을 함께 내야 드러납니다.

이 도구는 그 대조쌍 구조를 사람이 직접 체험하도록 옮긴 것입니다. 문제는 매번 새로 생성되며, 정답 위치는 화면 어디에도 미리 노출되지 않습니다.