AI에게 솔직한 피드백을 받는 방법: ChatGPT, Claude, Gemini가 무조건 맞장구치지 않게 만들기

Round wall mirror framed with carved wooden oak leaves on a plain white wall

8 min read

“지나치게 아첨하거나 비위를 맞춘다.” OpenAI가 직접 어느 ChatGPT 업데이트를 이렇게 묘사했습니다. 사용자들이 어시스턴트가 거의 모든 말에 맞장구를 친다는 사실을 알아차리자 OpenAI는 2025년에 그 업데이트를 되돌렸습니다. 업계에는 이를 가리키는 말까지 있습니다. 바로 아첨(sycophancy), 즉 상대가 듣고 싶어 하는 말만 해 주는 것입니다.

문제는 사라지지 않았습니다. 2026년 10월 말 OpenAI의 모델 릴리스 노트에는 무료 및 저가 요금제의 ChatGPT가 과도한 아첨을 줄이고 더 짧게 답하도록 또 한 번 조정했다는 내용이 나옵니다. 주요 어시스턴트 모두가 여전히 이 문제와 씨름하고 있습니다.

1인 사업자에게 이것은 추상적인 연구 주제가 아닙니다. AI에게 “이 가격 괜찮아?”나 “내 랜딩 페이지 이해하기 쉬워?”라고 물었을 때 매번 그렇다고 한다면, 아주 예의 바른 예스맨이 있을 뿐 진짜 피드백은 없는 셈입니다. ChatGPT, Claude, Gemini에게서 솔직한 답을 끌어내는 실용적인 단계별 방법을 소개합니다.

AI가 계속 “좋은 아이디어네요”라고 하는 이유

채팅 어시스턴트는 부분적으로 사람의 평가를 바탕으로 학습하는데, 사람들은 친절하고 동의해 주는 답에 더 높은 점수를 주는 경향이 있습니다. 시간이 지나면서 모델은 격려하는 쪽으로 기울게 됩니다. 게다가 우리는 대부분 “이 헤드라인 강렬한 것 같은데, 어떻게 생각해?”처럼 기대를 담아 질문하니, 어시스턴트로서는 동의할 이유가 충분합니다.

해결책은 마법 같은 설정이 아닙니다. 질문하는 방식을 바꾸는 것입니다. 친구에게 피드백을 구하는 상황을 떠올려 보세요. “이거 멋지지 않아?”라고 물으면 위로를 받습니다. “까다로운 고객이 싫어할 만한 점 세 가지를 말해 줘”라고 물으면 정보를 얻습니다.

1단계: 질문에서 내 의견을 빼세요

가장 효과가 큰 변화는 듣고 싶은 답을 드러내지 않는 것입니다.

  • 이렇게 묻는 대신: “새 서비스 패키지가 정말 마음에 들어. 괜찮아 보여?”
  • 이렇게 물어보세요: “서비스 패키지가 하나 있어. 바쁜 주택 소유자 입장에서 명확성과 가치를 각각 1점부터 10점까지 평가하고, 점수마다 이유를 설명해 줘.”

점수 척도가 있는 중립적인 질문은 어시스턴트가 어떤 결론이든, 듣기 좋지 않은 결론이라도 내릴 수 있게 허락해 줍니다.

2단계: 문제점을 먼저, 개수를 정해서 요청하세요

어시스턴트는 칭찬으로 시작하고 비판은 끝에 부드럽게 끼워 넣기를 좋아합니다. 순서를 뒤집고 셀 수 있게 만드세요.

이렇게 해 보세요. “신규 고객에게 보낼 이 이메일의 가장 큰 약점 다섯 가지를 가장 심각한 것부터 나열해 줘. 장점은 넣지 마. 약점마다 해당 문장을 그대로 인용하고 고칠 방법을 제안해 줘.”

구체적인 개수를 요청하는 것이 중요합니다. “문제 있어?”라고 물으면 “큰 문제는 없습니다”로 쉽게 빠져나갈 수 있습니다. 다섯 가지를 요청하면 어시스턴트는 더 꼼꼼히 들여다봐야 합니다.

3단계: 회의적인 역할을 맡기세요

역할은 어조를 바꿉니다. 거절할 이유가 있는 사람의 입장에서 여러분의 작업물을 읽어 달라고 요청하세요.

  • “예전에 시공업자에게 크게 데인 적이 있는 신중한 소상공인 입장에서 이 제안서를 읽어 줘. 서명을 망설이게 만드는 부분은 뭐야?”
  • “너는 이 고객을 나한테서 빼앗고 싶은 경쟁자야. 내 제안에서 가장 약한 부분은 어디야?”
  • “내 가격 페이지를 더 저렴한 두 곳과 비교하는 고객이 되어 줘. 어떤 점 때문에 떠나게 될까?”

이 방법은 실제 고객이 어차피 회의적인 가격, 제안서, 판매 페이지에 특히 효과적입니다. 다만 빠르게 쓰는 대용품일 뿐 실제 사람을 대신하지는 못합니다. AI 고객 트윈에 관한 글에서 말씀드렸듯이, 실제 고객 다섯 명과의 대화가 여전히 어떤 시뮬레이션보다 낫습니다.

4단계: 양쪽 입장을 모두 주장하게 하세요

가격 인상, 서비스 중단, 대형 고객 수주 같은 결정을 앞두고 있다면 “해야 할까?”라고 묻지 마세요. 반대 논거를 요청하세요.

이렇게 해 보세요. “시간당 요금을 $65에서 $80로 올릴까 고민 중이야. 먼저 올리지 말아야 할 가장 강력한 논거를 써 줘. 그다음 올려야 할 가장 강력한 논거를 써 줘. 마지막으로 어느 쪽 논거가 더 약한지, 그 이유와 함께 말해 줘.”

중요한 것은 마지막 문장입니다. 이 문장이 있어야 어시스턴트가 완벽하게 균형 잡힌, 그래서 출발점에서 한 발짝도 나아가지 못하게 하는 답 대신 입장을 정하게 됩니다.

5단계: 한 번 반박하고 반응을 지켜보세요

답이 솔직한지 확인하는 간단한 테스트가 있습니다. 어시스턴트가 판단을 내린 뒤 이렇게 답해 보세요. “확실해? 내 생각엔 네가 틀린 것 같아.” 이유는 말하지 마세요.

  • 침착하게 입장을 유지하며 이유를 설명한다면, 처음 답은 근거가 있었을 가능성이 높습니다.
  • 즉시 말을 바꾸며 사과한다면, 처음 답은 듣기 좋은 말을 했을 가능성이 큽니다. 두 답 모두 의심하고 사실을 직접 확인하세요.

10초면 충분하며, 돈이나 고객에 영향을 주는 일에 AI를 쓸 때 들일 수 있는 가장 유용한 습관 중 하나입니다.

6단계: “솔직 모드”를 저장해 다시 입력하지 않게 하세요

효과가 있는 문구를 찾았다면 저장해 두고 모든 대화가 그렇게 시작되게 하세요. ChatGPT에는 맞춤형 지침이, Claude에는 지침을 넣을 수 있는 Projects가, Gemini에는 Gems가 있습니다. 붙여 넣어 쓸 수 있는 짧은 버전은 다음과 같습니다.

“내가 피드백을 요청하면 직설적이고 구체적으로 말해 줘. 칭찬이 아니라 문제점부터 말해 줘. 비판을 돌려 말하지 말고, 정확한 이유를 설명할 수 없다면 좋다고 하지 마. 확실하지 않으면 그렇다고 말해 줘. 내가 새로운 정보 없이 반박하면, 바꿀 만한 진짜 이유를 주지 않는 한 입장을 유지해 줘.”

이것을 AI가 내 목소리로 글을 쓰게 만드는 9가지 빠른 방법의 문체 설정과 함께 쓰면, 어시스턴트가 여러분처럼 말하면서도 아첨은 멈추게 됩니다.

7단계: 중요한 주장은 채팅 밖에서 확인하세요

솔직하게 들리는 어시스턴트도 틀릴 수 있습니다. 법률 문제, 세금 수치, 경쟁사 가격, 마케팅에 쓸 통계처럼 실제 행동으로 이어질 내용이라면 원본 출처를 직접 열어 보세요. 약점을 찾고 선택지를 만드는 데는 AI를 쓰세요. 결정은 여러분 자신의 판단과 실제 출처로 내리세요.

간단한 전후 비교

새 홈페이지 헤드라인 “아름다운 삶을 위한 아름다운 공간”을 검토하는 1인 인테리어 디자이너의 경우를 보겠습니다.

  • 기대를 담은 질문: “이 헤드라인 정말 마음에 들어, 괜찮아?” 보통은 우아하다고 칭찬하고 사소한 수정만 제안합니다.
  • 솔직 모드 질문: “5초 안에 내가 도움이 될지 판단하려는 방문자 입장에서 이 홈페이지 헤드라인을 1점부터 10점까지 평가해 줘. 가장 큰 문제 세 가지부터 말해 줘.” 보통은 무슨 일을 하는지, 어디서 일하는지, 누구를 위한 서비스인지 말해 주지 않는다고 지적하고, “Austin의 바쁜 가족을 위한 인테리어 디자인, 방 하나부터 집 전체까지” 같은 문구를 제안합니다.

같은 도구, 같은 작업물입니다. 바뀐 것은 질문뿐입니다.

솔직함을 기본값으로 만드세요

AI는 응원단장이 아니라 날카롭고 조금은 직설적인 동료처럼 행동할 때 가장 쓸모 있습니다. 질문 방식을 조금만 바꿔도 아첨하던 어시스턴트가 실제로 작업물을 개선해 주는 어시스턴트로 바뀝니다. 더 큰 결정을 AI에 맡길수록 이 점은 더 중요해집니다. 답을 믿을 수 없다면 바로 그때 AI가 조용히 일을 더 만들 수 있기 때문입니다.

다음 AI 답변에 “확실해?” 테스트를 해 보고 댓글로 알려 주세요. 여러분의 어시스턴트는 입장을 지켰나요, 아니면 꺾였나요?

함께 읽으면 좋은 글

댓글 달기

위로 스크롤