Growth Study

AI 결과물 검토하는 법: 이걸 내 이름으로 공유해도 될까요? | AI로 일하기 06

AI가 만든 보고서는 반듯해서 그대로 보내도 될 것 같지만 원본과 다른 숫자나 열리지 않는 출처가 섞여 있곤 합니다. 그렇다고 전부 다시 계산할 필요는 없습니다. 무엇부터 어떤 순서로 보면 되는지 정리했습니다.

주제
AI 활용
쓴 날
읽는 시간
3분
저자
탸탸
목차 5
STEP 1 AI 연결하기#06결과물을 검토하는 법

AI에게 지난달 광고 성과 보고서를 부탁하면 결과물은 보통 꽤 깔끔하게 옵니다. 표의 줄도 반듯하고 문장도 매끄럽고 끝에는 다음 달 예산 제안까지 붙어 있죠. 이대로 팀장님께 공유하면 될 것 같은데 막상 보내려고 하면 손이 한 번 멈춥니다.

'이 숫자, 내가 준 원본이랑 같은 거 맞나?'

그렇다고 보고서의 숫자를 처음부터 하나하나 다시 계산하면 AI에게 부탁한 의미가 없어집니다. 그렇다고 불안한 마음에 전부 다시 들여다보고 있자면 '이 일을 내가 굳이 왜 두 번 하나' 하는 생각도 듭니다. 이 글에서는 AI가 만든 결과물을 내 이름으로 공유하기 전에 무엇부터 어떤 순서로 확인하면 좋을지 정리해 보려고 합니다.

AI 결과물, 왜 그대로 보내면 안 될까요?#

개인적으로 아직 AI의 결과물은 한 번 요청으로 그대로 보내면 안 되는 정도의 퀄리티라고 생각합니다. 시간이 지나면 AI는 더욱 똑똑해 지겠지만 아직까지는 그렇게 느낍니다. AI가 도출한 결과물에는 보통 문체부터 시작해서 틀리거나 맥락이 없거나 정확하지 않은 여러 정보가 섞여 있기 때문입니다. 게다가 겉모습은 제법 그럴듯해서 슥 훑어보기만 해서는 어디가 틀렸는지 잘 보이지 않습니다.

내가 직접 준 데이터로 만든 보고서라고 해도 안심할 수 없습니다. AI도 숫자를 잘못 옮기거나 계산을 틀리는 일이 있기 때문입니다. 컴퓨터인데도 불구하고 그런 오류는 놀랍게도 종종 발생하곤 합니다.

문제는 그것만이 아니죠. 잘못된 숫자보다 알아채기 어려운 것은 할루시네이션입니다. 할루시네이션은 AI가 사실이 아닌 내용을 사실처럼 답하는 것을 말합니다. "메타 구매가 줄어든 건 iOS 업데이트로 추적이 줄어든 영향입니다"처럼 데이터 어디에도 없는 이유가 그럴듯하게 붙는 식이죠.

AI가 쓴 보고서에는 틀린 데는 없는데 쓸 데도 없는 문장도 있습니다. "매체별 특성을 고려한 최적화가 필요합니다"처럼 어느 회사 보고서에 넣어도 말이 되는 문장입니다. 우리는 이런 AI 결과물을 슬롭이라고 부릅니다. 알멩이가 없는 예쁜 쭉정이같은 말들입니다. 틀린 말은 아니지만 우리 광고에 대해서는 아무것도 말해 주지 않습니다.

인쇄한 AI 광고 성과 보고서에 빨간 색연필로 표시한 모습. 원본과 다른 메타 구매 수 291에 동그라미를 치고 원본 값 272를 적었다. 데이터에 없는 iOS 업데이트 설명(할루시네이션)에는 물결 밑줄과 물음표를, 어느 보고서에 넣어도 말이 되는 문장(슬롭)에는 취소선을 그었다. 숫자는 가상의 예다

잘못 옮긴 숫자도 할루시네이션도 슬롭도 보고서 안에서는 다른 문장과 똑같이 매끄럽습니다. 그래서 집중해서 결과물을 살펴보지 않으면 AI가 남긴 이상한 잔재들을 발견하지 못하고 지나칠 위험이 있습니다. 결국 AI 작업 시에는 사람이 한 번은 집중해서 검토하는 작업이 필요하다고 생각합니다. 내 이름으로, 내 책임으로 발행되는 결과물이라면 더더욱 그렇습니다.

AI가 만든 보고서, 무엇부터 확인해야 할까요?#

AI가 만든 보고서를 집중해서 검토한다고 하면 보통 숫자부터 원본과 하나씩 맞춰 보고 싶어집니다. 그런데 저는 숫자보다 먼저 무엇에 쓰려고 부탁했는지부터 떠올려 보는 편이 좋다고 생각합니다. 숫자를 한참 맞춰 본 뒤에야 처음 목적과 다른 이야기를 하고 있다는 걸 알게 되면 그 시간이 통째로 아깝기 때문입니다.

다음 달 예산을 정하는 회의 자료로 부탁한 보고서라면 처음 훑어볼 때 이런 질문을 던져 보면 됩니다.

  • 이 보고서의 작성 의도가 뭐였지? 그 의도에 충실한 결과물이 맞나?
  • 예산을 정하는 데 필요한데 빠진 내용은 없을까?
  • 의미 없는 미사여구 같은 말들이 괜히 끼어 있는 부분은 없나?

매체별 숫자만, 그저 정보만 나열하고 끝난 보고서라면 보통 의도한 내용이 담겨 있지 않을 확률이 높습니다. 그래서 제일 먼저는 어느 매체 예산을 늘리고 줄일지와 그 이유 등, 보고서 작성 의도에 맞는 해석과 판단이 결과물에 포함되어 있는지 확인하시는 것을 권장 드립니다. AI는 똑똑하지만 눈치가 없기 때문에, 작업 의도와 맥락을 놓칠 때가 종종 있기 때문이죠.

AI가 할루시네이션으로 지어낸 말은 없는지, 작은 상황을 크게 부풀려 설명한 부분은 없는지 판단하는 것도 사람의 몫입니다. 심각한 오차로 보고 개선 방안을 중요하게 기재했는데, 알고 보니 오류 규모가 전체의 1%도 되지 않아 큰 문제가 아닐 경우도 곧잘 있습니다. 각 보고서마다 중요한 부분과 중요하지 않은 부분을 가늠하고 피드백하며 작업물을 깎아나가야 하는데, 이 작업은 사람의 시선이 반드시 필요합니다.

AI가 붙인 이유와 출처, 그대로 믿어도 될까요?#

보고서가 목적에 맞게 작성되었다면, 그다음으로는 AI가 붙인 근거에 대한 팩트체크가 필요합니다. 광고 성과 보고서에서 할루시네이션이 발생했을 때 가장 치명적인 부분은 성과 부분일 것입니다. 성과가 왜 바뀌었는지는 숫자만 봐서는 알 수 없는데도 AI는 어떻게든 이유를 붙여 주려고 하기 때문에, 우리는 긴장할 필요가 있습니다. 'iOS 업데이트로 추적이 줄어든 영향' 같은 설명이 보이면 내가 준 데이터에 업데이트 이야기가 있었는지부터 보면 됩니다. 없다면 AI가 해당 내용을 지어서 붙인 것은 아닌지 반드시 물어보시기를 권장 드립니다.

출처도 원인 설명처럼 그대로 믿기는 어렵습니다. 업계 평균이나 시장 자료를 넣어 달라고 하면 AI가 출처 링크까지 달아 주는데 링크가 붙어 있으면 왠지 확인이 끝난 것처럼 느껴집니다. 하지만 링크가 있다고 그 내용까지 맞는 건 아닙니다. 링크가 아예 열리지 않거나 원문에 없는 문장을 옮겨 오는 경우도 있으니 한 번씩 직접 눌러 보는 게 좋습니다.

AI가 만든 보고서의 업계 평균 ROAS 420%가 출처 링크에 없다고 묻자 AI가 출처를 잘못 연결했다고 인정하고 그 문장을 빼겠다고 답한 대화 예시

이런 확인 작업을 건너뛰고 결과물을 도출하면 어떻게 될까요. 이런 경우와 사람들을 두고 최근에는 '미트 프록시(meat proxy)'라는 용어가 생겼습니다. 미트 프록시는 AI가 만든 글이나 코드를 읽어 보지도 않고 동료에게 그대로 넘기는 사람을 말합니다. 사람이 AI와 동료 사이에서 내용을 옮겨 주기만 한다는 뜻이죠. 다소 뾰족하고 아픈 단어이긴 하지만, AI 작업 시에 사람의 검증 과정이 반드시 필요함을 반증하는 것이기도 하다고 생각합니다.

틀린 곳, 직접 고치기 전에 AI에게 먼저 알려 주기#

그렇다면, AI가 만든 보고서에서 원본과 다른 숫자를 찾았을 때 어떻게 하면 좋을까요? 간단한 부분은 그 자리에서 바로 바로 고치고 싶은 마음이 듭니다. 숫자 하나 고치는 데 AI에게 다시 말할 것까지 있나 싶기도 하고요. 그래도 저는 직접 고치기 전에 무엇이 왜 틀렸는지 AI에게 먼저 알려 주는 편을 권합니다. 틀린 숫자 하나는 보통 혼자 있지 않기 때문입니다.

예를 들어 광고 보고서에서 메타의 구매 전환 수가 원본과 다르다면, 그 숫자로 계산한 ROAS(Return On Ad Spend, 광고비 대비 매출)도 틀려 있고 그 ROAS를 근거로 쓴 예산 제안도 함께 틀려 있을 가능성이 큽니다. 구매 수 한 칸만 직접 고치면 표는 맞아 보여도 결론은 틀린 숫자 위에 그대로 남습니다. AI에게 어느 숫자가 원본과 어떻게 다른지 알려 주면 그 숫자로 한 계산과 제안까지 다시 맞춰 달라고 할 수 있습니다.

열리지 않는 링크도 틀린 숫자와 비슷합니다. '열리지 않는 링크 하나쯤은 그냥 지우면 되지 않나?' 싶지만 링크만 지우면 그 링크를 근거로 쓴 문장은 근거 없이 남습니다. AI에게 알려 주면 원문을 확인할 수 있는 다른 출처로 바꾸거나 그 문장까지 함께 빼 달라고 할 수 있습니다.

틀린 곳을 AI에게 알려 줄 때는 무엇이 왜 아닌지와 어떻게 바꿀지를 함께 말해 주면 됩니다(참고 글 - AI 프롬프트 잘 쓰는 법). 검토하다 찾은 문제마다 이렇게 말할 수 있습니다.

  • 숫자가 원본과 다를 때: "메타 구매 수가 원본 파일과 달라(원본은 272건). 이 숫자로 메타 ROAS와 예산 제안을 다시 계산하고 무엇이 바뀌었는지 알려 줘."
  • 링크가 열리지 않을 때: "이 링크가 열리지 않아. 원문을 확인할 수 있는 출처로 바꾸고 찾을 수 없으면 그 문장을 빼 줘."
  • 목적에서 벗어났을 때: "매체별 숫자만 있고 예산을 어떻게 옮길지가 없어. 팀장님이 예산을 정할 수 있게 결론부터 다시 써 줘."

AI에게 고쳐 달라고 해서 다시 받은 보고서도 결정에 쓰일 숫자는 원본과 한 번 더 비교합니다. 고쳐 달라고 한 곳을 고치면서 AI가 다른 곳까지 바꿔 놓았을 수도 있기 때문입니다.

숫자를 원본과 비교하는 일도 AI에게 부탁할 수는 있습니다. "매체별 숫자를 원본 파일과 비교해서 다른 숫자만 알려 줘"처럼 비교할 원본을 정해 주면 꽤 도움이 됩니다. 다만 AI가 찾아 준 결과가 맞는지는 다시 내가 봐야 합니다.

요청, 결과, 목적 확인, 원본과 비교, 다시 요청을 거쳐 사람이 보낼지 정하는 순서를 한 바퀴로 그린 그림

마치며#

정해진 순서대로 스킬을 쓰지 않은 이유를 묻자 AI가 "네, 제 실수입니다"라고 답한 대화 화면

위 이미지는 며칠 전 저의 작업 상황을 그대로 캡쳐한 것입니다. 오푸스 5.5였고, 실수를 했고, 본인이 실수했다는 것을 빠르고 간결하게 인정했습니다. 제가 다시 확인하지 않았으면 이 실수는 영영 밝혀지지 않은 채로 지나갔을 것이라고 생각하니 살짝 소름이 끼쳤습니다. AI는 이렇게 실수를 인정하고 빠르게 개선할 수 있습니다. 하지만 결과물이 나간 뒤 그 오류를 직접 책임져주지는 못합니다. 그건 사람 담당자가 할 일이기 때문이죠. 틀린 내용이 담긴 보고서가 그대로 팀장님 또는 고객사에게 전달되었다면 그를 책임질 사람은 바로 저일 것입니다.

AI가 초안을 빠르게 만들고 사람이 검토해서 고칠 곳을 정하는 방식은 앞으로 더 흔해질 것 같습니다. 그만큼 검토할 결과물도 늘어날 텐데 매번 처음부터 다 볼 수는 없습니다. 이 글에서 정리한 순서가 AI를 잘 활용하는 데 조금이나마 도움이 되었으면 합니다.

FAQ / 자주 묻는 질문2
탸탸 프로필
Written by탸탸

디지털 마케팅, 퍼포먼스 마케팅, SaaS 마케팅 실무를 하고 있는 그로스 마케터입니다.