AI에게 맡긴 뒤, 마지막으로 확인하는 사람
얼마 전 AI와 에이전트의 미래에 대한 글을 읽었다.
자연어만으로 리포트를 만들고, 프로젝트의 메타데이터를 자동으로 채우고, 외부 시장의 변화까지 감지하는 시대가 온다는 내용이었다. 사람이 일일이 데이터를 입력하고, 규칙을 만들고, 보고서를 작성하던 일은 점점 AI의 몫이 될 것이다.
그 글에서 내가 가장 크게 느낀 부분은 따로 있었다.
앞으로 중요한 사람은 AI를 가장 많이 사용하는 사람이 아니라, AI가 무엇을 하고 있는지 끝까지 확인할 수 있는 사람일지도 모른다는 생각이다.
당근마켓에서 겪은 작은 사고
예전에 당근마켓에 허브독을 판매하는 글을 올린 적이 있다.
사진과 제품 상태, 판매 조건을 AI에게 전달하고 글을 써달라고 했다. 빨리 판매될 수 있도록 매력적인 문장으로 작성해달라는 내용도 프롬프트에 넣었다.
AI가 작성한 글을 읽어보니 크게 이상한 부분은 없어 보였다. 그래서 내용을 확인했다는 생각으로 승인하고 게시했다.
거래는 곧 진행됐다.
그런데 구매자와 거래를 마치고 집으로 돌아가는 길에 연락이 왔다.
“썬더볼트 케이블은 없네요?”
순간 당황했다. 사진에 썬더볼트 케이블은 없었다. 애초에 내가 가지고 있던 구성품에도 케이블은 포함되어 있지 않았다.
그런데 AI는 제품의 일반적인 구성이나 판매 관행을 바탕으로 케이블이 있어야 한다고 판단했고, 실제 사진에는 없는 구성품을 판매 글에 넣어버렸다.
나는 글을 다시 확인했다고 생각했지만, 사실은 문장이 매끄럽고 판매에 도움이 될 것처럼 보인다는 이유로 AI의 결과를 대충 승인했을 뿐이었다.
결국 썬더볼트 케이블을 따로 구매해 구매자에게 전달했다. 아는 사람은 알겠지만 썬더볼트 케이블은 생각보다 비싸다. 판매 금액보다 추가로 지출한 비용이 더 크게 느껴지는, 말 그대로 배보다 배꼽이 큰 경험이었다.
AI는 빈칸을 그냥 두지 않는다
이 일을 겪고 나서 AI의 특성을 조금 다르게 보게 됐다.
AI는 정보가 없을 때 “모르겠다"고 멈추기보다, 주변에 있는 정보와 일반적인 패턴을 바탕으로 가장 그럴듯한 내용을 채우려는 경향이 있다.
허브독에는 보통 케이블이 함께 판매된다는 경험적 패턴이 있었을 것이다. 하지만 내 제품의 사진에는 케이블이 없었다. 이 둘이 충돌할 때 AI는 사진보다 일반적인 구성을 선택했다.
문제는 AI가 악의적으로 거짓말을 한 것이 아니라는 데 있다. 그저 주어진 요청에 맞춰 더 매력적인 판매 글을 만들려고 했을 뿐이다.
“빨리 팔릴 수 있도록 매력적으로 작성해줘"라는 지시가 사실 확인보다 앞에 놓였고, 나는 그 결과를 충분히 검증하지 않았다.
앞으로 필요한 사람의 역할
AI가 프로젝트의 태그를 붙이고, 데이터를 연결하고, 시장 변화를 감지하고, 경고를 보내는 시대가 오면 사람의 일은 줄어들 수 있다.
하지만 사라지는 것은 일의 전부가 아니다. 일의 성격이 바뀐다.
사람은 다음과 같은 일을 해야 한다.
- 회사의 목표를 AI가 이해할 수 있는 명확한 지시로 바꾸기
- AI가 어떤 방식으로 결과를 추론하는지 이해하기
- 사실과 추정을 구분하기
- AI가 만든 분류와 연결 관계를 검증하기
- 결과물에 숨어 있는 편향과 누락을 찾기
- 중요한 의사결정 전에 근거와 원문을 다시 확인하기
행정 업무를 AI가 대신한다고 해서 관리자의 역할이 사라지는 것은 아니다. 오히려 관리자는 시스템이 어떤 방향으로 움직이는지 계속 확인해야 한다.
그럴듯함은 정확함과 다르다
AI의 결과물을 검토할 때 가장 조심해야 할 점은 문장이 너무 자연스럽다는 것이다.
틀린 내용도 매끄럽게 쓰여 있으면 맞는 것처럼 느껴진다. 프로젝트의 잘못된 태그도 깔끔하게 정리되어 있으면 문제가 없어 보인다. 시장의 여러 신호를 잘 연결한 분석도 근거를 따져보지 않으면 중요한 경고처럼 보인다.
하지만 연결이 잘 되어 있다는 것과 연결이 사실이라는 것은 다른 문제다.
AI가 제시한 시장 경보는 조사할 가치가 있는 단서일 수 있다. 그러나 그 자체가 의사결정은 아니다. AI가 만든 프로젝트 분류도 검토가 끝난 데이터가 아니라, 사람이 확인해야 할 초안에 가깝다.
내 허브독 판매 글에 들어간 썬더볼트 케이블도 그럴듯했다. 그래서 더 쉽게 지나쳤다.
AI를 감독한다는 것
AI를 감독한다는 말은 AI의 모든 작업을 사람이 직접 다시 하겠다는 뜻은 아니다.
AI가 어디까지 판단해도 되는지 경계를 정하고, 중요한 결과에는 확인 절차를 두고, 모호한 정보가 들어왔을 때 멈추게 하는 것이다.
특히 다음 질문은 사람이 직접 확인해야 한다.
- 이 정보는 원문이나 사진에 실제로 있는가?
- AI가 사실을 읽은 것인가, 일반적인 패턴을 추론한 것인가?
- 틀렸을 때 비용이 얼마나 발생하는가?
- 이 결과를 그대로 믿어도 되는가?
- 확인하지 않은 가정이 결과에 들어가 있지는 않은가?
AI를 잘 활용하는 능력은 좋은 프롬프트를 쓰는 데서 끝나지 않는다. 좋은 결과와 위험한 결과를 구분하는 데까지 이어져야 한다.
마지막 확인은 사람의 몫이다
AI는 점점 더 많은 일을 대신할 것이다.
리포트를 만들고, 데이터를 분류하고, 외부 정보를 모으고, 위험 신호를 찾아낼 것이다. 그만큼 사람은 직접 처리하는 사람에서 시스템을 지휘하고 감시하는 사람으로 이동하게 된다.
그때 필요한 것은 AI를 무조건 믿는 태도가 아니다.
AI가 빠르게 만들어낸 결과를 한 번 멈춰 세우고, 실제 근거가 있는지 확인하는 습관이다.
나는 허브독 판매 글에서 그 확인을 생략했다. 사진에는 없는 썬더볼트 케이블을 AI가 넣었고, 나는 매끄러운 글이라는 이유로 승인했다.
그날 이후 AI에게 일을 맡길 때는 한 가지 질문을 더 하게 됐다.
“이 내용은 정말 내가 제공한 정보에 있는 것인가?”
앞으로 AI를 감독하는 사람에게 가장 중요한 역량은 어쩌면 이 단순한 질문을 끝까지 놓치지 않는 것인지도 모른다.