AI에게 맡긴 뒤, 마지막으로 확인하는 사람

얼마 전 혁신관리 소프트웨어를 만드는 회사가 쓴, AI와 에이전트의 미래에 대한 글을 읽었다. 자연어만으로 보고서를 만들고, 프로젝트의 메타데이터를 자동으로 채우고, 외부 시장의 변화까지 감지하는 시대가 온다는 내용이었다. 사람이 일일이 데이터를 입력하고, 규칙을 만들고, 보고서를 작성하던 일은 점점 AI의 몫이 될 것이다.

그런데 그 글을 읽고 가장 크게 남은 생각은 따로 있었다. 앞으로 중요한 사람은 AI를 가장 많이 사용하는 사람이 아니라, AI가 무엇을 하고 있는지 끝까지 확인할 수 있는 사람일지도 모른다.

당근마켓에서 겪은 작은 사고

예전에 당근마켓에 허브독을 판매하는 글을 올린 적이 있다. 사진과 제품 상태, 판매 조건을 AI에게 전달하고 글을 써달라고 했다. “빨리 팔릴 수 있도록 매력적으로 작성해줘"라는 말도 프롬프트에 넣었다.

AI가 작성한 글을 읽어보니 크게 이상한 부분은 없어 보였다. 그래서 내용을 확인했다는 생각으로 승인하고 게시했다.

거래는 곧 진행됐다.

그런데 구매자와 거래를 마치고 집으로 돌아가는 길에 연락이 왔다.

“썬더볼트 케이블은 없네요?”

순간 당황했다. 사진에 썬더볼트 케이블은 없었다. 애초에 내가 가지고 있던 구성품에도 케이블은 포함되어 있지 않았다.

그런데 AI는 제품의 일반적인 구성이나 판매 관행을 바탕으로 케이블이 있어야 한다고 판단했고, 실제 사진에는 없는 구성품을 판매 글에 넣어버렸다. 나는 글을 다시 확인했다고 생각했지만, 사실은 문장이 매끄럽고 판매에 도움이 될 것처럼 보인다는 이유로 AI의 결과를 대충 승인했을 뿐이었다.

결국 썬더볼트 케이블을 따로 구매해 구매자에게 전달했다. 아는 사람은 알겠지만 썬더볼트 케이블은 생각보다 비싸다. 판매 금액보다 추가로 지출한 비용이 더 크게 느껴지는, 배보다 배꼽이 큰 경험이었다.

AI는 빈칸을 그냥 두지 않는다

이 일을 겪고 나서 AI의 특성을 조금 다르게 보게 됐다. AI는 정보가 없을 때 “모르겠다"고 멈추기보다, 주변에 있는 정보와 일반적인 패턴을 바탕으로 가장 그럴듯한 내용을 채우려 한다.

허브독은 보통 케이블과 함께 판매된다는 경험적 패턴이 있었을 것이다. 하지만 내 제품의 사진에는 케이블이 없었다. 이 둘이 충돌할 때 AI는 사진보다 일반적인 구성을 선택했다.

문제는 AI가 악의적으로 거짓말을 한 것이 아니라는 데 있다. 그저 주어진 요청에 맞춰 더 매력적인 판매 글을 만들려고 했을 뿐이다. “빨리 팔릴 수 있도록 매력적으로 작성해줘"라는 지시가 사실 확인보다 앞에 놓였고, 나는 그 결과를 충분히 검증하지 않았다.

앞으로 필요한 사람의 역할

내가 읽은 글대로라면, AI가 프로젝트마다 태그를 붙이고, 데이터를 연결하고, 시장 변화를 감지해 경고를 보내는 시대가 온다. 그만큼 사람의 일은 줄어들 수 있다. 하지만 사라지는 것은 일의 전부가 아니다. 일의 성격이 바뀐다.

회사의 목표를 AI가 알아들을 수 있는 지시로 바꾸는 일, AI가 어떤 방식으로 결과를 추론하는지 이해하는 일, 사실과 추정을 구분하는 일, 결과물에 숨어 있는 편향과 누락을 찾는 일, 중요한 결정 전에 근거와 원문을 다시 확인하는 일은 사람에게 남는다. 허브독 글에서 내가 하지 않은 일이 바로 이것이었다.

행정 업무를 AI가 대신한다고 해서 일을 맡긴 사람의 역할이 사라지는 것은 아니다. 오히려 맡긴 사람은 일이 어떤 방향으로 가고 있는지 계속 확인해야 한다.

그럴듯함은 정확함과 다르다

AI의 결과물을 검토할 때 가장 조심해야 할 것은, 문장이 너무 자연스럽다는 점이다. 틀린 내용도 매끄럽게 쓰여 있으면 맞는 것처럼 느껴진다. 잘못 붙은 분류도 깔끔하게 정리되어 있으면 문제가 없어 보이고, 여러 신호를 그럴듯하게 이어 놓은 분석도 근거를 따져보지 않으면 중요한 경고처럼 보인다. 하지만 연결이 잘 되어 있다는 것과 연결이 사실이라는 것은 다른 문제다.

AI가 보낸 경고는 조사할 가치가 있는 단서일 수 있다. 그러나 그 자체가 의사결정은 아니다. AI가 해 놓은 분류도 검토가 끝난 데이터가 아니라, 사람이 확인해야 할 초안에 가깝다.

AI를 감독한다는 것

AI를 감독한다는 말은 AI의 모든 작업을 사람이 직접 다시 하겠다는 뜻이 아니다. AI가 어디까지 판단해도 되는지 경계를 정하고, 중요한 결과에는 확인 절차를 두고, 모호한 정보가 들어왔을 때 멈추게 하는 것이다.

그 확인 절차에서 사람이 직접 봐야 하는 것은 AI가 사실을 읽은 것인지 아니면 일반적인 패턴을 추론한 것인지, 확인하지 않은 가정이 결과에 들어가 있지는 않은지, 그리고 틀렸을 때 비용이 얼마나 드는지다. 허브독 글에서 그 비용은 썬더볼트 케이블 값이었다. AI를 잘 활용하는 능력은 좋은 프롬프트를 쓰는 데서 끝나지 않는다. 좋은 결과와 위험한 결과를 구분하는 데까지 이어져야 한다.

한 가지 질문

AI는 점점 더 많은 일을 대신할 것이다. 보고서를 만들고, 데이터를 분류하고, 외부 정보를 모으고, 위험 신호를 찾아낼 것이다. 그만큼 사람의 자리는 직접 처리하는 쪽에서 시스템을 지휘하고 감시하는 쪽으로 옮겨 간다. 그때 필요한 것은 AI를 무조건 믿는 태도가 아니라, AI가 빠르게 만들어낸 결과를 한 번 멈춰 세우고 실제 근거가 있는지 확인하는 습관이다.

나는 허브독 판매 글에서 그 확인을 생략했다. 사진에는 없는 썬더볼트 케이블을 AI가 넣었고, 나는 매끄러운 글이라는 이유로 승인했다. 그날 이후 AI에게 일을 맡길 때는 한 가지 질문을 더 하게 됐다.

“이 내용은 정말 내가 제공한 정보에 있는 것인가?”

---

출처: AI Predictions for Innovation Management Software