에디터 넷이 하던 일을 역할로 쪼갠 콘텐츠 하네스

문제 정의

사람 넷이 일주일씩 붙어 쓰던 글을, 같은 단가로 다시 받았다

작년 여름부터 올해 봄까지 우리 팀은 한 오피스 설계·시공 회사의 블로그를 맡아 33편을 썼다. 월 1회 세 편을 같은 날 올리는 배치 발행이었고, 거기에 에디터 셋과 PM 하나가 붙어 한 편이 기획부터 검수까지 일주일을 넘겼다. 소재를 잡고 디자이너에게 묻고 초안을 쓰고 검수를 돌리는 사이에 한 주가 지나갔다. 그 계약이 끝난 뒤, 올해 같은 회사의 웹사이트 리뉴얼을 수주하면서 콘텐츠 제작까지 연장 위탁을 받았다.

문제는 그 4인 체제를 다시 붙일 수 없다는 것이었다. 리뉴얼 단가 안에서 에디터 셋을 재투입하면 수지가 맞지 않는다. 그리고 이번에는 비용보다 앞선 목적이 하나 더 있었다. 사람 팀을 에이전트 팀으로 대체할 수 있는지를 실제 계약 위에서 확인하는 것이었다. 리뉴얼 기간 동안 블로그 발행이 석 달 넘게 멈춰 있었으므로, 공백을 메우는 첫 배치가 그대로 그 검증 자리가 됐다.

한국어 원고 한 벌로 끝나는 일도 아니었다. 영어와 일본어까지 세 벌이 나와야 했고, 기존 33편과 톤이 달라지면 안 된다는 것은 클라이언트가 명시적으로 요구한 조건이었다. 그런데 그 33편부터가 한 사람의 글이 아니었다. 여러 에디터가 나눠 썼고 시기에 따라 규범이 갈려서, 무엇이 지금의 기준인지부터 가려내야 했다. 여기에 소재가 전부 진행 중인 프로젝트라 실명이나 금액, 사고 진술처럼 지면에 올리면 안 되는 것들이 원자료에 섞여 있었다. 사람이 감으로 걸러내던 층까지 그대로 시스템의 요구사항이 된 셈이다.

가설 수립

문체가 형용사로 적혀 있는 한, 검수는 사람 손을 떠나지 못한다

물론 절충안도 있었다. 에디터를 한 명만 남기고 AI를 집필 보조로 쓰는 방식이다. 투입은 줄지만 이 구조는 검수를 여전히 사람이 쥔다. 지난 계약에서 한 편의 시간을 잡아먹은 것은 초안이 아니라 확인하고 되돌리는 구간이었으므로, 검수가 사람에게 남아 있는 한 편당 소요는 크게 줄지 않는다고 봤다. 그래서 절충안을 접고 넷이 나눠 하던 일을 통째로 에이전트 팀으로 옮기기로 했다.

여기서 판단이 한 번 갈렸다. 소재를 바로 넣고 쓰기 시작할 수도 있었지만, 기존 33편을 전수 계량 분석해 규칙으로 뽑는 데 작업의 앞머리를 먼저 썼다. 검수를 사람에게서 떼어내려면 채점표가 먼저 있어야 했다. 마침 그 문체는 우리 팀이 만든 것이라, 새로 정의할 것도 없이 이미 글에 박혀 있는 것을 꺼내면 됐다. 클라이언트가 요구한 톤 유지도 그 규칙이 있어야 지켰다고 말할 수 있었다.

성공 기준은 네 가지로 못 박았다. 처음 보는 검수자가 읽어도 기존 33편과 구분되지 않을 것, 4인 없이 월 세 편 케이던스를 유지할 것, 편당 소요를 일주일에서 대폭 줄일 것, 그리고 클라이언트에 관한 사실을 지어내지 않을 것. 앞의 셋은 세어서 확인할 수 있지만 마지막 하나는 성격이 다르다. 사실을 지어내지 않았다는 것은 완성된 원고를 아무리 읽어도 증명되지 않고, 사실이 어디서 왔는지 되짚을 수 있는 구조를 미리 짜 놓아야만 말할 수 있다. 가설의 절반은 사실 여기에 걸려 있었다.

솔루션 도출

"따뜻하게 써줘"를 스크립트가 반려할 수 있는 규격까지 내렸다

33편을 카테고리별 포맷과 문체, SEO, 번역까지 일곱 갈래로 나눠 계량하고, 갈래끼리 어긋나는 지점은 원문을 다시 대조해 판정 로그로 남겼다. 표본을 눈대중으로 고르면 틀린 단정이 나온다는 것을 이 단계에서 이미 한 번 확인했다. 그렇게 뽑힌 것이 기계가 판정할 수 있는 불변식이다. 발췌문은 33편 전부에서 본문 첫 텍스트 문단과 문자열이 완전히 일치했고, 대표이미지 설명문은 제목 뒤에 발췌 앞 60자를 붙인 공식이었다. 문단 첫 문장의 어미는 합니다가 46퍼센트로 기본값을 쥐고, 해요 13퍼센트와 죠 10퍼센트가 그 연쇄를 끊는 변조 장치로 붙었다. 여기까지 내려오자 린트 스크립트가 검수자를 띄우기 전에 먼저 반려할 수 있게 됐다.

팀을 여섯 단계로 쪼갰다. 기획, 외부 리서치, 집필, 검수, 번역, 번역 검수다. 이 중 리서치를 독립 단계로 세운 것이 실제로는 가장 컸다. 에디터가 취재라는 이름으로 암묵적으로 하던 일, 그러니까 출처를 찾고 신뢰 등급을 매기고 지면에 어떻게 표기할지까지 정하는 일을 꺼내 명시한 것이기 때문이다.

같은 이유로 기획 단계는 매번 인터뷰 질문지를 뽑게 했다. 사진과 데이터베이스만으로 쓰는 글에는 천장이 있다는 것이 33편 분석에서 이미 드러나 있었기 때문이다. 그래서 질문지는 궁금한 것을 나열하는 대신, 질문 하나가 본문의 어느 빈칸을 채우고 그 답이 오면 글의 격이 어디까지 올라가는지를 항목마다 함께 적게 했다. 답을 주는 사람도 자기 시간이 어디에 쓰이는지 알아야 답이 온다.

검수자는 매번 새 컨텍스트로 띄우고 집필자의 대화를 넘기지 않기로 했다. 사람이 반드시 멈추는 지점도 뒀다. 앵글을 확정하는 자리와 원고를 CMS에 올리는 자리다. 실제 발화가 없으면 인용을 지어내는 대신 빈 슬롯을 남기게 했다. 지어낼 수 없게 막는 것과 지어내지 말라고 적어두는 것은 다른 일이다.

사실을 다루는 규칙은 두 레인으로 갈랐다. 내부 증거는 질문지로 받고 외부 증거는 리서치로 받되, 어느 쪽이든 팩트 시트를 거쳐야 본문에 실린다. 외부 사실에는 등급을 매겨 1차 출처만 단정해 서술할 수 있게 하고, 언론이나 매거진에서 온 것은 완화된 어미로 낮추고, 블로그나 커뮤니티 글은 아예 쓰지 못하게 했다. 이러한 등급과 무관하게 클라이언트에 관한 사실만은 사람 승인을 반드시 거치게 했는데, 외부 보도의 정보가 우리가 실제로 한 작업 범위와 어긋나는 경우를 이미 봤기 때문이다.

결과 & 배운 점

하루 만에 팀을 짓고, 그날 저녁 그 팀에게 반박당했다

하네스 본체를 올린 것이 오전 10시 10분이었다. 시험 원고로 파이프라인을 처음부터 끝까지 완주해 세 개 국어 검수를 모두 통과한 것이 오후 2시 24분, 실제 클라이언트 소재로 첫 원고가 검수 PASS를 받은 것이 밤 9시였다. 편당 일주일이 걸리던 체제를 대체할 팀을 짓고 첫 원고를 내기까지, 커밋에 남은 시간은 하루였다. 시험 원고에서 한국어판이 PARTIAL 판정을 받자 번역가가 규칙대로 번역을 거부했고, 번역 검수자는 산출물이 없는 것을 품질 결함이 아니라 단계 미실행으로 구분해 올렸다. 설계해 둔 게이트가 처음으로 실제로 걸린 순간이었다. 그렇게 나온 문장은 이런 모양이다.

사람의 콘센트와 장비의 전원은 계획 단위가 다릅니다. 사람은 노트북과 모니터를 쓰다가 퇴근하지만, 서버 랙은 24시간 같은 부하를 끌어갑니다.

정작 값진 것은 그날 내가 틀린 기록 쪽이다. 첫 실전 원고에 쓸 도면 이미지를 내가 직접 잘라 "문제없음"으로 승인해 넘겼는데, 새로 띄운 검수자가 거기서 결함 둘을 잡았다. 도면 푸터에 본문이 익명 처리한 기업의 실명이 인쇄돼 그 장치를 통째로 무효화하고 있었고, 다른 한 장에는 지면에서 빼기로 한 사고 진술이 그대로 남아 있었다. 내 점검은 참석자 실명만 보고 있었다. 이미 내보낸 파일을 회수해달라고 요청해야 했다.

같은 날 반대 방향으로도 당했다. 인사이트 계열 여덟 편 중 넷만 보고 "이런 헤딩은 선례가 없다"는 전제를 검수자에게 넘겨 한 라운드를 오염시켰는데, 검수자가 전수 필터링으로 그 전제를 반박하면서 내가 못 본 진짜 결함까지 찾아냈다. 그날 겪은 결함 넷을 저녁에 전부 규칙과 검사로 승격시켰다. 넷 다 다음 편에 그대로 재발할 종류였기 때문이다. 린트가 본문이 참조한 이미지 파일이 실제로 있는지까지 보게 된 것도 설계할 때는 없었고 그날 밤 붙은 검사다.

같은 계량 분석은 새 글만 쓰게 한 게 아니었다. 이미 발행돼 있던 33편에서 결함 여섯 종을 드러냈고, 본문에 대표이미지가 한 번 더 실려 있던 문서 99개와 파일명이 그대로 설명문으로 들어간 이미지 147장을 포함해 전부 교정했다. 새 글을 쓰려고 만든 채점표가 옛 글의 채점에도 그대로 쓰였다. 규칙을 세우고 나면 과거가 먼저 걸린다.

지금 이 하네스로 발행된 글은 아직 없다. 첫 원고가 인용 넷과 이미지 셋을 디자이너 답변으로 채우기를 기다리는 중이고, 그건 설계가 의도한 대기다. 사람이 가진 사실을 지어내지 않기로 했으므로 사람의 답이 올 때까지 그 자리는 비어 있어야 한다. 답을 회수하기 위해 그날 밤 검수판을 첨부 파일에서 암호 링크로 옮겨, 답변이 브라우저가 아니라 서버에 쌓이게 했다.

이 프로젝트에서 배운 것은 사람 팀을 AI로 대체한다는 게 도구를 바꿔 끼우는 일이 아니라는 것이다. 에디터 셋이 하던 일을 들여다보니 집필은 그중 한 조각이었고 나머지는 묻고, 찾고, 의심하는 일이었다. 그것들을 각자 이름과 책임을 가진 역할로 꺼내 놓기 전까지는 아무리 좋은 모델을 붙여도 에디터 한 명을 대신하지 못한다. 내가 만든 것을 내가 검수하면 같은 사각이 그대로 남는다는 것도, 그날 도면 두 장이 증명했다.