프롬프트가 아니라 구조로 일관성을 잡은 AIDRA 영상 노드 캔버스

문제 정의

재료가 안에서 조립되는 구조에는 사람이 붙잡을 손잡이가 없었다

AIDRA는 드라마 기획안을 만들고 회차 대본까지 써 주는 사내 제작 도구다. 다음 단계는 그 대본을 실제 영상으로 옮기는 것이었고, 첫 판의 영상 스튜디오는 회차 대본에 적힌 클립 프롬프트를 받고, 컨셉아트 탭의 캐릭터 이미지를 합성한 참조 한 장을 붙여 클립을 생성하는 구조였다. 재료가 어떤 순서로 어떻게 조립되는지는 내부에서 정해져 있어, 그 사이에서 무슨 일이 일어나는지 사람은 볼 수도 손댈 수도 없었다. 생성형 영상 모델은 기억이 없다. 같은 인물을 매 클립 다시 설명하지 않으면 매번 다른 사람을 그린다.

실제로 통제와 일관성이 함께 깨졌다. 같은 인물이 클립마다 얼굴과 옷이 바뀌고 배경도 달라져, 한 회차로 이어 붙일 수가 없었다. 결과가 이상해도 어느 재료가 문제인지 보이지 않았고, 마음에 안 드는 한 부분만 고칠 수 없어 클립을 통째로 다시 사야 했다. 영상 호출은 건마다 돈이 나가는 유료 생성이라 다시 사는 횟수가 곧 비용이었다. 이 탭은 7월 20일 플래그 뒤로 숨겨졌다.

제약은 영상 단계가 혼자 서 있으면 안 된다는 것이었다. 영상은 기획안과 회차 대본이 이미 정해 둔 인물, 장소, 장면에서 출발해야 했고, 빈 화면에서 처음부터 다시 쓰게 하면 앞 단계의 작업이 버려진다. 쓰는 사람도 개발자가 아니라 드라마팀이었다. 도구의 자유도와 앞 단계 데이터와의 연결을 동시에 잡아야 하는 조건이었다.

가설 수립

생성형을 통제하는 문법은 이미 ComfyUI가 증명했다고 보고, 옛 스튜디오를 폐기했다

물론 옛 스튜디오의 참조 합성과 클립별 재생성을 다듬는 보강도 진지하게 검토했다. 하지만 재료의 조립이 안에 숨어 있는 구조가 남는 한, 덧붙인 기능은 블랙박스 바깥에 손잡이를 하나 더 다는 데 그친다고 판단했다. 근거는 생성형 실무에서 이미 쓰이는 ComfyUI였다. 실무자들은 모델, 참조 이미지, 프롬프트 조각을 노드로 두고 선으로 이어, 무엇이 무엇에 들어가는지를 그래프로 드러내는 방식으로 일관성을 잡는다. 8월 7일, 숨겨 두었던 옛 스튜디오를 고치지 않고 폐기한 뒤 노드 그래프 캔버스로 다시 시작하기로 결정했다.

그래프가 맞다면 캐릭터와 배경을 노드로 고정해 여러 클립에 연결하는 것만으로 회차 전체에서 인물과 장소가 유지된다. 재료가 선으로 드러나니 결과가 이상하면 어느 노드를 고칠지 보이고, 그 노드만 다시 사면 된다. 여기에 기획안과 회차에서 초안을 자동으로 세워 주면, 드라마팀은 노드를 처음부터 잇는 대신 고치기만 하면서 한 캔버스에서 회차를 끝낼 수 있다고 봤다.

솔루션 도출

프로젝트·회차·클립의 3층을 세우고, 매 샷 반복되는 상수는 시스템이 들게 했다

구조는 3층으로 잡았다. 프로젝트는 기획안 한 편이고, 그 안에 회차마다 캔버스가 하나씩 있으며, 캔버스 안의 클립 하나는 콘티 컷 하나에서 나오는 영상 하나다. 첫 판은 콘티 한 장의 패널마다 영상을 만들어 콘티 하나에서 클립이 넷씩 생겼는데, 직접 써 보고 클립 단위가 맞다고 판단해 바로 고쳤다. 같은 콘티를 두 번 담아도 같은 영상을 두 번 사지 않도록 클립마다 출처 키를 달았다. 회차 대본은 LLM이 씬으로 갈라 콘티와 클립 노드를 자동으로 세우고, 유료 생성 버튼은 사람이 누른다.

운영 중인 프로젝트의 Ep.1 캔버스(노드 33개). 왼쪽 캐릭터·배경 노드에서 나온 선이 씬 노드를 거쳐 클립으로 이어진다. 무엇이 무엇에 들어가는지가 선으로 보인다

핵심 판단은 일관성을 프롬프트 솜씨가 아니라 구조에 맡긴 것이다. 모델은 기억이 없으므로 같은 인물을 매 샷 다시 알려 줘야 하는데, 그 반복을 사람에게 시키면 언젠가 한 줄이 빠지고 인물이 바뀐다. 그래서 설명을 네 층으로 나눴다. 프로젝트 상수, 캐릭터와 배경, 씬, 그리고 샷이다. 위 3개 층은 노드가 매번 다시 주입하고, 4개 층 중 사람이 직접 쓰는 곳은 맨 아래 샷 텍스트 1칸뿐이다.

확대하면 재료가 보인다. 캐릭터 시트와 배경 노드가 씬 노드로 들어가고, 클립 노드마다 생성된 영상이 그 자리에 붙는다. 같은 시트가 여러 클립에 걸려 있어 인물이 바뀌지 않는다

같은 판단으로 캐릭터를 다루는 방식도 뒤집었다. 처음에는 기존 컨셉아트 탭의 캐릭터를 가져왔는데, 써 보니 노드에 맞지 않고 두 곳에서 관리해야 했다. 8월 13일 가져오기를 접고, 프로젝트가 캐릭터와 배경을 직접 기르는 자산으로 바꿨다. 캐릭터는 얼굴 후보 네 장 중 하나를 골라 정체성을 먼저 잠근 뒤 시트로 넓히고, 배경은 실무에서 쓰는 방식대로 같은 장면을 정면, 탑뷰, 후면, 측면에서 본 2×2 시트 한 장으로 만들게 했다. 나는 이 구조와 결정을 총괄하고, 구현은 영상 담당 개발자와 에이전트에 맡긴 뒤 직접 써 보며 판정했다.

프로젝트가 기르는 배경 하나. 같은 골목을 정면·탑뷰·후면·측면에서 본 2×2 시트로 만들고, 오른쪽에 장소·빛·색 처리 설명을 붙여 둔다

결과 & 배운 점

기획안에서 회차 완성본까지 한 탭에서 이어졌고, 한 달에 영상 생성 156건이 쌓였다

운영 비용 로그 기준으로 최근 30일 동안 영상 생성 호출이 156건, 합계 1,855초 쌓였다. 9개 씬짜리 회차 하나에 초안을 세우고 전체 실행까지 돌리면 캔버스에는 노드 42개와 선 66개, 클립 9개가 선다. 9월 말에는 같은 탭에 회차 편집기를 붙여, 스테이징 회차 한 편의 클립 9개를 110.7초짜리 mp4 한 편으로 내보내는 데까지 확인했다. 플래그 뒤에 숨겨져 있던 옛 스튜디오와 비교하면, 영상 단계가 처음으로 실제 제작 흐름 안에 들어온 것이다.

같은 탭에 붙인 회차 편집기. 캔버스에서 만든 클립이 소재로 들어오고, 타임라인에서 한 편으로 이어 붙여 내보낸다. 위 수치를 잰 스테이징 회차가 아니라 클립 13개짜리 운영 회차다

매끈한 과정은 아니었다. 하루에 결정이 세 번 뒤집힌 날이 있었고, 테스트가 모두 통과한 채 숨어 있던 결함 다섯 개가 한 라운드에서 한꺼번에 나온 적도 있다. 상당수는 직접 써 보며 신고한 문제를 구조에 되먹이는 과정에서 출발했다. 이 프로젝트에서 나는 생성형은 프롬프트가 아니라 구조로 통제한다는 것을 배웠다. 무엇을 상수로 고정하고 무엇을 사람에게 맡길지 먼저 정해 두면, 사람이 한 줄을 깜빡해도 인물은 바뀌지 않는다.