기억은 무엇을 버릴지 정하는 일이다

이번 주 금요일 세션 전에 읽어야 할 자료가 세 편 왔다. 하나는 모델과 추상화, 하나는 인간 기억의 해상도, 하나는 기억과 접근 경로를 다뤘다. 플라톤에서 시작해 확장된 마음 이론까지 훑는 걸 보고 처음에는 서로 관련 없는 세 개의 인문학 리딩 자료라고 생각했다. 다 읽고 나서 생각이 바뀌었다. 세 편이 반복해서 던진 질문은 하나였고, 나는 그 질문을 매일 다른 이름으로 마주치고 있었다.

결론부터 말하면 이렇다. 인간이 기억을 다뤄온 방식과 지금 AI 에이전트의 메모리를 설계하는 방식은 거의 같은 문제를 풀고 있다. 다른 것은 메커니즘이 아니라 그 메커니즘이 겨누는 대상이다. 사람이 오래전부터 무엇을 같다고 볼지, 어떤 해상도로 남길지, 어떻게 다시 찾을지를 고민해왔다면 지금 에이전트를 설계하는 사람들은 정확히 같은 세 가지 질문을 처음부터 다시 풀고 있을 뿐이다.

이 글은 세 편의 자료가 순서대로 던진 질문을 따라간다. 무엇을 남기고 버릴지, 그 차이를 어떤 해상도로 저장할지, 저장한 것을 어떻게 다시 찾을지. 마지막에는 이 세 질문이 왜 에이전트 팀을 짜고 있는 나에게 그대로 돌아왔는지를 적는다.

무엇을 같다고 볼 것인가, 이해는 편집에서 시작한다

모델이라는 말을 들으면 흔히 과학이나 AI를 떠올리지만 인간은 훨씬 오래전부터 세계를 모델로 바꾸며 살아왔다. 이름을 붙이는 순간에도, 지도를 그릴 때도, 사람을 성격 유형으로 나눌 때도 마찬가지다. 어떤 대상을 이해한다는 것은 그 대상을 있는 그대로 복제하는 일이 아니다. 수많은 특징 가운데 일부를 남기고 나머지를 버린 뒤 다룰 수 있는 형태로 바꾸는 일에 가깝다. 플라톤은 이 문제를 아주 낯선 방향에서 처음 건드렸다.

플라톤의 형상론은 종이에 그린 삼각형에서 출발한다. 선은 완벽하게 곧지 않고 꼭짓점도 이상적이지 않은데 우리는 그것을 여전히 삼각형이라고 알아본다. 플라톤은 우리가 개별 삼각형을 넘어선 보편적인 삼각형 자체를 이해하고 있기 때문이라고 봤고 같은 논리를 아름다움이나 정의 같은 개념에도 적용했다. 오늘날 관점에서는 낯설다. 우리는 보통 현실이 원본이고 모델이 축약본이라고 생각하는데 플라톤에게는 거의 반대였기 때문이다. 여기서 중요한 건 플라톤이 맞았다는 결론이 아니라 그가 남긴 질문 하나다. 서로 다른 사례에서 우리는 무엇을 같다고 판단하는가.

아리스토텔레스는 보편적 형상이 현실과 별개로 존재한다고 보기보다 구체적인 사물을 관찰하고 분류하는 쪽에 관심이 많았다. 《범주론》에서는 어떤 대상을 설명할 때 우리가 쓰는 말을 몇 가지 차원으로 나눈다. 무엇인지, 얼마나 큰지, 어떤 성질을 갖는지, 다른 것과 어떤 관계인지, 어디에 있는지, 언제 존재하는지. 세계의 무한한 특징을 그대로 기록하는 대신 질문할 수 있는 차원을 먼저 만든 것이다. 데이터베이스를 설계할 때도 똑같은 일이 벌어진다. 한 사람에게는 끝없이 많은 특징이 있지만 시스템은 그중 일부만 필드로 만들고, 필드에 없는 것은 시스템 안에서 거의 존재하지 않는 것처럼 취급된다. 사용자를 신규, 활성, 휴면, 이탈 네 단계로 나누면 운영은 쉬워지지만 팀은 그 순간부터 세상을 그 네 상태로만 보기 시작한다. 모델은 현실을 설명하는 도구인 동시에 현실을 보는 눈이 되어버린다.

칸트는 한 단계 더 이상한 질문을 던졌다. 우리는 세계를 정말 있는 그대로 경험하는가. 칸트의 대답은 대체로 그렇지 않다는 쪽이었다. 사람은 감각으로 들어오는 정보를 그냥 받아들이는 게 아니라 공간과 시간 같은 구조, 인과성 같은 개념을 통해 경험한다. 컵이 바닥에 떨어져 깨졌을 때 우리는 컵, 낙하, 파손이라는 세 사건을 따로 보는 게 아니라 컵이 떨어졌기 때문에 깨졌다는 인과관계로 이해한다. 이걸 단순화하면 질문 하나가 남는다. 우리가 세계에서 발견했다고 믿는 구조 가운데 얼마나 많은 부분이 사실은 이해하기 위해 미리 가져간 구조인가.

알프레드 코르지브스키는 이 문제를 한 문장으로 정리했다. 지도는 영토가 아니다. 서울 지하철 2호선은 노선도에서 깔끔한 원으로 보이지만 실제 철길은 그렇게 생기지 않았고 역 사이 거리도 방향도 현실과 다르다. 그런데 이 지도는 나쁜 지도가 아니라 오히려 좋은 지도다. 갈아타려는 사람에게 필요한 정보만 남겼기 때문이다. 호르헤 루이스 보르헤스는 이 아이디어를 극단으로 밀어붙였다. 《과학의 엄밀함에 대하여》에서 지도 제작자들은 점점 더 정확한 지도를 만들다가 결국 제국과 똑같은 크기의 지도를 만들어버리는데, 그런 지도는 아무 쓸모가 없다. 100쪽짜리 책을 100쪽으로 요약하면 아무 의미가 없는 것과 같은 이치다. 모델의 유용성은 정확도가 아니라 무엇을 잘 버렸는가에서 나온다.

정보를 줄이는 순간 선택이 들어가고 선택에는 목적과 가치가 들어간다. 그래서 모델은 현실의 작은 버전이 아니라 무엇이 중요한지 판단한 흔적이 새겨진 현실의 편집본에 가깝다. AI가 한 사람을 몇 줄로 요약할 때 최근 행동을 남길지, 오래 유지된 취향을 남길지, 반복된 습관을 남길지에 따라 완전히 다른 사람이 만들어진다. 문제는 그렇게 만든 모델 하나를 현실 자체라고 착각하는 순간 생긴다. 에이전트를 벤치마크 점수 하나로 설명할 수도 있지만 쓸모는 있어도 어느 순간부터 그 점수가 설명하지 못하는 부분이 반드시 나타난다. 좋은 사고는 완벽한 모델 하나를 찾는 일이 아니라 필요에 따라 서로 다른 모델을 바꿔 쓰는 능력에 더 가깝다. 계산 비용이 계속 낮아져 AI가 더 많은 정보를 처리할 수 있게 된다면 과거에는 계산 능력의 한계 때문에 필요했던 추상화 가운데 일부는 앞으로 불필요한 손실이 될 수도 있다. 그 가능성은 열어두는 게 맞다고 본다.

기억에는 하나의 해상도만 있는 게 아니다

우리는 흔히 눈으로 본 것이 머릿속에 그대로 들어가고 시간이 지나면 일부가 흐려진다고 생각한다. 인지과학 연구를 따라가 보면 훨씬 이상한 그림이 나온다. 인간은 처음부터 모든 정보를 같은 방식으로 저장하지 않는 것처럼 보인다. 어떤 대상은 몇 개의 특징을 중심으로 하나의 범주가 되고, 사건은 기존 지식과 결합해 다시 구성되며, 같은 경험에서도 정확한 세부와 대략적인 의미가 서로 다른 형태로 남는다.

1970년대 심리학자 엘리너 로시는 사람들이 쓰는 자연 범주 안에 중심과 주변이 있다는 걸 보여줬다. 원형에 가까운 자극은 그렇지 않은 자극보다 더 빨리 학습되고 그 범주를 대표하는 사례로 더 자주 선택됐다. 이후 연구에서는 전형적인 구성원일수록 같은 범주의 다른 구성원과 속성을 더 많이 공유하고 다른 범주와는 적게 공유한다는 가족 유사성 개념도 다뤄졌다. 사람은 세계를 가구, 의자, 흔들의자처럼 여러 해상도로 나눌 수 있는데 모든 의자를 각각 고유한 사물로 기억하면 일반화가 안 되고 모든 걸 물체라고 부르면 구별이 안 된다. 어딘가 중간에 쓸모 있는 해상도가 있다.

1932년 프레더릭 바틀렛은 《Remembering》에서 이후 유명해진 War of the Ghosts 실험을 소개했다. 참가자들은 자신들에게 낯선 문화의 이야기를 읽고 나중에 다시 이야기했는데, 반복되는 회상마다 일부 요소는 생략되고 일부는 더 친숙한 형태로 바뀌었으며 이야기의 구조 자체가 이해하기 쉬운 방향으로 재구성됐다. 바틀렛은 이 현상을 기존 지식이 새 정보를 조직하는 스키마 개념과 연결했다. 이 연구를 인간의 기억은 부정확하다는 한 줄로 요약하면 중요한 걸 놓친다. 바틀렛이 진짜 관심을 가진 건 기억이 능동적인 의미 구성 과정이라는 사실이었다. 기억은 망가진 녹화본이 아니라 지금의 지식으로 과거를 다시 짓는 시스템에 가깝다.

발레리 레이나와 찰스 브레이너드가 발전시킨 Fuzzy-Trace Theory는 기억을 verbatim trace와 gist trace로 나눈다. verbatim은 정확한 표현과 수치를, gist는 그 정보가 무엇을 의미하는지에 관한 추상적인 표현을 보존한다. 다음 분기 예산이 18.7퍼센트 줄어들 가능성이 있다는 말을 들었을 때 verbatim은 18.7퍼센트라는 숫자에 가깝고 gist는 예산이 꽤 줄어든다는 의미에 가깝다. 흥미로운 건 사람이 항상 더 정확한 표현 쪽으로 발달하는 게 아니라 경험과 전문성이 늘수록 오히려 gist를 더 적극적으로 쓴다는 점이다. 추상화는 기억의 실패가 아니라 더 빠른 판단을 가능하게 하는 별도의 표현 방식일 수 있다.

1961년 신경과학자 호러스 발로는 감각계가 정보를 처리하는 방식에 대한 여러 가설을 내놨고 그중 이후 큰 영향을 준 것이 중복을 줄인다는 redundancy reduction 원리다. 감각 시스템은 들어오는 모든 신호를 동일하게 전달하기보다 이미 예상 가능한 중복을 줄이고 정보량이 높은 차이만 효율적으로 표현한다는 아이디어다. 발로가 뇌는 데이터 압축 알고리즘이라고 증명한 건 아니다. 다만 감각계가 어떻게 조직될 수 있는지에 관한 원리를 제안했고 이후 효율적 부호화라는 넓은 연구 전통에 영향을 줬다. 지각이 시작되는 순간부터 이미 편집은 시작되고 있는 셈이다.

오늘 살펴본 연구들은 서로 다른 문제를 다룬다. 로시는 범주화를, 바틀렛은 기억의 재구성을, Fuzzy-Trace Theory는 서로 다른 수준의 표상을, 발로는 감각 정보의 변환 원리를 연구했다. 이들을 하나의 뇌 압축 이론으로 묶는 건 정확하지 않지만 함께 놓으면 반복해서 등장하는 질문이 있다. 정보를 보존할지 버릴지의 이분법보다 어떤 차이를 어떤 해상도로 보존할지가 더 중요하다는 것이다. 데이터 10만 개를 다섯 개의 숫자로 줄였다고 좋은 대시보드가 되는 게 아니다. 그 다섯 숫자가 사용자가 내려야 할 판단에 필요한 차이를 담지 못하면 정보가 적어졌을 뿐이다. 반대로 10만 개를 전부 보여줘도 사용자는 무엇이 달라졌는지 찾지 못한다. 좋은 추상화는 정보를 지우는 일이 아니라 과업에 필요한 차이만 골라 남기는 일이다. 그런데도 왜 우리는 정확한 문구와 수치를 지키려고 그렇게 많은 외부 기록 장치를 따로 만들어왔을까 생각하면, 추상화 능력이 지능의 핵심인 동시에 스스로를 계속 잘못 이해하게 만드는 원인일 수도 있겠다는 의심이 남는다.

기억은 머릿속에만 있지 않다

우리는 흔히 기억을 뇌 안에 있는 것으로 생각하지만 인간은 아주 오래전부터 기억을 몸 밖으로 내보냈다. 점토판, 책, 도서관, 동료, 노트, 검색엔진까지 모두 어떤 의미에서는 기억의 일부를 대신한다. 그런데 외부에 정보를 저장하는 순간 흥미로운 변화가 생긴다. 우리는 모든 걸 직접 기억할 필요가 없어지는 대신 어디에 무엇이 있는지를 기억해야 한다. 바로 이 지점에서 기억은 저장의 문제가 아니라 접근의 문제로 바뀐다.

고대 메소포타미아에서는 오랜 기간 점토판에 쐐기문자를 새겼다. 남아 있는 점토판에는 문학이나 종교 못지않게 토지, 물품, 행정 같은 일상적인 기록이 상당히 많이 포함돼 있다. 기록 이전에는 어떤 약속이나 거래가 유지되려면 누군가 그것을 계속 기억하고 있어야 했지만 기록을 남기면 누가 얼마를 빚졌는지, 어떤 물건이 어디로 이동했는지를 당사자가 머릿속에 붙들고 있을 필요가 없어진다. 정보가 인간의 기억에서 떨어져 나와 물리적인 대상으로 존재하기 시작하면서 인간이 기억해야 하는 것의 종류도 달라졌다. 무엇이 있었는지를 전부 기억하는 대신 어디에 기록되어 있고 그 기록을 어떻게 읽으며 누가 관리하는지를 아는 게 중요해졌다.

2차 세계대전이 끝나가던 1945년 미국의 공학자 배너바 부시는 《As We May Think》를 발표했다. 그가 걱정한 건 정보가 부족하다는 게 아니라 지식이 너무 빠르게 늘어나 필요한 정보를 찾아 연결하고 쓰는 능력이 그 속도를 따라가지 못한다는 것이었다. 그래서 상상한 것이 memex다. 개인이 책, 기록, 통신 내용을 저장하고 빠르게 불러오는 가상의 장치였다. memex에서 더 흥미로운 건 저장 용량이 아니라, 부시가 기존의 알파벳순이나 숫자순 색인이 인간 사고와 잘 맞지 않는다고 보고 한 자료에서 다른 자료로 이어지는 연상 경로, associative trail을 상상했다는 점이다. 기억 장치를 저장하는 곳이라고 생각하면 용량이 중요해지고 사고를 다시 이어가게 만드는 곳이라고 생각하면 연결과 검색이 중요해진다.

사회심리학자 대니얼 웨그너가 발전시킨 transactive memory는 사람들이 집단 안에서 기억을 나누는 방식을 설명한다. 핵심은 단순하다. 모든 사람이 모든 걸 기억할 필요는 없고 누가 무엇을 알고 있는지만 알면 된다. 한 팀에서 누군가는 빌드 시스템을 잘 알고 누군가는 재무를, 누군가는 광고 데이터를 잘 안다면 모든 팀원이 모든 정보를 외울 필요는 없다. 이 문제는 누구에게 물어보면 되는지만 알고 있으면 팀 전체가 하나의 더 큰 기억 시스템처럼 작동한다. 팀의 지능은 구성원 각자가 아는 것의 합이 아니라 그 지식이 누구에게 있고 얼마나 정확히 찾을 수 있는지에도 달려 있다.

2011년 벳시 스패로우, 제니 리우, 대니얼 웨그너는 《Google Effects on Memory》를 발표했다. 연구진은 사람들이 정보에 다시 접근할 수 있으리라 예상할 때 무엇을 기억하는지 조사했는데, 나중에도 정보가 저장돼 있을 거라 생각한 참가자들은 정보 자체를 덜 기억하는 대신 그 정보가 저장된 위치를 더 잘 기억하는 경향을 보였다. 2024년 첸 공과 양 양이 진행한 메타분석에서도 이 경향은 대체로 재확인됐다. 이걸 구글 때문에 인간의 기억력이 나빠졌다고 단순화하는 건 과하다. 더 안전한 해석은 외부 정보에 접근할 수 있다는 조건이 인간의 기억 전략 자체를 바꿀 수 있다는 정도다.

1998년 철학자 앤디 클락과 데이비드 차머스는 《The Extended Mind》에서 인지 과정이 반드시 뇌와 몸의 경계 안에서 끝나야 하는지 물었다. 논문에는 기억 장애가 있어 중요한 정보를 노트에 적어 항상 들고 다니는 오토라는 사고실험이 나온다. 어떤 장소를 찾아갈 때 오토는 생물학적 기억 대신 노트를 확인한다. 그 노트가 항상 곁에 있고 신뢰할 수 있고 필요할 때 자동으로 참조된다면 그 노트는 단순히 기억을 돕는 도구일까, 아니면 오토의 기억 시스템 그 자체의 일부일까. 마음의 경계는 어디까지인가.

점토판은 기억을 물질로 만들었고 memex는 저장된 정보 사이에 경로를 만들었다. transactive memory는 다른 사람의 지식 위치를 기억하게 했고, 검색엔진 연구는 정보 자체보다 정보의 위치를 기억하는 전략을 보여줬다. Extended Mind는 외부 자원이 충분히 긴밀하게 결합하면 그것을 인지의 일부로 볼 수 있는지 물었다. 인간은 모든 내용을 직접 기억하기보다 필요한 정보에 다시 도달할 수 있는 경로를 기억하는 방식으로 계속 적응해온 것처럼 보인다. 기록이 존재한다고 기억이 존재하는 건 아니다. 수년 동안 쌓인 메시지가 있어도 아무도 다시 찾을 수 없다면 사실상 기억으로 기능하지 못한다. 쓸모 있는 기억은 알맞은 해상도로 남는 것만으로는 부족하다. 다시 찾아갈 수 있어야 진짜 기억이다.

에이전트 팀도 똑같이 기억한다, 다만 대상이 달라졌다

세 편을 다 읽고 나서 낯설지 않다는 느낌이 오래갔다. 나는 최근 몇 달 여러 개의 에이전트를 하나의 팀처럼 굴리는 워크플로우를 직접 설계해서 매일 쓰고 있다. 계획을 세우는 역할, 코드를 실행하는 역할, 결과만 독립적으로 검증하는 역할을 서로 다른 에이전트로 분리해두고 어떤 에이전트가 어떤 도메인을 맡는지 라우팅 규칙으로 못박아 둔다. 이게 사람 조직에서 팀을 나누는 이유와 다르지 않았다. 기획과 개발을 나누는 이유, 검증을 실행자 본인이 아니라 다른 사람에게 맡기는 이유가 계획 에이전트와 실행 에이전트, 검증 에이전트를 나누는 이유와 정확히 같았다.

웨그너의 transactive memory가 말한 게 바로 이거였다. 한 사람이 모든 걸 알 필요는 없고 누가 무엇을 아는지만 정확히 알면 된다는 것. 에이전트 팀을 짤 때도 각 에이전트에게 모든 지식을 다 넣어주고 싶은 유혹이 있는데 그렇게 하면 오히려 느려지고 서로 충돌한다. 대신 어떤 질문은 어떤 에이전트에게 가야 하는지를 정의하는 편이 훨씬 효율적이다. 이건 신입에게 모든 매뉴얼을 외우게 하는 대신 누구에게 물어봐야 하는지를 알려주는 것과 같은 설계다.

메모리를 설계하는 방식도 마찬가지였다. 나는 에이전트가 세션이 끝난 뒤에도 남겨야 할 것들을 몇 개의 층으로 나눠 저장하게 만들었다. 사용자에 대한 사실, 피드백으로 배운 교정, 지금 진행 중인 프로젝트의 상태, 참고할 외부 자료. 이건 로시가 말한 원형과 주변의 구분이나 레이나와 브레이너드가 말한 verbatim과 gist의 구분과 본질적으로 같은 결정이다. 무엇을 원문 그대로 남기고 무엇을 의미로 뭉쳐서 남길지 매번 골라야 한다. 심지어 오래된 기억은 그대로 믿지 말고 지금 관찰되는 사실과 대조해서 검증한 뒤에 쓰라는 규칙까지 넣어뒀는데 이건 바틀렛이 말한 재구성적 기억과 다르지 않다. 기억은 고정된 기록이 아니라 지금 다시 확인해야 하는 잠정적인 것이라는 태도다.

그런데 여기서 사람 조직과 갈라지는 지점이 하나 있다. 사람 조직에서는 암묵지가 굳이 문서화되지 않아도 어떻게든 전달된다. 옆자리에서 우연히 듣거나 표정을 보거나 그냥 오래 같이 일해서 안다. 에이전트에게는 그런 여백이 없다. 텍스트로 남기지 않은 것은 다음 세션에서 존재하지 않는 것과 똑같다. 그래서 예전에는 누가 아는지만 기억하면 충분했던 일이, 이제는 그 앎을 어떤 해상도로 어떤 경로로 다시 도달 가능하게 박아둘지까지 설계해야 하는 일로 바뀌었다. 그리고 그 목록에는 결론뿐 아니라 결론에 이른 경로까지, 부시가 말한 연상 경로나 증거에서 판단으로 이어지는 흐름까지 포함해야 한다는 걸 최근에야 체감하고 있다.

세 편의 글이 순서를 바꿔가며 던진 질문은 사실 하나였다. 무엇을 남기고 버릴지, 그 차이를 어떤 해상도로 저장할지, 저장한 것을 어떻게 다시 찾을지. 플라톤과 아리스토텔레스와 칸트가 첫 질문에, 로시와 바틀렛과 레이나와 브레이너드와 발로가 두 번째 질문에, 점토판과 부시와 웨그너와 클락과 차머스가 세 번째 질문에 각자의 답을 내놨을 뿐이다. 지금 에이전트 메모리를 설계하는 사람들은 이 세 질문을 처음부터 다시 풀고 있다.

한 가지는 인정해야 한다. 사람 조직과 에이전트 팀이 이렇게 깔끔하게 겹친다는 사실 자체가 오히려 의심할 지점이다. 사람 조직의 기억에는 신뢰, 정치, 감정처럼 텍스트로 쉽게 환원되지 않는 층이 있고 에이전트 팀에는 아직 그런 층이 거의 없다. 외부 기억에 더 의존할수록 내부 지식이 줄어들 수 있다는 반론도, 깊은 사고가 정보를 찾는 능력만으로 가능한지 묻는 질문도 여전히 유효하다. 이 비유가 얼마나 오래 버틸지 나도 확신하지 못한다.

그래도 이번 주 다시 확인한 건 하나다. 기억은 얼마나 많이 담았는가의 문제가 아니라 무엇을 버려도 되는지 판단하는 능력의 문제였다. 사람이든 팀이든 에이전트든 마찬가지다. 다음 금요일 세션에는 이 질문을 들고 가볼 생각이다.