카카오 AI TOP 100 예선 후기, 혼자 팀장이었던 다섯 시간

10월 31일 오후 2시 38분, 제출 버튼을 눌렀습니다. 제출은 한 번뿐이라 누르고 나면 문제 페이지에도 다시 들어갈 수 없어요.

예선 전날 밤 글에서 세 가지를 다짐하고 들어갔습니다. 짧고 쉬운 답, AI가 만든 결과는 사람이 확인하기, 모를 때는 모른다고 말하는 에이전트. 그 다짐을 지켰는지, 다섯 시간 동안 어디서 막혔는지를 기억이 생생할 때 적어 둡니다. 문제의 구체적인 내용(인물, 이야기, 받은 자료)과 점수는 쓰지 않고 제가 일한 방식만 씁니다.

카카오 AI TOP 100 예선 다섯 시간은 이렇게 흘러갔습니다

아침 9시에 입장해서 10시 전까지 참가 동의서, 공정 경쟁 서약, 환경 인증 사진을 냈습니다. 10시에 문제가 열렸어요. 가상의 마을 관계자들과 카카오톡으로 대화하며 일이 어떻게 돌아가는지 알아내고, 받은 자료를 정리해서 그 일을 돕는 AI 에이전트를 카카오톡 봇으로 내는 과제였습니다.

봇 뼈대와 상시 서버는 미리 만들어 두었습니다. 이틀 전 운영사무국에 물어서 봇과 서버, AI 모델 연결 같은 공통 부분은 미리 준비해도 된다는 답을 받아 두었거든요. 덕분에 10시 25분에 첫 질문을 보내며 바로 인터뷰에 들어갈 수 있었습니다.

인젝션 점검은 봇을 속여 규칙을 어기게 하려는 입력을 일부러 넣어 보는 시험입니다. 대회 기본 요건이기도 했고요.

중간에 사고도 한 번 났습니다. 오후 1시쯤 입력 형식을 엄격하게 검사하는 도구를 42개 붙였더니 모델 API가 받아 주는 개수(20개)를 넘겨 요청이 거절됐어요. 그 2분 동안 봇은 준비해 둔 대체 문구만 보냈습니다. 설정을 바꾸면 재시작 직후 실제로 한 번 물어봐야 한다는 걸 대회 한복판에서 배웠습니다.

전날 밤 세 가지 다짐은 지켰을까

짧고 쉬운 답: 규칙으로 넣었지만 이모지는 빠뜨렸습니다

봇 기본 규칙에는 핵심 답을 첫 문장에 두라고 적었습니다. 마크다운 표, 머리글(#), 굵은 글씨(**)는 쓰지 말고, 목록이 필요하면 줄을 바꿔 "·"로 시작하라고도 했고요. 카카오톡은 마크다운을 서식으로 바꿔 주지 않아서 별표가 글자 그대로 보이거든요. 전문 용어와 영어 약어는 풀어 쓰게 했고, 다음에 물을 만한 질문은 14자 안쪽 버튼으로 붙였습니다. 길게 입력하지 않아도 버튼만 눌러 대화를 이어 갈 수 있게요. 사진이 흐려 읽을 수 없으면 그렇다고 말하고 글로 보내 달라고 하게 했습니다.

과제 지시문에는 "친절한 존댓말로 짧게", "정보가 더 필요하면 그 질문만 한 문장으로 묻는다"를 넣었습니다. 심사 안내를 보니 짧게 답하는 것도 중요하게 보는 대회였어요. 접근성 때문에 세운 원칙이 대회 기준과도 맞아떨어진 거죠.

다만 하나를 빠뜨렸습니다. 전날 밤 글에서 첫 번째로 든 예가 이모지였는데, 정작 규칙 파일 어디에도 이모지 이야기가 없더라고요. 스크린 리더는 이모지를 "웃는 얼굴"처럼 이름으로 하나하나 읽습니다. 다음 봇에는 이 줄부터 넣어 둘 생각입니다.

AI가 만든 결과는 사람이 확인한다: 절반만 지켰습니다

제출 전에 평가 질문과 인젝션 점검을 돌려 모두 통과하는 건 확인했습니다. 그런데 오후 2시 10분을 수정 마감으로 정해 놓고도 그 뒤에 봇을 여섯 번 더 고쳤어요. 그중 세 번은 제가 고치자고 한 것이었고요. 마감 뒤에 무엇을 고쳐도 되는지 기준이 없었던 탓입니다. 다음엔 아침에 한 줄로 정해 두려고 합니다. "새로 안 사실 때문에 지금 답이 틀리게 될 때만"처럼요.

모를 때는 모른다고: 이건 지켰습니다

끝까지 구하지 못한 자료가 몇 가지 남았습니다. 관계자에게 물으면 다른 사람이 안다고 가리키고, 그 사람은 다시 처음 사람을 가리키는 식이었어요. 봇에는 그 내용을 묻는 고객이 오면 지어내지 말고 담당자에게 넘기라고 적었습니다. 그럴듯한 숫자를 지어내는 봇은 한 번 틀리면 다시 믿기 어렵거든요.

가장 답답했던 건 카카오톡 질의응답 속도였습니다

카톡 답장을 이렇게 애타게 기다려 본 게 언제였나 싶습니다. 인터뷰는 전부 카카오톡 대화였어요. 질문을 보내고, 답을 기다리고, 답을 읽고 다음 질문을 보냅니다. 관계자가 아홉 명이면 기다림도 아홉 배로 쌓였습니다.

그런데 기록을 다시 보니 속도만 탓할 일은 아니었습니다. 오전 10시 25분부터 오후 1시 11분까지 저는 관계자에게 한 사람씩 차례로 질문했어요. 여러 사람에게 한꺼번에 보내 놓고 한 바퀴 돌며 답을 읽는 방식은 1시 12분에야 처음 썼습니다. 한 사람의 답을 기다리는 동안 다른 사람의 답을 읽을 수 있었는데, 세 시간 가까이 그러지 못한 거죠. 그 결과 주어진 질문 수의 절반도 쓰지 못하고 끝났습니다. 끝나고 스레드를 보니 저만 그런 건 아니었나 봐요. 다른 참가자 한 분도 돌아보면 병목은 사람이었고 질문을 대부분 절반도 못 썼다고 적었더라고요.

질문을 어디에 쓰느냐도 컸습니다. 대회는 관계자마다 지식을 얼마나 알아냈는지 숫자로 보여 주는데, 마지막 40분을 보면 한 사람에게 질문을 열 건 넘게 더 했을 때보다 다른 사람에게 서너 건 물었을 때 숫자가 훨씬 많이 올랐어요. 그 숫자를 처음 확인한 건 인터뷰를 시작하고 한 시간 반 뒤였고, 숫자를 보고 질문을 나눈 건 오후 1시 55분이 처음이었습니다.

혼자 팀장이 되려 했던 게 가장 큰 아쉬움입니다

대회가 끝나고 가장 먼저 든 생각은 이거였습니다. 대회든 실제 업무든, 저는 늘 팀장이 되어 직접 다 묻고 다 처리하려고 했어요. 조금 더 넓게 봤으면 좋았을 텐데요.

이 대회에서 참가자는 AX 전문가 역할을 맡습니다. AX는 일하는 방식을 AI로 바꾸는 일이에요. 그렇다면 제가 이 사업을 맡은 AX 사업자라고 생각하고, 사업에 필요한 직원 에이전트를 여럿 만들어 각자 다른 세션에서 일하게 했으면 어땠을까 싶습니다. 질문을 짜는 직원, 받은 자료를 정리하는 직원, 자료끼리 어긋나는 곳을 찾는 직원, 봇에 반영하는 직원처럼요. 실제로 역할을 나눈 건 오후 1시 48분이었습니다.

반대로 처음부터 일을 나눈 참가자도 있었습니다. 문제를 보자마자 사람이 할 일이 아니다 싶어 에이전트를 열두 개 띄웠고, 주어진 질문도 다 썼다고 하더라고요. 같은 다섯 시간 동안 그분은 열두 명짜리 팀을 꾸렸고, 저는 1인 기업이었던 셈입니다. 조직도로 그리면 팀장 1명, 팀원 0명. 결재 라인이 짧아서 결재 하나는 빨랐습니다.

업무 목록도 사실 아침 10시 13분에 만들어 두었습니다. 그런데 질문 목록으로만 쓰고 업무마다 담당자와 자료와 진행 상태를 채워 가는 표(업무 지도)로는 쓰지 않았어요. 오후 1시 11분에 아직 묻지 않은 업무만 골라 한 바퀴 물었더니 8분 만에 자료가 세 건 나왔습니다. 빈칸을 계속 보고 있었다면 더 일찍 던졌을 질문이었어요.

묻는 방식에서도 하나 배웠습니다. 직함으로 "총무가 누구냐"고 물으면 다들 모른다고 했는데, "이 일의 기준 문서가 있나, 누가 정하나"처럼 일과 문서로 물으니 자료 링크가 나왔어요.

10번째 관계자는 끝내 찾지 못했습니다. 단서는 있었지만 다시 돌며 물어도 모두 모른다거나 알려 줄 수 없다고 했어요.

카카오톡 창구는 하나: 다음엔 이렇게 나누겠습니다

직원 에이전트를 늘리면 다 빨라질까요? 여기서는 함께 일한 AI(Claude Code)의 의견이 저와 조금 달랐습니다. 자료 정리, 대조, 평가, 보고처럼 카카오톡 밖의 일은 나누면 빨라지지만, 카카오톡 대화는 창구가 하나뿐이고 대회 규정도 자동화로 대량 요청하는 걸 금지하니 일손을 늘려도 빨라지지 않는다는 거였어요. 둘 다 일리가 있어서 다음엔 두 의견을 합쳐 볼 생각입니다. 창구는 하나만 두고, 나머지 직원들이 그 창구 앞에 질문 대기열을 채워 두는 구조예요.

규칙도 몇 가지 정했습니다. 역할은 시작 30분 안에 나눕니다. 첫 질문부터 여러 사람에게 한꺼번에 보내고 한 바퀴 돌며 읽습니다. 주어진 질문은 다 쓰는 걸 기본으로 하고, 관계자별 숫자를 30분마다 봐서 덜 물은 사람부터 채웁니다. 두 사람이 서로를 가리키면 10분 안에 막힘으로 정리하고 봇에는 담당자에게 넘기라고 적습니다. 업무 지도의 뼈대는 대회 전에 만들어 두고, 당일엔 칸만 채웁니다.

교훈은 플러그인으로 만들고 있습니다

표로 정리하고 끝내면 다음에도 똑같이 혼자 다 하고 있을 것 같았습니다. 그래서 지금 다른 세션에서 이 교훈을 Claude Code 플러그인으로 만들고 있어요. 가칭은 ax-crew, 일을 '직원 에이전트 조직'으로 돌리게 하는 플러그인입니다.

큰 틀만 소개하면 이렇습니다.

• 저는 팀장으로 승인과 제출만 맡고, 메인 세션은 운영실장이 되어 배분과 현황을 챙깁니다. 나머지 역할은 별도 세션이나 서브에이전트가 맡습니다.
• 몇 시간짜리 행사와 몇 주짜리 사업, 두 가지 모드가 있습니다. 역할은 같고 현황을 점검하는 주기만 다릅니다.
• 역할끼리는 공유 파일로만 주고받고, 파일 하나에 쓰는 역할은 하나로 둡니다. 둘이 같은 걸 고치다 엉키는 일을 막으려고요.
• 사람과 대화하는 창구는 창구 수만큼만 두고, 나머지 역할이 그 앞의 대기열을 채웁니다.

역할을 어떻게 나누고 언제 무엇을 점검하는지 같은 세부 규칙은 아직 써 보면서 고치는 중이라, 여기까지만 적어 둡니다. 제출 버튼을 누르고 한 시간도 안 돼 다음 판을 준비하고 있으니, 아쉬움이 꽤 컸던 모양이에요.

마치며

AX 전문가로 나간 대회에서 정작 제 일하는 방식은 AI로 바꾸지 못했습니다. 다섯 시간 내내 팀장이자 인터뷰어이자 개발자였거든요. 혼자서도 아홉 명을 만나고 봇을 낼 수는 있었지만, 일을 나눴다면 더 빠르고 정확했을 거라고 생각합니다.

작년엔 남이 만든 서비스에 질문을 던지는 평가단이었고, 이번엔 그 질문에 답하는 봇을 만들었습니다. 다음 주 업무부터 이 표를 들고 가 보려고 합니다. 이번엔 팀원이 0명은 아닐 거예요.