그날 움직임의 원인을 LLM 이 읽으면 3선 고유 몫 되돌림을 고를 수 있는가

가설과 결론

앞선 실험에서 3년 국채선물(3선)의 장중 움직임 가운데 코스피200 선물과 달러선물이 설명하지 못하는 몫, 곧 고유 몫이 큰 날 그날 종가에 반대로 들어가 다음 날 종가에 나오면 작은 이득이 남는다는 것을 보았다. 이 실험의 확인 구간에서도 그 규칙은 234일, 건당 비용 1틱 뒤 +1.16틱이었다. 그러나 비용 2틱이면 거의 사라지고, 시장 특징 아홉 개로 좋은 날을 고르려던 메타 라벨 시도는 동전 수준이었다. 남은 생각은 «왜 되돌아가는가» 를 직접 읽는 것이다. 움직임이 새 정보가 아니라 일시적 압력(외국인이나 기관의 대량 매매, 차익거래, 롤, 포지션 정리) 때문이었다면 다음 날 되돌아갈 것이고, 새 정보(지표, 정책 발언, 공급 발표, 해외 금리) 때문이었다면 덜 되돌아갈 것이다.

출처는 Two Sigma 의 AI 핵심 팀장 Mike Schuster 인터뷰다. 인터뷰는 LLM을 통한 특징 추출과 실제 금융 과제에서의 검증을 강조한다. 고정 스키마와 반복 채점은 이 실험이 그 관점을 구체화해 설계한 검증 장치다. 사건일마다 그날 08:30 ~ 15:30 에 게시된 인포맥스 1002 채권 기사 목록을 헤드리스 Claude Haiku 에 넣고, 원인 범주 하나와 정보성 점수, 근거 기사를 JSON 으로 받았다. 규칙과 문턱, 검정은 결과를 보기 전에 사전등록했다.

LLM 은 원인을 안정적으로 분류했지만 그 분류는 다음 날 되돌림의 크기를 가르지 못했다. 기사는 움직임 뒤에 원인을 붙이는 해설이고, 되돌림 이득은 원인이 아니라 고유 몫의 크기에 실려 있었다.

용어와 기호

자료

데이터셋

사건일 259일 모두 장중 채권 기사가 있었다. 하루 기사 수는 11 ~ 97건, 중앙 25건이다. 해마다 평균은 29 ~ 34건으로 고르다. 기사는 1002 검색에서 연합인포맥스 출처이고 분류에 «채권» 이 붙은 것만 받았다. 표 기사(코리보, 채권계산 참고사항 등)는 입력에서 빼려 했지만 «[표]» 로 시작하는 변형은 걸러지지 않고 들어갔다. 표 기사는 원인을 담지 않으므로 분류에 영향이 작다고 보았다.

본문 전문 대신 검색 목록이 함께 돌려주는 요약(본문 첫 한두 문장)을 썼다. 사건일마다 기사 25건 안팎의 전문을 따로 받는 것은 밤 시간 예산 밖이었다. 시황 기사의 첫 문장은 대개 «국고채 금리가 하락했다» 같은 결과 문장이고 원인은 둘째 문장 뒤에 오는 경우가 많아, 이 선택은 «원인불명» 을 늘리는 쪽으로 작용했을 수 있다. 원문은 저장소 안의 원자료 폴더에만 두고 바깥으로 내보내지 않았다.

표본과 시각 정렬

고유 몫 회귀에 코스피200 선물 1분봉(2022 ~)이 필요하고, 잔차와 문턱이 각각 250세션 창을 채워야 하므로 첫 사건일은 2023-04-10 이다. 아이디어 문서는 발견 구간을 2016 ~ 2023 으로 적었지만 실제 발견 구간은 2023-04 ~ 12 의 25일뿐이었다. 그래서 결과 지표로 고르는 문턱을 두지 않고, 모든 정의와 상수를 미리 고정한 뒤 확인 구간(2024-01-01 ~ 2026-10-28, 234일) 하나로 판정했다. 연도별 사건일은 2023 년 25일, 2024 년 66일, 2025 년 84일, 2026 년 84일이다.

시각은 이렇게 맞췄다. 기사는 08:30:00 이상 15:30:00 미만에 게시된 것만 넣었고, 실제로 가장 늦은 기사는 15:29:48 이었다. 고유 몫도 15:30 1분봉까지의 정보로 계산한다. 진입은 그 뒤 15:35 ~ 15:45 종가 단일가(정산가)이므로 미래 정보는 들어가지 않는다. LLM 입력에는 날짜를 주지 않았다. 외국인 수급은 15:28 ~ 15:30 사이 마지막 30초 스탬프를 쓴다. 2026-07-09 ~ 08-07 의 10일은 수급 표가 0 으로 적혀 있어 W_flow 에서 비정보가 될 수 없었다.

방법

사건일과 되돌림 손익

사건일과 손익은 앞선 메타 라벨 실험이 만든 일별 패널을 그대로 썼다. 날마다 3선의 개장부터 15:30 까지의 변화를 같은 창의 코스피200 선물과 달러선물 로그 변화로 회귀하고(계수는 직전 250세션), 남은 잔차 r 의 절댓값이 직전 250세션 분포의 67% 분위 이상이면 사건일이다. 사건일에는 그날 정산가에 −sign(r) 방향으로 한 계약 들어가 다음 세션 정산가에 나온다. 다음 세션이 월물 교체일이면 뺀다. 이 규칙은 연 83회 안팎으로 거래한다. 이 실험은 규칙을 바꾸지 않고, 그 가운데 어떤 날을 거래할지만 LLM 라벨로 고른다.

LLM 채점과 대조 라벨

입력은 두 부분이다. 첫 줄은 «오늘 3선 가격은 시가 대비 15:30 까지 X틱 상승(금리 하락)했고, 같은 시간 주가와 환율로 설명되지 않는 몫이 컸다» 는 문장이고, 그 아래에 그날 장중 채권 기사 목록이 게시 시각 순으로 붙는다. 기사마다 시각, 제목, 요약 150자다. 시스템 프롬프트는 범주 여섯 개의 정의와 «기사에서 원인을 뚜렷이 찾지 못하면 원인불명» 이라는 지시, 출력 JSON 형식을 담는다. 호출은 claude -p --model haiku 로 도구와 설정 없이 사건일 하나에 한 번이다. 같은 입력을 두 번(run A, run B) 넣어 일치율을 쟀고 확증 라벨은 run A 다.

LLM 이 정말 무언가를 더하는지 보려고 대조 라벨 둘을 미리 정의했다. 사전 단어 라벨 W_dict 는 시장 기사 제목(국채선물, 국고채, 금리, 강세, 약세 등을 포함하는 제목)에서 수급 낱말(외국인, 매수, 매도, 차익, 롤, 포지션, 손절 등 15개)과 정보 낱말(지표, 물가, 금통위, 총재, 발행, 입찰, 미국, 연준, 관세, 유가 등 24개)을 세어, 수급 낱말이 더 많거나 둘 다 없으면 비정보로 둔다. 외국인 수급 라벨 W_flow 는 기사 대신 실제 매매를 본다. 15:30 의 외국인 누적 순매수가 그날 움직임과 같은 부호이고 직전 60세션 표준편차의 1배 이상이면 «외국인이 움직임을 만든 날», 곧 비정보로 둔다. 두 라벨의 문턱은 결과를 보기 전에 정한 상수다.

검정과 기준선

H762 는 확인 구간 사건일 안에서 라벨을 5,000번 섞어 «비정보 평균 − 정보 평균» 의 귀무 분포를 만들고 한쪽 p 를 낸다. 같은 차이를 달 단위로 묶어 복원 추출한 월 블록 부트스트랩 p 와 90% 구간도 함께 낸다. H763 은 비정보 사건일의 net1 평균을 월 블록 부트스트랩으로 검정하고 연 24회 이상을 조건으로 둔다. H764 와 H765 는 같은 날들에서 «LLM 라벨의 차이 − 대조 라벨의 차이» 를 월 블록 부트스트랩으로 짝지어 검정한다. H766 은 g 를 라벨과 표준화한 |r| 에 함께 회귀하고, H767 은 g 를 (1 − info) 에 회귀한다. 두 회귀 모두 Newey-West(시차 5) 표준오차다. 여섯 원 p 에 Holm 을 건다.

판정 문턱은 사전등록대로다. H762 와 H763 이 Holm p < 0.05 이고 차이가 1틱 이상, 빈도 연 24회 이상, 비용 2틱 뒤 양이면 채택, H762 원 p < 0.05 이지만 나머지 중 하나라도 못 넘으면 보류, H762 원 p ≥ 0.05 면 폐기다. 기준선은 다섯을 두었다. 사건일 모두 되돌림, 항상 매수, 추종(되돌림 반대), 같은 수의 무작위 사건일, |r| 상위 절반 크기 거르개다. 라벨에 결과로 고르는 단계가 없으므로 라벨 순열 자체가 선택 절차를 포함한 귀무다. 강건성으로는 사건 분위 {0.67, 0.80} × 보유 {다음 정산가, 다음 시가} × 비용 {0.5, 1, 2}틱 격자, 연도별 손익, 충격 구간 제외, 15:35 체결가 진입, 미국 야간 되돌림 카드와의 겹침을 미리 정했다.

결과

확증 결과

비정보로 분류된 128일의 건당 총손익은 +2.27틱, 정보로 분류된 106일은 +2.03틱이었다. 부호는 가설 쪽이지만 차이 +0.24틱은 예측한 +1틱의 4분의 1이고, 라벨을 섞은 귀무의 95% 분위가 +2.69틱이라 관측값은 귀무 분포 한가운데(p 0.45)에 있다. 월 블록 부트스트랩의 90% 구간은 −2.56 ~ +3.26틱으로 0 을 넓게 감싼다. 원인 라벨로 사건일을 둘로 나누어도 두 쪽이 거의 같은 만큼 되돌아갔다.

H766 회귀가 이유를 보여 준다. g 를 라벨과 표준화한 |r| 에 함께 회귀하면 라벨 계수는 +1.09틱(t 0.63)인데 크기 계수는 +1.87틱(t 2.07, 한쪽 p 0.019)이다. 같은 사건일 안에서도 잔차가 클수록 더 되돌아가고, 원인 라벨은 그 위에 더하는 것이 없다. 정보성 점수를 연속 변수로 쓴 H767 은 부호마저 반대(−1.00)였다. 사전 단어 라벨과 외국인 수급 라벨은 차이가 각각 +2.14틱, +0.60틱으로 LLM 보다 컸지만(H764, H765 의 짝 차이 −1.91, −0.36), 그 둘도 단독으로 유의하지 않다(순열 p 0.17, 0.36).

기준선과 라벨 정의 비교

사건일을 모두 거래한 되돌림은 비용 1틱 뒤 +1.16틱, 월 블록 p 0.009 로 이 구간에서도 유의했다. 항상 매수는 −1.73틱, 추종은 −3.16틱이라 이득은 방향 편향이 아니라 되돌림 자체에서 나온다. 같은 수(128일)를 무작위로 고른 귀무의 평균은 +2.14틱, 90% 구간 +0.96 ~ +3.34틱이고 비정보 라벨의 +2.27틱은 그 분포의 58번째 백분위다. 결과를 전혀 보지 않고 잔차 크기만으로 거른 |r| 상위 절반이 +1.43틱으로 LLM 라벨(+1.27틱)보다 조금 나았다.

LLM 라벨을 바꾸어 보아도 그림은 같다. run B 로 하면 차이는 +0.01틱, 두 번 모두 비정보인 날만 비정보로 두면 +0.55틱, 정보성 점수 0.4 이하를 비정보로 두면 +0.57틱이고 순열 p 는 0.37 ~ 0.50 이다. 라벨끼리의 일치도 낮았다. LLM 과 사전 단어 라벨은 56%, LLM 과 외국인 수급 라벨은 48% 의 날에서 같은 판단을 했다. 세 방식이 «비정보» 라고 부르는 날이 서로 거의 독립이라는 뜻이고, 그 가운데 어느 것도 되돌림을 뚜렷이 가르지 못했다.

범주별 손익과 연도

범주별로 쪼개면 비정보 묶음 안에서 두 범주가 정반대로 갈린다. 수급으로 분류된 84일은 비용 1틱 뒤 +0.20틱으로 여섯 범주 가운데 국내지표(2일)를 빼면 가장 약했고, 원인불명 44일은 +3.30틱으로 가장 강했다. 정보 범주는 정책발언 +1.23틱(31일), 공급 +2.12틱(17일), 해외금리 +0.91틱(56일)으로 사건일 평균 근처에 모였다. 가설은 «수급 압력은 되돌아간다» 였는데, 기사가 «외국인 매도에 약세» 처럼 수급을 원인으로 든 날이 오히려 덜 되돌아갔다. 수급 기사가 가리키는 매매는 지나가는 압력이 아니라 정보에 근거한 포지션 이동이었을 수 있다.

연도별로 보면 비정보 대 정보의 순서가 해마다 바뀐다. 2023 년(발견)은 +1.17틱 대 +6.62틱, 2024 년은 −0.63틱 대 +3.42틱으로 정보가 앞섰고, 2025 년은 +1.35틱 대 +0.29틱, 2026 년은 +2.68틱 대 −0.18틱으로 비정보가 앞섰다. 네 해 가운데 둘씩 나뉘는 결과는 안정된 효과가 아니라 표본 잡음에 가깝다. 발견 구간 25일의 차이는 −5.45틱으로 부호부터 반대였다.

강건성 격자와 비용

사전등록한 격자에서도 라벨의 우위는 서지 않았다. 사건 분위를 0.80 으로 올려 큰 날만 보면 비정보 67일 +1.31틱, 정보 74일 +2.07틱으로 차이가 −0.75틱으로 뒤집혔다. 보유를 다음 날 시가까지로 줄이면 두 쪽 모두 이득이 줄어 비정보 +0.31틱, 정보 +0.08틱(비용 1틱)이었다. 비용을 0.5, 1, 2틱으로 바꾸면 비정보는 +1.77, +1.27, +0.27틱, 정보는 +1.53, +1.03, +0.03틱이다. 두 선은 평행하게 내려가고, 2틱에서는 어느 쪽도 거의 남지 않는다.

실행 현실화와 충격 구간도 결론을 바꾸지 않았다. 진입을 정산가 대신 15:35 연속 거래 마지막 체결가로 바꾸면 비정보 +0.99틱, 정보 +1.12틱(비용 1틱)으로 차이가 −0.13틱이 된다. 정산가 진입이 연속 거래 체결가보다 약 0.2 ~ 0.3틱 유리했다는 뜻이다. 아홉 개 충격 사건 앞뒤를 뺀 223일에서도 차이는 +0.28틱(순열 p 0.43)이었다. 독립성으로는 비정보 거래일 128일 가운데 56일이 미국 야간 되돌림 카드와 같은 날 보유했고 손익 상관은 +0.24 였다. 신호가 유의하지 않으므로 독립성은 판정에 쓰지 않았다.

일관성과 사후 해설 진단

Two Sigma 노트가 강조한 일관성은 좋았다. 같은 입력을 두 번 넣었을 때 범주가 같은 날이 89.2%, 비정보 여부가 같은 날이 92.7%, 정보성 점수의 상관은 0.92 였다. 어긋난 날은 대부분 해외금리와 수급, 수급과 원인불명 사이였다. 이 범주들은 기사 한 줄이 «유가 하락, 外人 매수에 모처럼 강세» 처럼 두 원인을 함께 말할 때 생긴다. 분류의 잡음은 결과를 설명할 만큼 크지 않다. 두 번 모두 같은 범주인 날로 좁혀도 차이는 +0.55틱에 그쳤다.

더 중요한 것은 시간 순서다. LLM 이 근거로 든 기사가 게시된 시각까지 그날 움직임의 몇 %가 끝났는지 재면, 중앙값이 78% 이고 절반 넘게 끝난 뒤에 게시된 날이 76% 였다. 범주별로는 국내지표 86%, 해외금리 81%, 수급 78%, 정책발언 76%, 공급 73% 다. 1002 의 장중 시황 기사는 움직임을 이끈 재료가 아니라 움직인 뒤에 붙인 해설이다. 해설은 가격 변화를 투자자별 매매나 그날의 뉴스로 다시 쓰기 때문에, 그것을 읽은 분류는 그 움직임이 일시적이었는지에 대해 가격 자체보다 아는 것이 적다.

탐색 결과

아래는 결과를 본 뒤 했거나 판정에 쓰지 않기로 미리 정한 것이다. 첫째, 범주별 막대에서 눈에 띈 원인불명만 거래하면 44일(연 15.6회), 비용 1틱 뒤 +3.30틱(월 블록 p 0.013)이고 나머지 대비 차이는 +2.63틱(순열 p 0.095)이다. 두 번 모두 원인불명인 38일로 좁히면 +4.34틱, 차이 +3.80틱(순열 p 0.042)이다. 확인 구간 세 해 모두 나머지보다 컸다. 그러나 여섯 범주 가운데 가장 좋은 것을 사후에 고른 것이므로, 범주를 섞고 «20일 이상인 범주 가운데 가장 좋은 것 고르기» 를 5,000번 다시 한 귀무에서 p 는 0.34 다. 빈도도 연 24회에 못 미친다.

둘째, 장 마감 뒤 [채권-마감] 기사만 읽혀 다음 날 아침에 쓰는 판(W)은 비정보 140일, 정보 94일로 나뉘었고 다음 날 시가 진입, 정산가 청산의 손익은 비정보 −0.35틱, 정보 +0.40틱(비용 1틱)으로 반대였다. 마감 기사 라벨과 장중 기사 라벨이 같은 날은 71% 였다. 셋째, 사건일을 |r| 3분위로 나누면 비용 1틱 뒤 작음 +0.87틱, 중간 +0.04틱, 큼 +2.56틱이다. 되돌림 이득은 큰 잔차의 날에 몰려 있다.

탐색 보강: 진입 시각과 지정가

정보 마감인 15:30 뒤 1분과 5분의 가격으로 진입을 바꿨다. 이는 종가 진입을 지연한 것이 아니라 정보 마감 이후 연속거래로 실행을 옮기는 비교다. 종가 뒤에는 장이 끝나므로 같은 날 1분 뒤 체결을 가정하지 않는다. 정확한 15:31과 15:35 분봉은 확인 사건일 234일 모두 있었고, 15:31부터 15:35까지 다섯 분봉도 모든 날에 있었다. 비정보 net1은 15:31 +0.98틱, 15:35 +0.99틱이며 정보군은 각각 +1.13틱과 +1.12틱이다. 차이는 −0.16틱과 −0.13틱이고 한쪽 순열 p는 0.536과 0.532다. 실행을 바꾸면 라벨의 작은 우위도 남지 않는다. 비용 2틱이면 비정보의 15:31 net2는 −0.02틱, 15:35는 −0.01틱으로 순이익도 사라진다. 다만 모델 호출 완료시각을 기록하지 않아 15:31까지 라벨이 준비됐다는 보장은 없다.

지정가는 15:30 가격에서 매수는 1틱 아래, 매도는 1틱 위에 놓고 5분 동안 기다린다. 1분봉 종가가 주문가에 닿은 날은 55.6%, 주문가보다 1틱 더 통과한 날은 22.6%다. 이 비율은 호가 큐의 체결률이 아니라 가격 접촉의 대리변수다. 접촉 뒤 체결될 조건부 확률을 25%, 50%, 100%로 가정하고, 미체결은 취소하거나 종가에 다시 진입한다. 체결 결과는 주문 뒤에 관측하는 것으로 처리하며 접촉할 날을 미리 골라 들어가지 않는다. 비용 0.5틱, 1틱, 2틱까지 교차한 72칸을 저장했다. 다음 표와 그림은 실제 체결 건당 성과가 아니라 최초 신호 기회당 기대 손익이다.

접촉 후 큐 체결확률 50%이면 비정보의 기대 체결률은 26.2%다. 미체결 취소의 연 기대 거래는 11.9회라 빈도 관문보다 낮다. 종가 재진입은 연 45.3회를 유지하지만 비정보와 정보의 기회당 차이는 +0.06틱에 그친다. 주문가를 관통한 경우만 접촉으로 보면 취소 규칙의 빈도는 연 3.7회다. 지정가가 체결됐다고 낙관해도 원인 라벨의 독립적인 선택 이득을 뒷받침하지 않는다. 같은 왕복 비용을 차감한 것은 보수적인 처리지만, 가격 개선과 낮은 비용을 동시에 넣은 칸은 낙관적 가정이다. 실제 주문 이력이 없어 어느 칸이 현실인지 정할 수 없다.

탐색 보강: 기존 요인과 크기별 라벨

라벨이 작동하지 않는 이유를 보기 위해 진입 전에 아는 절대 잔차, 외국인 순매수 z, 전날 뉴욕 미국 10년 금리 변화와 그날 3선 가격 변화를 함께 회귀했다. 전날 미국 변화가 비어 있는 9일을 뺀 225일에서 라벨 계수는 +1.60틱, HAC t 0.87, 한쪽 p 0.191이다. 보유 중 미국 금리를 더한 214일에서는 라벨 +0.29틱, t 0.17, p 0.431이고 미국 변수 t는 4.05다. 보유 중 미국 금리는 진입 시점에 모르는 미래값이므로 손익의 사후 진단에만 사용했다. 같은 214일에서 미래 미국 변수를 빼면 라벨 +0.69틱, t 0.36, p 0.358이다. 표본 감소도 계수 변화의 일부를 설명하므로 미국이 라벨 효과를 전부 제거했다고 단정할 수 없다.

크기별로 보면 라벨 차이는 작은 잔차에서 −0.81틱, 중간 +3.43틱, 큰 잔차 −0.98틱이다. 중간 크기에서만 양이고 나머지는 음이므로 일관된 라벨 효과가 아니다. 큰 잔차와 비정보를 함께 요구한 탐색 변형은 33일, 연 11.7회, net1 +2.00틱이다. 월 블록 p는 0.228이고 90% 구간은 −2.54부터 +6.46틱이다. 크기만 고른 78일의 +2.56틱과 연 27.6회에 비해 이득과 빈도가 함께 줄었다. 확인 구간 전체의 3분위이므로 과거 시점마다 계산한 실행 규칙으로 해석하지 않는다.

원인불명 후보의 이익 집중도도 분해했다. 최고 손익 1일을 빼면 +2.77틱, 상위 3일을 빼면 +2.02틱, 충격 구간을 빼면 43일 +3.07틱이다. 2024년을 빼면 +3.03틱, 2025년을 빼면 +4.27틱, 2026년을 빼면 +2.50틱이다. 즉 이 후보가 한 번의 큰 수익이나 한 해에만 의존하지는 않는다. 그렇더라도 범주를 고른 귀무 p 0.34와 연 15.6회라는 원래 제약은 사라지지 않는다. 이 진단은 다음 독립 실험의 가치가 있는지 살피는 것이며 지금 거래할 근거를 더하지 않는다.

탐색 보강: 기사 시점과 보조 모델

근거 기사의 제목을 공백과 구두점만 정규화해 원자료 제목에 맞추고, 게시 분도 대조했다. 확인 구간에서 시점 비율을 계산한 191건은 모두 제목과 게시 분이 일치했다. 나머지 43일은 근거 시각 또는 유효한 가격 변화가 없어 이 비교에서 제외했다. 시점 비율은 기사가 나올 때까지의 가격 변화를 당일 15:30까지의 가격 변화로 나눈 것이다. 가격 경로는 단조롭지 않아 비율이 음수나 1 초과일 수도 있다. 따라서 이를 하루 중 지난 시간이나 인과적 선행성으로 해석하면 안 된다.

기존 첫 분봉 종가 기준에서는 이른 기사 19일의 net1이 +7.68틱, 늦은 기사 145일은 −0.66틱이다. 실제 시가로 출발점을 바꾸면 이른 기사 17일 +4.94틱, 늦은 기사 144일 −0.69틱으로 줄고, 차이 +5.63틱의 한쪽 순열 p는 0.040이다. 제목과 게시 분을 대조한 뒤에도 같은 값이다. 두 시점 정의 가운데 큰 차이를 고르는 선택을 234일 전체 순열에서 반복하면 p는 0.003이다. 이 값은 두 군의 161일 안에서만 섞는 p 0.040과 표본이 달라 직접 비교할 수 없다. 또한 보정은 시점 정의 둘뿐이고 모든 탐색과 문턱을 보정하지 않았다. 이른 기사군은 새 질문이 될 수 있지만 연 6.0회인 소표본의 탐색 결과다.

이른 기사군의 군간 차이를 월 블록으로 다시 보면 한쪽 p는 0.086, 90% 구간은 −2.00부터 +12.03틱이다. 이른 기사군 자체의 net1 p는 0.096이고 90% 구간은 −1.67부터 +10.89틱이다. 최고 수익 1일을 빼면 net1은 +2.88틱, 최고 3일을 빼면 −0.43틱으로 바뀐다. 충격 구간을 빼면 15일 +3.40틱이고 연도별 건수는 2024년 9일, 2025년과 2026년 각 4일이다. 원인불명 범주와 겹치는 날은 0일이다. 즉 원인불명과 다른 단서를 잡지만 월별 군집과 큰 수익 몇 건에 민감하다. 사건 순열 p 하나만 보고 안정적인 우위라고 읽으면 안 된다.

기사 수로 나눈 결과도 남겼다. 원자료 기사 수가 적은 89일은 net1 −1.40틱, 중간 73일은 +1.84틱, 많은 72일은 +3.64틱이다. 동률 때문에 군 크기가 같지 않다. 뉴스가 많은 날의 큰 움직임이나 연도 구성이 함께 손익을 설명할 수 있어 기사 수 자체를 원인으로 볼 수 없다. 이 역시 확인 구간에서 사후에 나눈 진단이다. 기사 수를 기준으로 새 규칙을 만들려면 직전 자료에서만 분위 문턱을 계산하고 단순 크기 필터와 같은 날 비교해야 한다.

보조 Sonnet은 확인 구간 103일만 비교 가능하다. 기간은 2024년 1월 11일부터 2025년 5월 19일까지이며 2024년 66일과 2025년 37일이다. 2026년은 없고 확인 사건일 131일이 빠졌다. 같은 103일에서 Haiku의 비정보 대비 정보 차이는 −3.71틱, 한쪽 p 0.968이고 Sonnet은 −5.15틱, p 0.997이다. Sonnet 비정보 49일은 net1 −1.57틱, 정보 54일은 +3.57틱이다. 범주 일치는 81.6%, 비정보 여부 일치는 88.3%다. 큰 모델로 바꾼 이 부분 표본에서도 가설 방향의 효과는 없었다. 누락일을 임의로 채우거나 부분 건수를 전체 기간으로 나눠 빈도를 추정하지 않았다.

독립성은 같은 신호일에 대응하는 다음 세션 손익으로 맞췄다. 비정보 128일 중 미국 야간 되돌림 거래와 겹치는 날은 56일이고, 두 전략이 모두 거래한 날의 손익 상관은 +0.24다. 사건일 234일에서 비거래일 손익을 0으로 놓고 양쪽 비용을 차감하면 상관은 +0.13이다. 상관이 낮다는 사실만으로 새 우위를 인정할 수는 없다. 라벨 규칙 자체가 확증을 통과하지 못했으므로 금통위 전날 전략까지 더 붙여 독립 전략이라고 주장하지 않는다.

해석

이 실험의 가설은 «고유 몫이 되돌아가는 것은 비정보 압력 때문이고, 그 압력은 기사에서 읽을 수 있다» 였다. 앞부분은 이 실험이 직접 시험하지 않았지만, 뒷부분은 분명히 지지되지 않았다. LLM 은 기사를 안정적으로 읽었고 사람이 보아도 그럴듯한 범주를 붙였다. 문제는 기사의 성격이다. 장중 시황 기사는 움직임의 중앙 78% 가 끝난 뒤 «외국인 매수에 강세», «美 금리 상승 연동» 처럼 원인을 붙인다. 이 원인은 그날 가격을 설명하는 이야기일 뿐 그 움직임이 정보였는지 압력이었는지를 가르지 않는다.

수급 범주가 가장 약했다는 점은 가설과 반대 방향의 단서다. 기자가 외국인이나 기관의 매매를 원인으로 쓴 날은 실제로 큰 매매가 있었던 날이고, 그 매매는 다음 날에도 이어질 수 있다. 외국인 수급 라벨(W_flow)도 비정보와 정보의 차이가 +0.60틱에 그쳤다. 반대로 기사가 원인을 대지 못한 날(원인불명)은 가장 많이 되돌아갔다. 이것은 «설명 없는 움직임이 되돌아간다» 는 다른 가설을 시사하지만, 범주 고르기 귀무를 넘지 못했고 연 16회라 이번 표본으로는 우연과 구별되지 않는다.

이 표본에서는 원인 라벨보다 단순 크기 필터의 성과가 나았다. 같은 사건일 안에서도 |r| 상위 3분위가 +2.56틱으로 나머지를 크게 앞섰고, 크기를 통제하면 LLM 라벨의 계수는 t 0.63 으로 사라졌다. 이번 원인 라벨을 거래에 더할 근거는 부족하며 크기와 실행 비용도 새 표본에서 검증해야 한다.

한계

표본 크기. 확인 구간 234일, 비정보 128일이다. 하루 손익의 표준편차가 13틱 안팎이라 1틱 차이를 가려내려면 이보다 훨씬 많은 날이 필요하다. 월 블록 부트스트랩 90% 구간의 폭이 약 5.8틱인 것이 그 사정을 보여 준다. 발견 구간은 25일뿐이라 사실상 쓰지 못했고, 코스피200 선물 분봉이 2022년부터라 아이디어 문서가 바랐던 2016 ~ 2023 발견 구간은 만들 수 없었다.

입력의 범위. 본문 전문 대신 검색 목록의 요약(본문 첫 한두 문장)과 제목만 넣었다. 시간 예산 때문에 보수적으로 줄인 선택이다. 전문을 읽으면 원인불명이 줄고 범주가 달라질 수 있다. 기사도 연합인포맥스의 채권 분류만 썼고 외환과 주식 분류는 빠졌다. «[표]» 로 시작하는 표 기사가 걸러지지 않고 들어갔다. 입력에서 날짜를 지웠지만 기사 제목 안의 날짜는 남았다. Haiku 가 특정 날의 다음 날 3선 움직임을 기억할 가능성은 낮다고 보았다.

대조 라벨과 비용. 외국인 수급 표가 2026-07-09 ~ 08-07 의 10일에 0 으로 적혀 있어 그날들은 W_flow 에서 비정보가 될 수 없었다. 판정 비용은 3선 왕복 1틱이고 종가 단일가의 실제 미끄러짐은 재지 않았다. 15:35 연속 거래 체결가로 바꾸면 이득이 0.2 ~ 0.3틱 줄었다.

결과를 본 뒤 고친 것. 일부 날의 채점 응답이 누락되어 같은 입력과 같은 프롬프트로 다시 채점했다. 결과를 본 뒤 더한 원인불명만 거래, 범주 고르기 귀무, 크기 3분위는 모두 탐색이다. 원인불명 결과는 사후 선택이라 표본 밖 확인 없이는 쓸 수 없다. 사건일 정의와 손익은 앞선 실험의 패널을 그대로 써서 그 정의(월물 교체 다음 날 제외)의 한계를 물려받는다.

보강 분석의 제약. 지정가는 가격 접촉 이후의 큐 체결확률을 가정했으며 실제 주문의 체결률이 아니다. 보조 모델은 앞부분 103일만 있어 기간 선택 편향이 있다. Haiku와 Sonnet 호출 별칭만 남아 정확한 서비스 모델 버전을 고정한 재채점은 보장할 수 없다. 기사 시점 비율은 분모와 출발 가격에 민감하며 이른 기사군은 실제 시가 기준 17일뿐이다. 미국 보유 중 금리는 예측 입력이 아니라 사후 설명이다. 크기 3분위와 기사 수 분할, 시점 정의 비교는 모두 확인 자료를 본 뒤의 탐색으로 확증 판정에 합치지 않았다.

다음에 해 볼 것

첫째, 원인불명 판정을 사전등록해 표본 밖에서 확인한다. «LLM 이 두 번 모두 원인불명이라고 한 사건일만 되돌림» 을 2026-11 이후 새 사건일로 보되, 빈도를 올리기 위해 사건 문턱을 67% 분위에서 50% 분위로 내린 판을 함께 등록한다. 연 24회를 넘는지, |r| 크기를 통제해도 남는지가 관문이다. 둘째, 이번 탐색에서 이른 기사군이 연 6회뿐이었으므로 사건 문턱 50%와 67%에서 빈도를 먼저 확인한다. 실제 시가 기준 변화 비율 30% 미만, 근거 제목과 게시 분 일치, 분류 완료시각 기록을 새 표본에서 고정한다. 기사 시점을 빼고 같은 가격 경로만 쓴 대조 규칙을 두어 기사 추가 정보가 남는지 검증한다. 문턱을 고르면 귀무에서도 같은 선택을 반복한다.

산출물

정본 런은 results/20261107T033145_main/ 이다. 기사 수집은 code/s0_fetch.py, LLM 입력 묶음과 채점은 code/s0_score.py 와 code/score_prompt.md, 확증과 기준선, 격자는 code/s1_main.py, 결과를 본 뒤의 탐색은 code/s2_explore.py, 그림은 code/render_figures.py 가 만든다. 공통 정의와 통계 함수는 code/lib.py 에 있다.

깊이 보강은 code/s3_depth.py이며 정본 런의 depth.json, depth_cells.csv, depth_execution.csv, depth_limit.csv, depth_execution_audit.csv, depth_model_matched.csv를 만든다. 별도 산식 검증은 uv run python experiments/0231_resid_fade_llm_cause_label/code/s4_verify_depth.py로 실행한다. 보강만 재현할 때는 uv run python experiments/0231_resid_fade_llm_cause_label/code/s3_depth.py를 실행한 뒤 render_figures.py를 실행한다. 원래 확증 파일 여덟 개의 SHA256은 보강 전후 같았다. 보조 모델 라벨은 depth_sonnet_labels.csv에 동결해 후속 채점 자료가 추가되어도 같은 부분 표본을 재현한다.

재현은 저장소 뿌리에서 uv run python experiments/0231_resid_fade_llm_cause_label/code/s0_fetch.py, 같은 폴더의 s0_score.py pack, s0_score.py score --run A(B, W 도 같다), s0_score.py collect, s1_main.py, s2_explore.py results/<타임스탬프>_main, render_figures.py 순서로 돌린다. 사건일 패널은 앞선 메타 라벨 실험의 패널 스크립트가 만든다.

• 사전등록protocol.md
• 분석과 판정analysis.md
• 지표results/20261107T033145_main/metrics.json, explore.json
• 표trades.csv, cats.csv, labels_cmp.csv, grid.csv, years.csv, timing.csv

Appendix

A. 데이터셋 실물

trades.csv 의 확인 구간 마지막 여덟 사건일이다. f3 은 그날 3선 시가 → 15:30 변화(틱), r 은 고유 몫, d 는 방향, N 은 다음 세션 정산가 변화(틱), g 는 되돌림 손익(틱), 근거 시각은 LLM 이 든 근거 기사의 게시 시각이다.

한 사건일의 기사 원본 파일은 날마다 하나이고, 기사마다 검색 번호(17자리), 게시 일자와 시각, 제목, 목록 요약(400자까지), 분류 이름 목록, 그리고 그날의 [채권-마감] 기사 하나를 담는다. 독자 목록 같은 개인 정보는 받지 않았다.

B. 모델 입출력 실물

기사가 가장 적었던 2026-07-27 의 실제 입력과 두 번의 응답이다. 입력 첫 줄의 움직임 문장 다음에 장중 기사 열두 건이 붙었다(표 기사 두 건 포함, 요약은 150자에서 자름).

Input
오늘 3선 가격은 시가 대비 15:30 까지 12틱 상승(금리 하락)했고, 같은 시간 주가와 환율로 설명되지 않는 몫이 컸다.

장중 기사 목록:
08:42 [전문] <채권일간 - 260727> Bond Morning Brief / 다올
09:29 [표] [채권계산 참고사항] 한국남동발전74-2 외 7종목(27일)
10:29 美·이란 갈등격화에 유가 급등…시장 "7월 FOMC 예측불허" | 중동의 지정학적 갈등 격화로 인한 국제유가 급등이 …(중략)
10:41 통안채 91일물 2.735%에 0.57조 낙찰…응찰 1.10조
11:09 유가 하락, 外人 매수에 모처럼 강세…국고 10년 9.3bp↓ | 국고채 금리가 27일 오전 일제히 하락했다.
13:14 대출 조이는 은행, 채권은 언제 살까 | 대출 조이기에 돌입한 시중은행이 …(중략)
14:17 "美 국채금리 5%, 일시적 현상 아니라 '뉴 노멀' 될 수도" | …(중략)
…(중략, 나머지 다섯 건)

Haiku response (run A)
{"category": "해외금리", "info": 0.45, "evidence": "유가 하락, 外人 매수에 모처럼 강세…국고 10년 9.3bp↓", "evidence_time": "11:09"}

Haiku response (run B)
{"category": "수급", "info": 0.25, "evidence": "유가 하락, 外人 매수에 모처럼 강세…국고 10년 9.3bp↓", "evidence_time": "11:09"}

C. 실험 설정