실험 상세 · 3년 국채선물

장중 중국과 일본 지표의 숫자 서프라이즈를 LLM 으로 읽어도 3선은 따라 움직이지 않는다

속보 제목에서 실제값과 예상값을 LLM 으로 뽑아 서프라이즈 부호를 만들고, 그 반대 방향으로 3선에 들어가는 규칙을 2020년부터 2026년 11월까지 396개 사건에서 쟀다. 3선은 이 지표들이 나와도 평소보다 더 흔들리지 않았고, 규칙은 비용 1틱을 넘지 못했다.

폐기 사건 396개, 2020-01 ~ 2026-11 가설 H948 ~ H953 Claude Sonnet 숫자 추출

세 줄 요약

  1. 장중 중국과 일본 지표 속보 396개에서 LLM 이 뽑은 숫자 서프라이즈의 반대 방향으로 3선에 들어가 30분 보유하면, 확인 구간(2024 ~ 2026) 건당 총손익이 +0.18틱, 비용 1틱 뒤 −0.82틱(한쪽 p 1.00)이었다. 초 틱으로 게시 10초 뒤 들어가도 −0.90틱이다. 독립 감사가 찾은 누설 세 가지를 고쳐 다시 돌린 수치다.
  2. 실패의 원인은 늦은 진입이 아니라 반응의 부재다. 게시 창 6분의 변동 크기가 평소 같은 시각의 1.00배이고, 초 단위 누적 변화도 게시 뒤 60초까지 −0.05틱으로 방향조차 없다.
  3. 판정은 폐기다. 숫자 추출은 잘 됐지만 3선이 이 숫자에 값을 매기지 않는다. 같은 추출기를 환율과 주가지수 선물에 걸어 보는 것이 다음 순서다.

가설과 결론

한국 경제지표는 대부분 개장 전에 나와 시가에 녹는다. 국채선물 장중에 나오는 정해진 시각의 거시 숫자는 주로 중국 지표(국가통계국과 해관총서의 CPI, PPI, 수출, 산업생산, 소매판매, 고정자산투자, GDP, 공식 PMI, 차이신 PMI, 인민은행 LPR)와 일본 지표(au Jibun 은행 PMI, 산업생산 확정치, 그리고 2025년 12월 개장 시각이 08:45 로 당겨진 뒤의 08:50 지표)다. 앞선 텍스트 실험들은 문장 톤이나 원인 라벨을 썼고 모두 비용을 넘지 못했다. 아이디어의 출처인 Maven Securities 의 기술 노트는 범용 언어모형이 숫자의 크기 비교를 잘 표현하지 못한다는 점을 지적하며 숫자 변화와 문장 분위기를 따로 다루라고 권한다. 그래서 이 실험은 톤 대신 숫자를 읽었다. 속보 제목에서 실제값과 예상값을 LLM 으로 뽑고, 그 차이의 부호로 거래했다.

가설
성장과 물가가 예상을 넘으면(금리 상승 쪽 서프라이즈) 3선이 내리고, 그 방향으로 게시 60초 뒤 1분봉 종가에 들어가 30분 보유하면 확인 구간 2024-01 ~ 2026-11 의 건당 손익이 비용 1틱 뒤 0 보다 크다(H948). 전체 구간 총손익이 0 보다 크다(H949). 숫자판 서프라이즈의 5분 반응 설명력(R²)이 숫자를 가린 톤판보다 크다(H950). 초 틱으로 게시 10초 뒤 들어가는 판도 비용 1틱 뒤 0 보다 크다(H952). 진입 전에 끝난 반응의 몫(H951)과 추출 품질 관문(H953)은 진단이다. 사전등록에서 예측한 총손익은 0.2 ~ 0.5틱으로, 확인 구간 표본으로 잡을 수 있는 최소 효과(약 0.65틱 위의 1틱, 곧 총 1.65틱)보다 작았다.
결론
네 확증 가설이 모두 지지되지 않았다. H948 은 확인 구간 192사건 순손익 −0.82틱(p 1.00, Holm 1.00), H949 는 전체 396사건 총손익 +0.38틱(p 0.100, Holm 0.40), H950 은 숫자판 R² 0.0000 대 톤판 0.0021 로 예측과 반대(p 0.729, Holm 1.00), H952 는 187사건 −0.90틱(p 1.00)이다. 판정은 폐기다.

사전등록한 예측이 이미 최소 검출 효과 아래였으므로 이 결과는 놀랍지 않다. 놀라운 것은 그 아래로도 반응이 거의 없다는 점이다. 3선은 중국과 일본 지표가 발표되는 몇 분 동안 평소와 똑같이 움직였다. 이 실험은 «숫자를 읽으면 텍스트 신호가 산다» 는 생각을 시험했지만, 실제로 드러난 것은 읽기의 품질이 아니라 대상 시장의 무관심이었다.

용어와 기호

3선
한국거래소 3년 국채선물 근월물. 가격 단위 0.01 이 1틱이고, 금리가 오르면 가격이 내린다.
1002 속보
연합인포맥스 단말의 뉴스 화면에 뜨는 기사 제목. 이 실험은 그 검색 API 가 돌려주는 제목과 게시 초만 쓴다. 본문은 받지 않았다.
게시 시각 t0
속보가 1002 에 올라온 초 단위 시각(KST). 진입은 모두 t0 를 기준으로 한다. 지표의 공식 발표 시각은 쓰지 않는다.
기계 줄
«[경제지표] 중국 10월 NBS 제조업 PMI 49.3 / 예측 50 : 1.4% 하회» 나 «중국 11월 제조업 PMI 48.0 : 예상치 2.0% 하회» 처럼 정해진 꼴로 자동 생성되는 지표 제목. 발표 1 ~ 2초 뒤에 올라온다.
숫자 서프라이즈 부호 s
sign(실제 − 예상) 에 지표 부류의 부호를 곱한 값. 성장과 물가 지표는 그대로, 실업률은 반대다. +1 이 금리 상승 쪽이다.
포지션 D
D = −s. 금리 상승 쪽 서프라이즈면 3선 매도(−1), 하락 쪽이면 매수(+1).
진입 지연 L
게시에서 진입까지의 초. 1분봉 판은 t0 + L 이상인 첫 봉의 종가에, 초 틱 판은 t0 + L 이상의 첫 체결가에 들어간다.
보유 H
게시에서 청산까지의 분. 15:34 를 넘으면 15:34 이하 마지막 봉에서 청산한다.
총손익 g
g = D × (청산가 − 진입가) × 100, 단위 틱. 비용을 빼기 전 값이다.
net1, net2
g − 1, g − 2. 판정은 net1(왕복 1틱), 보고는 net2 로도 한다.
톤 점수
제목의 모든 숫자를 # 으로 가린 판을 LLM 이 −2 ~ +2 로 매긴 값. +2 가 금리 상승 쪽 분위기가 강한 제목이다.
y5
게시 분 직전 1분 봉 종가에서 t0 + 5분까지 3선 변화에 −100 을 곱한 값(틱). 양수가 금리 상승이다. H950 의 반응 변수다.
z
(실제 − 예상) 에 부류 부호를 곱하고, 그 지표의 발견 구간 표준편차로 나눈 서프라이즈 크기.
발견 구간, 확인 구간
발견 2020-01-01 ~ 2023-12-31, 확인 2024-01-01 ~ 2026-11-06. 규칙은 미리 고정되어 있고 판정은 확인 구간으로 한다.
월 블록 부트스트랩
사건을 달력 달로 묶어 달 단위로 5,000회 복원 추출해 평균의 분포를 만들고 한쪽 p 를 얻는다.
Holm 보정
H948, H949, H950, H952 네 p 값을 작은 것부터 (남은 수)배 하여 여러 가설 검정의 오류를 묶는 방법.
MDE
최소 검출 효과. 한쪽 5%, 검정력 80% 에서 표본 크기와 표준편차로 잡을 수 있는 가장 작은 평균 차이.

자료

데이터셋

쓴 자료(정본 런 20261110T025752_main)
자료기간해상도행쓰임
1002 검색 제목, 지표 낱말 14개 질의2020-01-01 ~ 2026-11-09게시 초29,644사건 후보
중국 또는 일본, 장중 게시 후보2020-01 ~ 2026-11-06게시 초3,364LLM 입력
LLM 발표 속보 판정(중국, 일본)같음제목2,725사건 풀
실제값과 예상값이 모두 있는 제목같음제목706주 사건 정의
사건(5분 묶음, 부호 0 제외)발견 204, 확인 192사건396검정 표본
3선 연결 1분봉2019-12-02 ~ 2026-11-061분(라벨 = 봉 끝)683,615진입가, 청산가
3선 초 단위 체결2023-01 ~ 2026-11-06초544일H951, H952, 진단

사건 후보는 단말에 저장된 1002 파일이 아니라 검색 API 로 다시 받았다. 저장 파일은 2026년 8월 14일에서 끝나고, 2025년부터 장중 해외 지표 제목이 해마다 수십 건으로 줄어 있었다. 검색 API 는 제목 분석기가 한 글자 中 과 日 을 색인하지 않아서, 지표 낱말 하나씩으로 질의한 뒤 나라는 제목 정규식으로 걸렀다. 이렇게 받은 사건은 연도별로 2020년 44개, 2021년 51개, 2022년 54개, 2023년 55개, 2024년 34개, 2025년 80개, 2026년 78개다. 2025년부터 많아진 것은 기계 줄이 예측값을 숫자로 적기 시작했기 때문이고, 2024년이 적은 것은 그해 기계 줄이 «예상치 30bp 상회» 처럼 차이만 적은 경우가 많아 LLM 이 예상값을 계산해 낸 경우만 들어왔기 때문이다. 나라별로는 중국 219개, 일본 177개, 부류별로는 성장 313개, 물가 82개, LPR 1개다.

정합과 거르기

1분봉의 라벨은 봉이 끝나는 시각이다. 그래서 «결정 시각 이상인 첫 봉의 종가» 를 진입가로 쓰면 결정 전의 가격을 쓸 일이 없다. 2025년 12월부터 개장이 08:45 로 당겨져 첫 봉이 08:46 이 되었고, 그 전에는 09:01 이다. 후보는 그날 첫 봉 1분 뒤부터 15:00 전에 게시된 것만 남겼다. 이 때문에 2025년 11월까지의 일본 08:50 지표는 개장 전이라 빠지고, 그 뒤의 일본 지표만 들어온다. 연결 1분봉 표는 2026년 7월 1일부터 9월 10일까지 비어 있어 월물별 원표에서 직전 거래일 거래량이 가장 많은 월물로 메웠다(그 월물이 만기로 장중에 끝나면 다음 월물로 잇는다). 첫 런은 그날 전체 거래량 1위를 골라 미래 정보가 섞였고 감사 뒤 고쳤는데, 메운 날의 가격은 한 행도 달라지지 않았다. 초 단위 체결 표는 2023년부터 있고, 사건이 있는 날 가운데 7일은 체결이 없어 빠졌다. 미국 열이나 다른 시간대 자료는 쓰지 않았으므로 시차 문제는 게시 시각과 봉 시각 사이에만 있다.

방법

LLM 숫자 추출과 톤 채점

추출기는 Claude Sonnet(claude-sonnet-5-5)이다. 머리 없는 명령줄 호출로 도구와 설정을 모두 끄고, 제목 40개를 한 번에 넣어 JSON 배열을 받았다. 한 묶음에는 여러 해의 제목이 섞이도록 고정된 순서로 뒤섞었다. 모델이 결과를 기억하는지 막기 위해 제목 안의 연도는 [연도] 로 바꾸고 게시 날짜는 주지 않았으며, 제목의 식별자도 무작위 순번(k0001 꼴)으로 주었다. 첫 런은 게시 시각을 담은 17자리 기사 번호를 식별자로 보내 날짜가 새어 나갔고, 감사 뒤 숫자판과 톤판을 모두 다시 추출했다(두 추출의 실제값 일치 98.9%, 예상값 97.6%). 월 이름은 지표 이름의 일부라 남겼다. 출력 필드는 발표 속보 여부, 나라, 지표(정해진 17개 중 하나), 실제값, 예상값, 이전값, 단위, 실제 대 예상 부호다. «5.9%↓» 같은 표기는 음수로 바꾸게 했다. 숫자판의 서프라이즈 부호는 LLM 이 적은 부호가 아니라 코드가 실제값과 예상값의 차이로 다시 계산했다.

톤판은 같은 제목의 숫자를 모두 # 으로 가린 판을 별도 호출로 채점했다. 숫자가 없으니 «예상치 상회», «급감», «7개월래 최저» 같은 낱말만 남는다. 이것이 Maven 노트가 말한 «문장 분위기» 쪽 신호다. 추출 품질은 사전에 정한 관문(H953)으로 쟀다. 제목에 예상 관련 낱말과 숫자 둘이 함께 있는 것 가운데 무작위 50건을 골라 정규식으로 실제와 예상을 따로 뽑고, LLM 부호와의 일치율이 90% 이상이면 통과로 했다.

거래 규칙과 검정

사건은 (날짜, 나라, 지표) 마다 실제와 예상이 모두 있는 첫 게시 하나다. 중국 산업생산과 소매판매처럼 같은 날 같은 나라의 지표가 5분 안에 이어 나오면 한 사건으로 묶되, 거래 부호는 진입 시점(첫 게시 + L)까지 올라온 속보의 부호만 더한다. 합이 0 이면 그 L 에서 거래하지 않는다. 첫 런은 묶음 전체를 합해 진입 뒤 속보가 신호에 들어갔고(묶음 36개가 진입 뒤 속보를 담았고 12개는 10초 시점과 60초 시점의 부호가 달랐다), 사전등록 수정 절로 고쳤다. z 와 톤도 진입 시점까지의 속보로만 만든다. 주 규칙은 게시 60초 뒤 1분봉 종가에 D 방향으로 들어가 게시 30분 뒤에 나온다. 초 틱 판(H952)은 게시 10초 뒤 첫 체결가에 들어간다. 검정은 사건을 달로 묶은 월 블록 부트스트랩 5,000회의 한쪽 p 이고(seed 262), H950 은 사건을 짝으로 뽑는 부트스트랩으로 두 R² 의 차를 검정했다. 확증 넷에 Holm 을 걸었다.

사전등록한 강건성 격자는 진입 지연 L 다섯 칸(10, 30, 60, 120, 300초)과 보유 H 네 칸(5, 15, 30, 60분)의 20칸, 비용 0.5틱과 1틱과 2틱, 연도와 나라와 지표 부류, 충격 구간(2020년 3 ~ 4월, 2022년 9 ~ 11월, 2024년 12월, 2025년 4월) 제외, 서프라이즈 크기 |z| ≥ 0.5 조건, 진입 1분과 5분 지연, 그리고 지정가 진입이다. 지정가는 게시 60초 뒤 가격에서 1틱 유리한 값에 내고, 그 뒤 60초 안에 그 값을 뚫는 체결이 있을 때만 체결로 쳤다. 기준선은 같은 진입과 청산의 항상 매수, 항상 매도, 직전 5분 추종, 톤 부호 규칙이고, 귀무는 서프라이즈 부호를 사건 사이에서 섞는 순열 2,000회다. 격자에서 가장 좋은 칸도 같은 순열에서 다시 골라 그 최고값의 귀무 분포와 견주었다.

사전등록에서 MDE 를 먼저 적었다. 2024년 이후 무작위 시각 30분 변동의 표준편차는 2.43틱이었고, 사건 약 150개면 표준오차가 약 0.25틱, 한쪽 5% 와 검정력 80% 의 MDE 는 약 0.65틱이다. 순손익이 0 을 넘는다는 것을 보이려면 총손익이 약 1.65틱은 되어야 했다. 예측(0.2 ~ 0.5틱)이 그 아래였으므로, 지지가 나오면 예측보다 훨씬 큰 효과라는 뜻이라 연도별 안정성까지 통과해야 보류 이상으로 올리기로 했다.

결과

확증 결과

확증 가설(정본 런 20261110T025752_main, 감사 수정 뒤)
가설정의n값한쪽 pHolm p지지
H9481분봉 L 60초, 30분, 확인 net1192−0.82틱1.001.00아니오
H949전체 구간 총손익396+0.38틱0.1000.400아니오
H950R² 숫자판 대 톤판3960.0000 대 0.00210.7291.00아니오
H952초 틱 L 10초, 30분, 확인 net1187−0.90틱1.001.00아니오
H953정규식 대조 일치율5084%미달
H951진입 전에 끝난 몫(초 틱)223부호 57%, 절대 47%진단

주가설 H948 의 확인 구간 192사건 건당 총손익은 +0.18틱이다. 방향은 가설과 같지만 크기가 비용 1틱의 5분의 1이라 순손익은 −0.82틱, 이긴 사건은 36.5% 다. 부트스트랩 90% 구간이 −1.16 ~ −0.49틱으로 0 을 한참 밑돈다. 전체 구간 총손익(H949)은 +0.38틱으로 조금 크지만 p 0.104 로 우연과 구별되지 않고, 그마저 발견 구간 평균 +0.58틱 가운데 대부분이 2022년(+1.96틱)에서 왔다. 확인 구간만 보면 총손익의 표준편차가 2.94틱이라 192사건의 표준오차는 0.21틱이고, +0.18틱은 그보다 작다. 순손익을 0 위로 올리려면 지금보다 열 배 가까운 반응이 필요했다.

H953 은 형식상 84%(50건 중 42건)로 미달이다. 다만 어긋난 8건을 열어 보면 모두 정규식 쪽이 틀렸다. 6건은 «예상치 2.0% 하회» 의 차이값 2.0 을 정규식이 예상값으로 읽었고, 2건은 «1조1천56억엔» 같은 한국어 큰 수 단위를 정규식이 쪼갰다. LLM 은 50건 모두 부호를 맞혔다. 이것은 결과를 본 뒤의 확인이므로 판정에는 쓰지 않는다. 판정은 어차피 H948 과 H952 미지지로 폐기이고, 추출 품질은 그 판정을 바꾸지 않는다.

게시 전후 경로

1002 게시 전 10분부터 뒤 60분까지 서프라이즈 방향 3선 누적 변화의 발견과 확인 구간 평균 경로
그림 1. 게시 직전 1분 봉 종가를 0 으로 둔 서프라이즈 방향 누적 변화(틱). 띠는 95% 구간. 점선은 비용 1틱, 세로 점선은 주 규칙의 진입 시점이다.

그림 1 은 사건마다 서프라이즈 방향(D)으로 부호를 맞춘 3선 누적 변화를 게시 전 10분부터 뒤 60분까지 평균한 것이다. 발견 구간(파랑)은 게시 뒤 30분에 약 0.9틱까지 오르지만 띠가 넓고, 25분 근처의 계단은 2022년의 큰 사건 몇 개가 만든 것이다. 확인 구간(빨강)은 게시 뒤 25분까지 0 근처에 머물다 60분에 0.3틱 정도에 닿는다. 어느 쪽도 비용선(1틱)을 띠 전체로 넘지 못한다. 게시 직후 몇 분 동안의 기울기가 없다는 점이 중요하다. 정보가 가격에 들어간다면 가장 가파른 구간은 게시 직후여야 한다.

2023년 이후 초 틱으로 잰 게시 전 300초부터 뒤 1800초까지 평균 누적 변화
그림 2. 초 단위 체결로 잰 같은 경로(2023 ~ 2026). 게시 −300초 가격을 0 으로 둔다. 빨간 점선은 초 틱 판의 진입(10초), 회색 점선은 1분봉 판의 진입(60초)이다.

그림 2 는 같은 경로를 초 단위로 본 것이다. 게시 순간에 계단이 없다. 금통위 발표나 미국 고용지표처럼 시장이 기다리는 숫자라면 게시 몇 초 안에 1 ~ 3틱이 움직이는 계단이 보여야 한다. 여기서는 평균 경로가 −0.1 ~ +0.2틱 사이에서 잡음처럼 흔들린다. 진입을 10초로 당겨도 놓친 움직임이 없다는 뜻이다.

숫자판과 톤판

숫자 서프라이즈 부호별과 톤 점수별 게시 전후 5분 금리 방향 변화 막대
그림 3. 왼쪽은 숫자판 부호 s 별, 오른쪽은 숫자를 가린 톤 점수별 y5 평균(틱)과 95% 구간. 양수가 금리 상승이다.

H950 은 Maven 노트의 대조를 그대로 옮긴 것이다. 같은 제목을 숫자로 읽은 판과 낱말로만 읽은 판이 5분 반응을 얼마나 설명하는지 R² 로 견주었다. 숫자판의 R² 는 0.0000(상관 −0.003), 톤판은 0.0021(상관 −0.046)이다. 숫자판이 클 것이라는 예측과 반대이고(짝 부트스트랩 p 0.729), 둘 다 0 이다. 그림 3 에서 s = +1 과 s = −1 사건의 5분 금리 변화 평균은 구간이 거의 포개진다. 첫 런에서는 숫자판 R² 가 0.0025 로 톤판(0.0001)보다 컸는데, 그것은 첫 게시 뒤 5분 안에 나온 속보의 부호까지 합산한 누설이 만든 값이었다. 진입 시점까지의 속보만 쓰자 그 차이가 사라졌다. 설명할 반응 자체가 없어서 숫자와 톤의 비교는 의미를 갖지 못했다.

강건성 격자와 귀무

진입 지연과 보유 기간 20칸 격자의 총손익 평균 열지도, 전체 구간과 확인 구간
그림 4. 진입 지연 L(세로)과 보유 H(가로) 격자의 건당 총손익 평균(틱). 왼쪽 전체 구간 396사건, 오른쪽 확인 구간 192사건. 칸마다 그 L 시점까지 아는 부호로 거래한다.

그림 4 의 격자 20칸은 전체 구간에서 0.00 ~ +0.48틱, 확인 구간에서 −0.09 ~ +0.51틱이다. 격자의 칸마다 그 L 시점까지 올라온 속보로 부호를 정했다. 보유를 60분으로 늘리면 총손익이 약 0.45틱으로 커지는데, 이것은 서프라이즈 반응이라기보다 같은 기간의 추세가 섞인 결과로 보인다(진입 지연과 무관하게 같은 크기다). 어느 칸도 1틱에 닿지 않는다. 격자에서 가장 좋은 칸(L 60초, H 60분, +0.48틱)을 순열 2,000회의 «격자 최고값» 분포와 비교한 p 는 0.169 다.

부호 순열 귀무 분포와 관측 순손익, 격자 최고값 귀무 분포와 관측 최고 칸
그림 5. 왼쪽은 서프라이즈 부호를 사건 사이에서 섞은 2,000회의 확인 구간 순손익 분포와 관측값, 오른쪽은 격자 20칸 최고값의 순열 분포와 관측 최고 칸.

그림 5 왼쪽은 주 규칙의 확인 구간 순손익(−0.82틱)이 무작위 부호의 분포 한가운데 있음을 보여 준다(순열 p 0.226). 서프라이즈 부호를 아무렇게나 바꿔도 손익이 거의 같다는 뜻이고, 부호에 담긴 정보가 3선 손익과 거의 무관하다는 뜻이다.

연도별 건당 총손익 막대와 비용 0.5 1 2틱별 순손익 막대
그림 6. 왼쪽은 연도별 주 규칙 총손익(막대 위 숫자는 사건 수), 오른쪽은 확인 구간과 전체 구간의 비용별 순손익과 부트스트랩 p.

그림 6 왼쪽에서 총손익이 1틱을 넘은 해는 2022년 하나다. 그해는 금리 급등기라 3선 변동이 컸고, 사건 54개의 표준편차도 컸다. 2023년(−0.29틱)과 2025년(−0.18틱)은 0 아래이고, 2024년도 +0.32틱에 그친다. 오른쪽 비용 민감도에서 비용을 0.5틱으로 낮춰도 확인 구간 순손익은 −0.32틱(p 0.94)이고, 2틱이면 −1.82틱이다. 비용을 아무리 낮게 잡아도 확인 구간에서 이기는 비용 가정은 없었다.

기준선과 실행 현실화

확인 구간 순손익(비용 1틱, 지정가만 0.5틱), 같은 사건과 같은 청산
갈래n평균(틱)한쪽 p승률
주 규칙(숫자 부호)192−0.821.0036.5%
항상 매수192−1.011.0037.5%
항상 매도192−0.991.0034.9%
직전 5분 추종100−1.551.0034.0%
톤 부호 규칙177−0.821.0036.2%
진입 1분 지연189−0.871.0035.4%
진입 5분 지연190−0.931.0029.5%
충격 구간 제외179−0.851.0035.2%
|z| ≥ 0.5 만75−0.931.0033.3%
초 틱 L 60초186−0.881.0034.4%
지정가, 체결분만(체결률 6%)11+0.680.4563.6%
낱말 서프라이즈 포함(탐색)312−0.731.0036.5%

주 규칙은 항상 매수(−1.01틱), 항상 매도(−0.99틱)와 거의 같다. 세 갈래가 모두 «비용 1틱을 낸 동전 던지기» 의 값인 −1틱 언저리에 있다. 직전 5분 추종은 −1.55틱으로 더 나쁘고, 톤 부호 규칙(−0.82틱)은 숫자 규칙과 같다. 진입을 1분이나 5분 늦춰도 −0.87틱과 −0.93틱으로 거의 바뀌지 않는데, 이것도 게시 직후에 놓치는 움직임이 없다는 것을 거꾸로 보여 준다. 지정가 판은 체결분 11건에서 +0.68틱이지만 체결률이 6% 라 연 4회 남짓이고, 1틱 유리한 가격을 뚫는 체결이 있었다는 것은 그 사건에서 가격이 우리 쪽으로 먼저 움직였다는 뜻이라 선택 편향이 크다. 낱말로만 서프라이즈를 적은 제목까지 넣은 탐색판(사건 645개)도 확인 구간 −0.73틱으로 같다.

실패 진단

초 틱 반응 창별 누적 변화와 게시 창 변동 크기 대 평소 같은 시각 변동 크기 막대
그림 7. 왼쪽은 2023년 이후 사건의 게시 −120초 기준 서프라이즈 방향 누적 변화를 나라와 제목 종류로 나눈 것, 오른쪽은 게시 −1분 ~ +5분 창의 |변화| 평균과 직전 20세션 같은 시각 창의 평균.
실패 진단 요약(탐색 런 20261110T025811_depth)
진단값읽는 법
게시 창 6분 |변화| 대 평소1.10 대 1.09틱(1.00배)변동이 늘지 않는다
나라별 변동 비중국 1.10배, 일본 0.91배중국도 조금뿐
초 단위 누적(+10, +60, +300초)−0.08, −0.05, −0.08틱계단이 없다
가장 빠른 스캘핑 12칸 총손익−0.07 ~ +0.02틱빨리 들어가도 없다
|z| 세 분위 5분 금리 방향 변화−0.15, −0.07, +0.17틱방향은 맞으나 작다
확인 구간 기계 줄 비율86%, 게시 초 대부분 :01 ~ :02게시 지연은 원인 아님
나라별 전체 총손익중국 +0.81(p 0.057), 일본 −0.14틱중국도 1틱 아래

폐기의 원인을 다섯 갈래로 나눠 보았다. 첫째, 신호 크기가 비용보다 작은 정도가 아니라 반응이 거의 없다. 게시 −1분부터 +5분까지 6분 창의 3선 |변화| 평균은 1.10틱으로, 직전 20세션의 같은 시각 창 평균 1.09틱과 같다(1.00배). 중국 지표에서 1.10배, 일본 지표에서는 0.91배로 오히려 조용하다. 둘째, 늦게 들어가서 놓친 것이 아니다. 초 단위 누적 변화(게시 시점까지 아는 부호 기준)는 게시 10초 뒤 −0.08틱, 60초 뒤 −0.05틱이고, 진입 2 ~ 10초와 보유 30 ~ 300초의 스캘핑 12칸 총손익이 모두 −0.07 ~ +0.02틱이다. 셋째, 1002 게시가 발표보다 늦어서 생긴 문제도 아니다. 확인 구간 사건의 86% 가 발표 1 ~ 2초 뒤 올라오는 기계 줄이다.

넷째, 서프라이즈 크기로 거르면 방향은 조금 살아난다. |z| 를 세 분위로 나누면 큰 분위의 5분 금리 방향 변화가 +0.17틱으로 가장 크고, 작은 분위는 −0.15틱이다. 다만 가장 큰 서프라이즈도 0.2틱이라 비용의 5분의 1이다. 다섯째, 빈도는 문제가 아니다. 사건은 연 58회, 확인 구간에서는 연 67회로 빈도 문턱 24회를 넉넉히 넘는다. 기존 요인(미국 밤사이 금리, 수급, 레벨)이 효과를 가린다는 설명은 이 경우 필요하지 않다. 가릴 효과 자체가 측정되지 않았기 때문이다. 같은 이유로 기존 검증 전략과의 독립성 분석은 하지 않았다.

다른 시장의 양성 대조와 변형

3선이 반응하지 않는 것이 3선 탓인지, 추출한 서프라이즈에 정보가 없어서인지 가르려고 같은 396사건을 반응할 만한 다른 시장에도 대 보았다(모두 정본 런 뒤의 탐색이다). 시장마다 게시 −1분부터 +5분까지 6분 창의 |변화| 를 직전 20세션 같은 시각 창과 견주고, 서프라이즈 방향으로 부호를 맞춘 변화를 평소 6분 변동 크기로 나누었다. 기대 방향은 금리 상승 쪽 서프라이즈일 때 국채선물 하락, 달러원 하락(원화 강세), 코스피200 상승이다.

3선 10선 달러원 선물 코스피200 선물의 게시 창 변동 비와 서프라이즈 방향 변화 막대
그림 9. 왼쪽은 게시 창 6분 |변화| 평균을 평소 같은 시각 평균으로 나눈 비, 오른쪽은 서프라이즈 방향 변화 평균을 평소 6분 |변화| 로 나눈 값. 나라별로 나눴다(코스피200 선물은 2022년부터).
양성 대조(탐색 런 20261110T025817_explore)
시장사건변동 비중국일본방향 변화(평소 단위)한쪽 p
3선3961.001.110.89−0.020.58
10선3780.971.060.89+0.010.46
달러원 선물3961.041.031.04+0.110.083
코스피200 선물2650.981.040.92−0.080.83

그림 9 와 표가 보여 주듯 한국의 네 시장 모두 게시 창의 변동이 평소의 0.97 ~ 1.04배다. 달러원 선물은 변동이 4% 늘고 방향도 기대와 같지만(평소 변동의 0.11배, p 0.083) 크지 않다. 10선의 중국 사건도 평소 변동의 0.07배(p 0.27)로, 네 시장과 세 묶음의 12개 비교 가운데 한쪽 p 0.05 아래는 하나도 없다. 추출기가 틀린 것이 아니라, 이 지표들이 장중 한국 시장을 움직이는 숫자가 아니다.

판정에 쓰지 않는 두 변형도 돌렸다. 첫째, 부호 대신 서프라이즈 크기로 무게를 주는 연속 크기 조절(무게 clip(z, −2, 2), 비용은 |무게| 틱)이다. 무게 1단위당 총손익이 전체 구간 0.59틱, 확인 구간 0.18틱이고, 비용 뒤 건당 손익은 −0.27틱(p 0.74)과 −0.42틱(p 1.00)이다. 부호 규칙보다 덜 잃지만 이기지 못한다. 둘째, 확정치와 수정치를 뺀 첫 발표만(사건의 90%)이다. 전체 총손익 +0.45틱(p 0.087), 확인 +0.36틱(p 0.061)으로 조금 나아지지만 비용 1틱 뒤에는 −0.55틱과 −0.64틱이다.

해석

한국 3년 금리는 장중에 중국과 일본 지표의 서프라이즈를 거의 가격에 넣지 않는다. 이 결론은 세 겹으로 받쳐진다. 변동이 늘지 않고(1.00배), 초 단위 경로에 계단이 없고, 부호를 무작위로 바꿔도 손익이 같다. 중국 지표에 대한 반응이 일본보다 조금 커 보이는 것(총손익 +0.81틱 대 −0.14틱, 변동 1.10배 대 0.91배)은 방향으로는 그럴듯하다. 중국 경기는 한국 수출을 거쳐 한국 금리에 닿기 때문이다. 하지만 그 경로는 몇 분이 아니라 몇 주에 걸쳐 작동하고, 장중 몇 분 안에 3선이 값을 매길 이유는 약하다. 장중 반응이 있다면 원화와 한국 주가지수 쪽이 먼저일 것이라 보고 양성 대조를 했는데, 달러원 선물(1.04배)과 코스피200 선물(0.98배)도 거의 움직이지 않았다. 3선만의 무관심이 아니라 장중 한국 시장 전체가 이 지표들에 값을 거의 매기지 않는다.

숫자 추출은 잘 됐다. 정규식 대조에서 어긋난 8건이 모두 정규식의 실수였고, 추출된 숫자 예시(부록 B)도 제목과 맞는다. 그러니 «언어모형이 숫자 비교를 못 해서 텍스트 신호가 죽는다» 는 Maven 노트의 우려는 적어도 지금의 LLM 과 이런 짧은 지표 제목에서는 병목이 아니다. 숫자판과 톤판의 R² 는 0.0000 과 0.0021 로 둘 다 0 이고, 첫 런에서 숫자판이 앞섰던 것은 누설 탓이었다. 설명할 반응이 없는 곳에서는 숫자 처리의 우위를 잴 수 없다. 이 실험이 실제로 답한 것은 «어떻게 읽느냐» 가 아니라 «3선이 이 숫자를 보느냐» 이고, 답은 아니오다.

한계

이 결론이 틀릴 수 있는 이유를 적는다.

표본 크기. 확인 구간 192사건은 사전등록에서 계산한 MDE 약 0.65틱을 잡을 정도다. 실제 효과가 0.1 ~ 0.3틱이라면 이 표본으로는 0 과 구별할 수 없다. 다만 그 크기의 효과는 비용 1틱을 넘지 못하므로 거래 판정은 바뀌지 않는다. 2024년 사건이 34개로 적은 것은 사건 정의(실제와 예상 숫자가 모두 있어야 한다) 탓이다. 그해 기계 줄은 «예상치 50bp 하회» 처럼 차이만 적은 경우가 많았다. 낱말 서프라이즈까지 넣은 탐색판(사건 645개)도 결과가 같았다.

감사 뒤 수정. 정본 런을 낸 뒤 독립 감사가 누설 세 가지를 찾았다. 같은 나라 5분 묶음의 부호를 진입 뒤 속보까지 합했고(묶음 36개), 빈 날의 월물을 그날 전체 거래량으로 골랐고, LLM 에 게시 시각을 담은 기사 번호를 식별자로 보냈다. 사전등록에 수정 절을 먼저 커밋하고 셋을 고쳐 다시 돌렸다. 확증 판정은 같았고(H948 −0.88 에서 −0.82틱, H952 −0.95 에서 −0.90틱), H950 의 숫자판 우위(0.0025 대 0.0001)는 누설이 만든 값이라 사라졌다. 첫 런과 그 위의 깊이 보강 두 런은 결과 폴더에 _void_ 를 붙여 남겼다.

추출 관문. H953 의 정규식이 허술해서 형식상 84% 로 미달했다. LLM 이 50건 모두 맞았다는 것은 결과를 본 뒤 어긋난 8건을 직접 열어 본 판단이고, 사전등록한 기준이 아니다. 사건 범위. 일본 08:50 지표는 2025년 11월까지 개장 전이라 빠졌다. LPR 은 제목에 예상 숫자가 거의 없어 사건이 1개뿐이고, 일본 단칸도 예상 숫자가 있는 제목이 드물었다. 그래서 LPR 과 단칸에 대해서는 이 실험이 말할 수 없다. LLM 이 확정치(일본 PMI 확정, GDP 수정치)도 발표 속보로 분류해 섞었다. 첫 발표만 남기면 반응이 조금 커질 수 있다.

비용과 체결. 비용은 왕복 1틱(판정), 2틱(보고)으로 두었고, 3선 1호가 잔량이 커서 슬리피지는 작다고 보았다. 10선과 30선은 재지 않았고 실측 스프레드가 더 넓을 수 있다. 진입가는 1분봉 종가와 초 틱 첫 체결가라 실제 호가 쪽 체결과 반 틱쯤 다를 수 있다. 결과를 본 뒤 고친 것. 정본 런 뒤에 돌린 깊이 보강 두 회차(변동 비, 초 단위 반응 창, 빠른 스캘핑, |z| 분위, 다른 시장 양성 대조, 연속 크기 조절, 첫 발표만)는 모두 탐색이다. 달러원 선물과 코스피200 선물 1분 표는 봉 라벨이 봉 끝이라고 가정했다. 사전등록 계획에서 바꾼 것은 없다. 기억 효과. 연도를 가렸지만 월과 숫자가 남아 있어 LLM 이 특정 발표를 알아볼 수는 있다. 다만 여기서 LLM 은 제목에 적힌 숫자를 옮기는 일만 했으므로 기억이 결과를 부풀릴 길은 좁다.

다음에 해 볼 것

달러원 선물과 코스피200 선물은 이번 탐색에서 이미 쟀고 반응이 작았으며, 감사 수정 뒤에는 10선의 중국 사건에서도 반응이 사라졌다(평소 변동의 0.07배, p 0.27). 장중 중국과 일본 지표를 한국 시장에서 거래하는 주제는 여기서 닫는 것이 맞다. 같은 «숫자 추출 대 톤» 틀은 한국 시장이 실제로 값을 매기는 숫자에 다시 쓴다. 3선 쪽에서는 해외 지표 대신 장중에 나오는 한국 정책 숫자(국고채 발행 계획 변경, 한국은행 단순매입 규모처럼 기대와의 차이가 분명한 숫자)를 같은 «숫자 추출 대 톤» 구도로 재는 편이 낫다.

산출물

  • 사전등록protocol.md
  • 분석과 판정analysis.md
  • 제목 수집code/s0_fetch.py
  • 후보와 날짜 가림code/s1_candidates.py
  • LLM 추출과 톤code/s2_llm.py num, code/s2_llm.py tone
  • 정본 런code/s3_main.py → results/20261110T025752_main/
  • 깊이 보강(탐색)code/s4_depth.py → results/20261110T025811_depth/
  • 양성 대조와 변형(탐색)code/s5_explore.py → results/20261110T025817_explore/
  • 그림code/render_figures.py

재현 순서는 uv run python code/s0_fetch.py, s1_candidates.py, s2_llm.py num, s2_llm.py tone, s3_main.py, s4_depth.py, s5_explore.py, render_figures.py 이다(모두 실험 폴더의 code/ 아래). LLM 응답은 묶음별로 캐시되어 다시 돌리면 같은 추출을 쓴다. 정본 런 폴더에는 metrics.json, 사건표 events.csv, 초 틱 사건표 tick_events.csv, 격자 grid.csv, 강건성 robust.csv, 연도별 years.csv, 평균 경로 paths.csv 와 tick_paths.csv, 순열 귀무 null.csv, 추출 검증 validate.csv 가 있다.

Appendix

A. 데이터셋 실물

정본 런 events.csv 의 실제 네 행(2025년 6월)이다. pin_60 은 게시 60초 뒤 진입가, pout_30 은 게시 30분 뒤 청산가, g 는 총손익(틱), y5 는 금리 방향 5분 반응(틱)이다.

사건표 실물(열 일부)
게시나라지표sz톤pin_60pout_30gy5
2025-06-02 09:32:01JPPMI 제조업+10.71+1107.49107.52−3−2
2025-06-04 09:32:02JPPMI 서비스업+10.05+1107.40107.35+5+2
2025-06-13 13:31:01JP산업생산−1−0.07−1107.07107.10+30
2025-06-16 11:07:07CN고정자산투자−1−0.120106.98106.97−10

네 행의 제목은 차례로 «[경제지표] 일본 05월 Jibun 은행 제조업 PMI(확정) 49.4 / 예측 49.0 : 0.8% 상회», «[경제지표] 일본 05월 Jibun 은행 서비스업 PMI(확정) 51.0 / 예측 50.8 : 0.4% 상회», «[경제지표] 일본 04월 산업생산(확정) MoM −1.1% / 예측 −0.9% : 0.20%p 하회», «*中 1~5월 고정자산투자 3.7%↑…예상치 3.9%↑» 다. 첫 세 행이 기계 줄이고 게시 초가 :01 ~ :02 다. 넷째 행은 기자가 쓴 속보다.

연도별 나라별 사건 수 누적 막대와 게시 시각 5분 간격 분포
그림 8. 왼쪽은 연도별 사건 수(중국, 일본)와 연 24회 문턱, 오른쪽은 게시 시각 분포. 10:30 근처가 중국 국가통계국 발표, 09:30 근처가 일본 PMI 다.

B. 모델 입출력 실물

Request meta
claude-sonnet-5-5, 명령줄 머리 없는 호출, 도구 끔, 설정 소스 끔, 세션 저장 안 함. 한 묶음 40제목, 묶음은 고정 순서로 뒤섞음(seed 262). 숫자판 85묶음, 톤판 69묶음.
Input(숫자판, 연도 가림)
{"id": "k1360", "headline": "中 4월 PPI 전년비 6.8%↑…예상치 6.5%↑"} 외 39줄. 같은 묶음에 «日 단칸 대형 제조업 업황지수 횡보 전망…車 인증부정 영향», «日 닛케이 2%대 급락…엔고에 수출주 타격» 이 함께 들어 있었다.
Model response(숫자판)
{"id": "k1360", "is_release": true, "country": "CN", "indicator": "PPI", "actual": 6.8, "expected": 6.5, "previous": null, "beat": 1, "unit": "YoY%"}, 단칸 전망 기사와 닛케이 시황 기사는 "is_release": false 로 걸러졌다.
Input(톤판, 숫자 가림)
日 #월 수출 전년비 #%↓…예상치 #%↓(상보), 中 #월 차이신 서비스업 PMI #…전월치 #(상보)
Model response(톤판)
{"id": "k0581", "tone": -1}, {"id": "k0401", "tone": 0}
Ground truth check
정규식 대조 50건 중 어긋난 8건의 예: «*일본 10월 무역수지 2천317억엔 적자…예상치 2천800억엔 적자» 에서 LLM 은 실제 −2317, 예상 −2800, 부호 +1(적자 축소)로 맞게 읽었고 정규식은 «2» 와 «2» 로 쪼개 부호 0 을 냈다. «일본 서비스업PMI (잠정) 54.9 : 예상치 0.4% 하회» 에서 정규식은 0.4 를 예상값으로 읽어 +1 을, LLM 은 −1 을 냈다.

C. 실험 설정

설정 값(code/s3_main.py 머리의 상수)
항목값
발견, 확인 구간2020-01-01 ~ 2023-12-31, 2024-01-01 ~ 2026-11-06
주 규칙1분봉, L 60초, H 30분, 비용 1틱
초 틱 규칙L 10초, H 30분, 비용 1틱, 2024 ~
격자L 10, 30, 60, 120, 300초 × H 5, 15, 30, 60분
비용 민감도0.5, 1, 2틱
충격 구간2020-03 ~ 04, 2022-09 ~ 11, 2024-12, 2025-04
크기 문턱|z| ≥ 0.5(발견 구간 지표별 표준편차)
사건 묶음같은 날 같은 나라 5분 안, 부호 합
검정월 블록 부트스트랩 5,000회, 순열 2,000회, seed 262, Holm 4개
지정가게시 60초 뒤 가격에서 1틱 유리, 60초 안 관통 체결, 청산 비용 0.5틱