10년 국채선물 · 인포맥스 1002 재정 기사 2020 ~ 2026-08 · LLM 기사별 채점 · 사전등록 6가설 Holm

추경과 국고채 발행 속보를 LLM 이 공급 충격으로 읽으면 10년 국채선물이 그날 더 빠지는가 검증

재정과 국고채 발행 기사를 헤드리스 Claude 가 기사마다 «방향, 가능성, 크기, 새 정보» 로 채점하고, 점수가 높은 기사가 장중에 뜨면 다음 분봉에 10선을 팔아 종가 단일가에 되사는 규칙을 2020 ~ 2026 년 1,336개 기사로 검정했다.

폐기 · H456 ~ H461 미지지 77건(연 11.6회), 건당 +0.43틱, Holm p 1.00 확인 구간 −2.67틱, 움직임 일부는 게시 전

세 줄 요약

  1. LLM 이 매긴 공급 충격 점수 S 가 0.2 이상인 재정 기사가 장중에 뜨면 다음 분봉에 10선을 팔고 종가에 되사는 규칙은 2020 ~ 2026 년에 77번(연 11.6회) 거래해 비용 1틱 뒤 건당 +0.43틱이었다. 월 블록 부트스트랩 한쪽 p 0.45, Holm p 1.00 이고, 확인 구간(2024 ~)은 33건 −2.67틱이다.
  2. 점수를 연속 변수로 써도 S 1 당 +8.0틱(p 0.13)으로 유의하지 않고, 그나마 2021 ~ 2022 에만 양이다. 공급 증가 기사의 매도 쪽 움직임 약 2.5틱이 게시 전 30분에 이미 나왔다. 같은 수의 기사를 고른 낱말 수 점수는 건당 −5.36틱이었다.
  3. 판정은 폐기다. 재정 뉴스 한 건마다 10선을 파는 규칙은 비용을 넘지 못하고, 연 12회로 드물다. 남은 길은 점수를 날마다 쌓은 «공급 압력 지수» 와 1002 보다 앞선 원천(보도자료, 국회 일정)이다.

가설과 결론

ECB 연구진은 LLM 으로 금융뉴스를 읽어 잠재 충격의 발생 가능성과 심각도를 따로 뽑는 지표(SPOT)를 만들었다. 한국 국채시장에서 가장 가까운 충격은 재정 쪽 공급이다. 추경이 편성되거나 적자국채가 늘면 국고채 물량이 늘고 금리가 오른다(선물 가격이 내린다). 앞선 실험은 추경을 발표일 단위로만 보았고, 기사 게시 분 단위로 가격이 얼마나 빨리 반응하는지는 재지 않았다. 이 실험은 그 반응이 비용을 넘는 매매 규칙이 되는지 묻는다.

가설
인포맥스 1002 의 재정, 국고채 발행 기사를 LLM 이 공급 충격 점수 S 로 채점했을 때, S ≥ 0.2 인 기사가 장중에 게시되면 다음 분봉에 10선을 팔고 그날 종가 단일가에 되사는 거래가 비용 1틱 뒤 건당 평균 0 보다 크다(H456). 보조로 LLM 점수가 낱말 수 점수보다 낫고(H457), 키워드만 맞는 기사 전부보다 낫고(H458), 게시 전 5분 움직임을 통제해도 남고(H459), 양방향으로도 되고(H460), 점수가 클수록 매도 손익이 크다(H461). 여섯을 한 묶음으로 Holm 보정한다.
결론
H456 은 77건 +0.43틱, 한쪽 p 0.446, Holm p 1.00 으로 지지되지 않았다. 나머지 다섯도 모두 Holm p 0.41 이상으로 지지되지 않았다. 판정은 폐기다.
주가설 묶음과 판정(정본 런 20261104T020117_main)
가설내용값한쪽 pHolm p판정
H456S ≥ 0.2 첫 기사 매도 → 종가77건, net1 +0.43틱0.4461.000미지지
H457후보일마다 LLM 규칙 − 사전식 규칙+0.75틱/일0.0690.413미지지
H458후보일마다 LLM 규칙 − 키워드만 규칙−0.59틱/일0.6791.000미지지
H459pre5 통제 뒤 절편 aa −0.27틱0.5311.000미지지
H460양방향 |S| ≥ 0.2104건, +0.18틱0.4821.000미지지
H461매도 gross 를 S 에 회귀한 기울기+8.0틱 / S 1, 351건0.1330.667미지지

사전등록 때 «gross +1 ~ +2틱, net1 0 ~ +1틱, 연 15 ~ 30건, 반응이 게시 앞에 있으면 0 근처» 를 예측했다. 결과는 gross +1.43틱, 연 11.6건으로 예측 범위의 낮은 쪽이다. 표본 전체로 비용을 겨우 넘고, 확인 구간에서는 비용 전부터 음이다.

용어와 기호

10선
한국거래소 10년 국채선물. 가격으로 거래하며 금리가 오르면 가격이 내린다. 그때그때 근월물을 이어 붙인 연결 시세를 쓴다
틱
가격 최소 단위 0.01. 손익은 모두 1계약당 틱이다
1002
인포맥스 단말의 실시간 뉴스 화면. 연합인포맥스와 연합뉴스 기사의 제목과 게시 시각(분, 일부 초)이 쌓인다
후보 기사
제목이 재정, 국고채 공급 낱말(추경, 국고채 발행, 국발계, 적자국채, 세수 결손, 바이백, 재정준칙, 예산안 등)과 맞고 해외 낱말(미국, 일본, 연준 등)이 없는 기사. 사람 이름 «추경호» 는 지우고 맞춘다
추경, 국발계, 바이백, 적자국채
추경은 추가경정예산, 국발계는 기획재정부의 월간 국고채 발행계획, 바이백은 정부가 만기 전 국고채를 되사는 것, 적자국채는 세입 부족을 메우려고 찍는 국고채다
LLM
대규모 언어모델. 여기서는 헤드리스 Claude Sonnet(명령줄로 부르는 Claude, 도구 없음)이다. 학습하지 않고 고정된 지시문으로 기사마다 따로 채점한다
direction, p, delta, new
LLM 출력. direction 은 공급 기대가 늘면 +1, 줄면 −1, 무관하면 0. p 는 그 변화가 실제로 일어날 가능성(0 ~ 1). delta 는 앞으로 12개월 국고채 순발행 기대가 바뀐 크기(조원, 절댓값). new 는 기사 직전까지 시장이 몰랐던 정보면 1, 되풀이나 시황이면 0
S(공급 충격 점수)
S = direction × p × min(1, delta ÷ 10) × new. −1 ~ +1. 크기는 10조원에서 포화한다
S_p, S_d
비교용 점수. S_p = direction × p × new(가능성만), S_d = direction × min(1, delta ÷ 10) × new(크기만)
D(사전식 점수)
제목과 본문 앞 1,500자에서 증가 낱말(추경, 적자국채, 증액, 세수 결손 등) 수 − 감소 낱말(감액, 축소, 바이백, 조기상환 등) 수
m
게시 분. 기사 게시 시각을 분 아래에서 버린 값
진입, 청산
진입은 라벨 m+1 1분봉의 종가(게시 뒤 첫 완결 봉), 청산은 그날 15:45 봉 종가. 1분봉 라벨은 봉이 끝나는 시각이다
종가 단일가
15:35 ~ 15:45 주문을 모아 한 가격에 체결하는 마감 경매. 15:45 봉 종가가 그 가격이다
gross, net1, net2
gross = (진입가 − 청산가) × 100 × 방향(매도 +1, 매수 −1), 비용 전 틱. net1 = gross − 1틱(판정), net2 = gross − 2틱(보고). 1틱은 왕복 비용 가정이다
pre5
게시 전 5분 움직임을 매도 방향으로 잰 값. (라벨 m−5 봉 종가 − 라벨 m 봉 종가) × 100. 양이면 게시 전에 이미 가격이 내렸다
승률
gross 가 0 보다 큰 거래의 비율
월 블록 부트스트랩
거래(또는 날, 기사)를 달 단위 묶음으로 나눠 묶음을 복원 추출하며 평균이나 회귀계수를 5,000번(회귀는 2,000번) 다시 계산하는 방법(seed 180). 한쪽 p 는 «진짜 값이 0 인데 이만큼 양으로 나올 확률», 90% 구간은 5% 와 95% 분위수다
Holm 보정
여러 가설을 함께 시험할 때 p 를 가설 수에 맞춰 키워 우연한 통과를 막는 방법. 6개 한 묶음
발견 구간, 확인 구간
발견 2020-01 ~ 2023-12, 확인 2024-01 ~ 2026-08-14. 문턱이 미리 고정돼 학습하는 값이 없으므로 표본 전체를 한 번 검정하고, 두 구간을 나눠 함께 보고한다
g_us
미국 밤사이 금리 변화로 만든 신호(앞선 실험의 패널 값). 한국 거래일 d 에는 d 개장 전에 알려진 뉴욕 종가 기준 값을 붙인다
충격 구간
고정해 둔 충격 사건 9개(코로나 2020-02-24, 러시아 우크라이나 침공, SVB 파산, 하마스 이스라엘, 이란 이스라엘, 엔 캐리 청산, 한국 비상계엄, 미국 상호관세, 이스라엘 이란 공습)의 그날부터 5거래일
만기일
3, 6, 9, 12월 셋째 화요일(휴장이면 그 앞 거래일). 연결 1분봉이 11:31 에 다음 월물로 넘어가므로 표본에서 뺀다

자료

데이터셋

쓴 자료
자료기간해상도쓰임
인포맥스 1002 기사 목록2020-01-01 ~ 2026-08-14분(2021 부터 일부 초)후보 제목, 게시 시각
1002 기사 본문(단말 화면이 부르는 본문 조회)후보 기사 1,453건기사LLM 입력(본문은 내부 원자료 폴더에만 저장)
10선 연결 1분봉2020-01 ~ 2026-08-141분, 봉 끝 시각 라벨진입가, 청산가, 게시 전후 경로, 지정가 체결 판정(고가)
10선 월물별 1분봉2026-07-01 ~ 08-141분연결 표가 빈 날을 전 거래일 거래량 최대 월물로 채움
g_us 패널2012 ~ 2026-10일미국 밤사이 금리 통제

표본과 거르기

표본(정본 런 metrics.json)
단계수
후보 기사(키워드, 해외 제외, 같은 분 같은 제목은 한 건)2,330
평일 08:45 ~ 15:20 게시1,453
본문을 받은 기사1,453
쓸 수 있는 날(마지막 봉 15:45, 만기일 아님, 수능일 아님)이고 게시 분의 1분봉이 있는 기사1,336
그 기사가 있는 날(후보일)612
direction ≠ 0 이고 new = 1 인 기사(H461 표본)351
S ≥ 0.2 기사 / 그 첫 기사로 거래한 날(H456)95 / 77

LLM 이 매긴 유형은 추경 665, 시황 234, 기타 121, 국발계 80, 예산 72, 바이백 61, 세수 59, 재정준칙 44건이다. 새 정보(new = 1)로 본 비율은 27% 다. 2025-11 이전에는 개장이 09:00 이라 08:45 ~ 09:00 게시 기사는 게시 분 봉이 없어 빠졌다.

언제 무엇을 아는가

채점기는 호출 한 번에 기사 하나와 그 기사 앞 3일 안에 게시된 후보 제목만 받는다. 진입은 게시 분 다음 봉이 끝난 시각의 가격이므로 게시 뒤 최소 0초, 최대 1분 59초 뒤다. g_us 는 그날 한국 개장 전에 알려진 뉴욕 종가 기준 값만 쓴다. 남는 누설은 LLM 이 학습으로 아는 사후 사실(그 추경이 실제로 얼마였는지)이고, 한계 절에 적었다.

방법

절차는 다섯 단계다. (1) 1002 목록에서 후보 제목을 고른다. (2) 같은 제목을 1002 목록 API 에서 찾아 본문을 받는다. (3) 기사마다 LLM 을 한 번씩 불러 채점한다. (4) 점수로 규칙을 만들어 10선 1분봉에서 손익을 잰다. (5) 사전등록한 6가설을 월 블록 부트스트랩과 Holm 으로 검정하고, 기준선, 귀무, 격자, 실행 변형, 경로를 함께 낸다. 지시문은 사전등록 커밋에 md5 와 함께 고정했다.

공급 충격 점수 분포와 가능성 대 크기 산점도
그림 1. 왼쪽: S ≠ 0 인 기사 348건의 점수 분포. 나머지 988건은 S = 0(무관하거나 새 정보 아님)이다. 오른쪽: 새 정보 기사의 가능성 p 와 크기 delta. 공급 증가(빨강)와 감소(파랑) 모두 p 0.5 ~ 1 에 몰리고, 크기는 몇 조원대가 많다.

모델

LLM 채점기

모델은 학습하지 않는다. 고정된 한국어 지시문(부록 C)이 «게시 시각에 서 있는 사람으로 읽고, 직전까지 시장이 알던 것과 비교해, 앞으로 12개월 국고채 순발행 기대가 얼마나 바뀌는지» 를 묻는다. 시황 기사는 new = 0, 다른 나라 국채나 회사채, 규모 정보 없는 정쟁 발언은 direction 0 으로 두라고 지시한다.

채점기 설정
항목값
모델Claude Sonnet(명령줄 claude -p --model sonnet), 도구 없음, 설정과 MCP 불러오지 않음
입력게시 시각, 제목, 본문 앞 1,500자, 앞 3일 후보 제목 최대 12개
한 번에 넣는 기사1건(1,453번 호출, 동시 8개)
출력direction, p, delta, new, kind, reason(40자 이내)
점수S = direction × p × min(1, delta ÷ 10) × new

매매 규칙과 비교 규칙

규칙(모두 하루 한 거래, 그날 조건을 넘는 첫 기사)
규칙들어가는 조건방향역할
LLM 규칙S ≥ 0.2매도확증(H456)
양방향S ≥ 0.2 매도, S ≤ −0.2 매수양쪽H460
사전식D ≥ 14 (발견 구간 거래 수를 LLM 규칙 44건에 맞춘 가장 작은 정수)매도H457 기준선
키워드만후보 기사면 모두매도H458 기준선
S_p, S_d≥ 0.2매도가능성과 크기를 나눈 비교

결과

확증 결과

규칙별 성과(정본 런, 2020-01 ~ 2026-08-14, 6.6년)
규칙거래연grossnet1승률발견 net1확인 net1net2 누적
LLM S ≥ 0.27711.6+1.43+0.4355%+2.75(44)−2.67(33)−44
양방향 |S| ≥ 0.210415.7+1.18+0.1856%+4.78(63)−6.88(41)−85
S_p ≥ 0.216324.6+1.00+0.0051%+1.10(86)−1.23(77)−163
S_d ≥ 0.215523.4+1.08+0.0852%+1.28(85)−1.37(70)−142
사전식 D ≥ 148012.1−4.36−5.3640%−4.30(43)−6.59(37)−509
키워드만61292.5+1.65+0.6551%+1.40(352)−0.38(260)−217
규칙별 누적 손익
그림 2. 규칙별 누적 net1. LLM 규칙(빨강)은 2021 ~ 2022 에 벌고 확인 구간(파란 바탕)에서 잃는다. 사전식(파랑)은 꾸준히 잃고, 키워드만(회색)은 2023 뒤 내려간다.
연도별 손익과 비용 민감도
그림 3. 왼쪽: LLM 규칙의 연도별 건당 net1(빨강 발견, 파랑 확인, 막대 위 거래 수). 2025 −0.5틱(22건), 2026 −15.0틱(7건). 오른쪽: 왕복 비용 0.5, 1, 2틱에서 77건 건당 손익(+0.93, +0.43, −0.57).

기준선과 귀무

기준선(정본 런)
기준선값읽는 법
같은 분에 모든 날 매도(무조건 표류)net1 −0.06틱그 시각에 그냥 팔면 비용만큼 잃는다
무작위 날 귀무(후보 없는 같은 해 날 같은 분, 1,000회)평균 +1.12, 95% 분위 +6.42관측 +0.43 은 42번째 백분위(p 0.58)
g_us 통제절편 +1.46, 상관 +0.03미국 밤사이 금리와 독립이다
충격 구간 제외71건 +0.83틱, p 0.41충격 주간과 무관하게 0 근처다

무작위 날 귀무 평균이 양인 것은 거래가 몰린 해(2020, 2022, 2025)의 매도 쪽 흐름 때문이다. 공급 기사가 뜬 날을 같은 해의 아무 날과 바꿔도 손익이 더 좋다.

무작위 날 귀무와 격자 선택 귀무
그림 4. 왼쪽: 무작위 날 같은 분 매도 1,000회의 77건 평균 net1 분포와 관측값. 오른쪽: S 를 해마다 기사끼리 뒤섞은 뒤 격자 45칸 최고 net1 을 다시 고른 500회 분포와 관측 격자 최고(+7.0틱, p 0.24).

강건성 격자와 실행

문턱, 청산, 진입 지연 격자
그림 5. 건당 net1 격자(칸 안 n 은 거래 수). 왼쪽: 진입 지연 0분에서 문턱 × 청산(+30분, +60분, 종가). 오른쪽: 종가 청산에서 문턱 × 진입 지연. 문턱 0.05 ~ 0.2 는 0 근처이고, 높은 문턱(0.3, 0.5)만 양인데 거래가 연 3 ~ 6회다.
  • 진입 지연: S ≥ 0.2 종가 청산에서 0, +1, +5분 지연에 +0.43, +0.09, −0.35틱. 늦을수록 나빠진다.
  • 청산: +30분 청산 +0.44틱, +60분 청산 −1.95틱.
  • 지정가: 진입가 + 1틱 매도 지정가를 걸면 5분 안 체결률 56%(43건)이고 체결된 거래는 −1.67틱, 못 채운 34건은 시장가였다면 +4.35틱이다. 가격이 바로 빠지는 날일수록 지정가는 놓친다(역선택).
  • 비용: 왕복 0.5, 1, 2틱에서 +0.93, +0.43, −0.57틱.

게시 전후 가격 경로

게시 전후 매도 방향 누적 움직임
그림 6. 게시 30분 전 가격을 0 으로 둔 매도 방향 누적 움직임(평균 ± 표준오차). 왼쪽: LLM 규칙 77건(빨강)은 게시 전 30분에 이미 약 +2.5틱이 움직였고, 게시 뒤 10분까지 약 +2.4틱이 더 나온 뒤 1시간 무렵 게시 분 수준으로 돌아온다. 키워드만 612건(회색)은 0 근처다. 오른쪽: 공급 감소 기사(S ≤ −0.2, 매수 방향)는 게시 전 약 +2.6틱, 게시 다음 1분에 약 +4틱이 움직였다. 새 정보가 아닌 기사(초록)도 게시 전에 움직였다(이미 일어난 가격 변화를 전하는 시황 기사).

공급 증가 기사의 매도 쪽 움직임은 게시 전과 게시 뒤 10분에 반씩 나뉜다. 1분봉으로 진입하면 게시 뒤 첫 1분(+0.9틱)을 놓치고, 10분 뒤의 이익도 한 시간 안에 되돌아간다. 1002 게시는 시장보다 늦고, 남은 반응은 하루를 버티지 못한다.

점수와 손익의 관계

점수 구간별 손익과 연도별 기울기
그림 7. 왼쪽: S 구간별 매도 방향 gross 평균(direction ≠ 0, new = 1 인 351건). 양 끝(S ≤ −0.2 −3.89틱, S ≥ 0.2 +1.58틱)만 기대 부호이고 가운데는 순서가 없다. 오른쪽: 해마다 다시 잰 기울기(빨강 발견, 파랑 확인). 2021, 2022 만 크게 양이고 2026 은 음이다.
H461 기울기 분해(탐색 런 20261104T020248_explore, 틱 / S 1)
자르기기사기울기한쪽 p
전체(확증)351+8.00.133
발견 2020 ~ 2023191+17.30.017
확인 2024 ~ 2026160−10.40.92
g_us 통제338+7.40.15
하루 한 기사(|S| 최대)257+7.40.13
충격 구간 제외326+9.30.099
pre5 통제347+8.00.13
게시 분 m 에 진입(1분 기다리지 않음)351+12.30.039
10분 뒤 청산351+3.50.056
S ≥ 0 만 / S ≤ 0 만217 / 137+13.2 / +6.70.067 / 0.34

점수의 정보는 약하고 2021 ~ 2022 에 몰려 있다. 게시 분에 바로 들어가면 기울기가 커지는 것은 반응의 일부가 게시 직후 1분 안에 지나가기 때문이고, 1분봉으로는 그 자리를 잡을 수 없다.

탐색 결과

아래는 결과를 본 뒤 정한 것이라 판정에 쓰지 않는다.

빈도를 올린 변형(탐색 런)
변형거래연net1p발견확인
양방향 |S| ≥ 0.0523735.8+0.060.48+2.52−3.04
S_p ≥ 0.5 매도10115.3−0.510.58+0.75−2.02
S_p 양방향 ≥ 0.518227.5−0.550.60+1.79−3.75
LLM 규칙, 10분 뒤 청산7711.6+0.350.32+0.32+0.39
  • 집중: 주 규칙 77건의 중앙값 +3.0틱, 위아래 10% 를 자른 평균 +1.42틱, 가장 좋은 3건을 빼면 −2.28틱. 가장 큰 거래는 2022-04-25 인수위 추경 규모 예고(−99틱), 2020-04-22 3차 추경 공식화 시황 기사(+76틱), 2022-01-06 여당 추경 언급(+72틱)이다.
  • 가능성과 크기 나누기: 가능성만 쓴 S_p(+0.00)와 크기만 쓴 S_d(+0.08)가 곱 S(+0.43)와 다르지 않다. SPOT 식으로 나눠도 이 문제에서 얻는 것이 없다.
  • 유형: 주 규칙 77건 중 추경 66건(−0.58틱), 국발계 4건(+25.5), 세수 4건(−8.75), 예산 3건(+1.33). 국발계가 크지만 4건이다.

해석

LLM 은 재정 기사에서 공급 충격의 방향을 읽어 냈고, 같은 기사를 낱말 수로 센 점수보다는 덜 나빴다. 그러나 점수와 그날 10선 움직임의 관계는 약하고, 추경 경쟁이 치열했던 2021 ~ 2022 에만 있었다. 2024 뒤에는 같은 점수의 기사가 오히려 반대로 움직였다.

매매로 보면 세 가지가 겹친다. 첫째, 공급 소식은 1002 게시 전에 이미 절반쯤 가격에 들어간다. 정책 발표는 보도자료, 국회, 다른 매체를 통해 먼저 퍼진다. 둘째, 게시 뒤 남은 반응은 10분 안에 나오고 한 시간 안에 되돌아간다. 셋째, 문턱을 넘는 새 정보 기사가 연 12회뿐이다. 그래서 «재정 뉴스가 뜨면 10선을 판다» 는 규칙은 비용을 넘지 못한다.

한계

  • 첫 채점의 누설을 결과를 본 뒤 고쳤다: 첫 런은 기사를 시각순으로 25건씩 한 번에 채점해 묶음 뒤쪽(게시 뒤) 기사가 보였다. 독립 감사가 찾았고, 기사마다 따로 다시 채점해 이 페이지의 결과를 냈다. 판정 규칙은 바꾸지 않았다. 같은 때 2026 공백 채움의 월물 선택(값 변화 없음)과 g_us 날짜 정렬도 고쳤다.
  • LLM 사후 지식: 채점기는 2020 ~ 2025 의 실제 추경 규모와 그 뒤 금리를 학습했을 수 있다. 지시문으로 막았지만 완전하지 않다. 발견 구간에서만 기울기가 양인 것은 이 누설로도 설명된다.
  • 본문 시점: 본문은 2026-11 에 다시 받은 것이라 게시 뒤 고쳐졌다면 게시 순간의 본문과 다를 수 있다.
  • 시황 기사 오분류: 이미 움직인 가격을 전하는 기사 일부가 새 정보로 채점됐다.
  • 비용: 판정 비용 1틱은 3년 국채선물 기준이다. 10년 국채선물 실측 스프레드는 더 넓을 수 있다.
  • 표본: 1002 목록은 2026-08-14 에서 끝난다. 개장 전 기사를 시가에 거래하는 경우는 재지 않았다. 탐색 결과 절의 변형과 기울기 분해는 결과를 본 뒤 정했다.

다음 실험

  1. 공급 압력 지수: 기사 하나로 거래하지 않고 지난 5거래일 S 합을 날마다 계산해, 다음 날 10선 방향이나 3년과 10년 커브 기울기의 조건 변수로 쓴다. 날마다 값이 있어 빈도 문제가 없다. 미국 밤사이 금리, 외국인 수급, 금리 수준을 함께 넣어 증분을 잰다.
  2. 게시보다 앞선 원천: 기재부 보도자료 게시 시각과 국회 일정(추경안 제출, 본회의 의결)을 사건 시각으로 써서 같은 매도 규칙을 다시 잰다. 날짜와 연도를 가린 본문으로 다시 채점해 LLM 학습 지식 누설도 점검한다.

산출물

  • 계획(사전등록, 수정 절 포함)protocol.md
  • 분석과 판정analysis.md
  • 정본 런results/20261104T020117_main/
  • 탐색 런results/20261104T020248_explore/
  • 코드code/s0_candidates.py, s0_score.py, score_prompt.md, s1.py, s2_explore.py, render_figures.py

Appendix

A. 데이터셋 실물

정본 런 articles.csv 에서 무작위로 뽑은 여섯 행(본문은 싣지 않는다). 모두 S = 0 인데, 채점기가 시황, 되풀이, 규모 정보 없는 발언을 걸러 낸 예다.

후보 기사와 LLM 출력(articles.csv)
게시제목dirpdeltanewkindreasonD
2023-12-18 14:28尹대통령 "예산안, 민생법안 빠른 시일 내 확정 당부"00.1000예산예산안 조속 처리 당부, 규모·시기 새 정보 없음−1
2021-07-15 11:11與, 속도감 있는 추경처리 주문…"타이밍 중요"00.2000추경일정·속도 주문, 전체 증액 논의 없음 확인뿐 새 정보 없음15
2025-01-23 09:21한은 "상반기에 추경 가시화 및 집행시 경기 부진 완화 도움"+10.6010추경한은의 추경 효과 언급일 뿐 규모·시기 신규 정보 없음2
2022-06-13 14:42기재부 "수요일 국채 바이백 확대…금융, 외환시장 예의주시"(종합)−10.9510바이백바이백 확대는 14:29 선행 속보에 이미 나옴, 종합 되풀이−3
2024-08-27 11:38채권시장 "내년 국고채 발행, 강세 일변도 깨, 커브에 스팁 압력"+10.9020국발계11시 국발계 201.3조 발표 이미 공개, 시장 반응 해설0
2021-08-25 10:33넷바이백 대상 국채, 투자자 편중 없다…무난한 유동성 재유입 기대00.3000바이백넷바이백 종목 보유분포 해설, 규모 2조 이미 공지됨−6

표의 dir 은 direction, D 는 사전식 점수다. 둘째 행처럼 «추경» 을 여러 번 쓴 기사는 D 가 크지만 새 정보가 없다. 사전식 규칙이 진 까닭이 이것이다.

B. 모델 입출력 실물

거래가 난 기사 하나(2020-06-03 10:00). 본문 829자는 저작권 때문에 싣지 않는다.

Request meta
claude -p --model sonnet, 도구 없음, 시스템 지시문 = score_prompt.md, 이 기사 한 건만 입력
Input
posted 2020-06-03 10:00, title «[3차 추경] 국채 23.8조 찍는다…역대 최대발행», body (829자, 생략), prior_headlines 12개, 예: «06-01 16:47 [채권-마감] 금리 상승…文대통령 "3차 추경 역대 최대"», «06-03 08:39 [전문] 구체화된 3차 추경 규모, 공급 우려 되돌림 [삼성선물]», «06-03 09:30 국채선물 하락 출발…되돌림 약세 속 추경 발표 대기»
Claude Sonnet response
{"direction": 1, "p": 0.97, "delta_trn": 3, "new": 1, "kind": "추경", "reason": "3차 추경 국무회의 의결, 국채 23.8조 확정; 규모는 사전 보도와 유사"}
Ground truth check
S = 1 × 0.97 × min(1, 3 ÷ 10) × 1 = 0.29. 채점기는 규모가 앞선 보도로 이미 알려졌다고 보고 크기를 3조원으로 작게 매겼다. 그날 10:01 봉 종가에 매도, 15:45 봉 종가에 환매해 gross +57틱. 사전식 D = 16 으로 사전식 문턱 14 도 넘었다

C. 실험 설정

설정(protocol.md, s1.py)
항목값
표본2020-01-01 ~ 2026-08-14, 발견 ~ 2023-12, 확인 2024-01 ~
게시 창평일 08:45 ~ 15:20, 게시 분 1분봉이 있어야 함
주 문턱S ≥ 0.2, 크기 포화 10조원
비용판정 1틱, 보고 2틱, 민감도 0.5, 1, 2틱
검정월 블록 부트스트랩 5,000회(회귀 2,000회), seed 180, 한쪽 p, Holm 6개
격자문턱 {0.05, 0.1, 0.2, 0.3, 0.5} × 지연 {0, +1, +5분} × 청산 {+30분, +60분, 종가}
귀무무작위 날 1,000회, 격자 선택 순열 500회(seed 181)
지정가진입가 + 1틱 매도, 다음 5개 분봉 고가가 넘어서면 체결
채점기사 하나를 호출 하나로(수정 20261103)
지시문 md5df6adc684c6a22f7aa1cf6aeeff43fe3
지시문 요지게시 시각의 사람으로 읽는다. 게시 뒤 사건은 쓰지 않는다. 직전까지 알던 것과 비교한다. 해외 국채, 회사채, 규모 없는 정쟁 발언은 0. 시황 기사는 new = 0. 출력은 기사마다 JSON 한 줄