세 줄 요약
- 연준 인사 발언 기사 제목이 있는 밤 930개(실패 0)를 LLM 이 −1(비둘기파) ~ +1(매파)로 채점했다. 톤 T 가 1 오를 때 다음 세션 3선 장중 손익은 발견 −0.59틱(t −0.27), 확인 −1.84틱(t −1.46)으로 미리 정한 방향(매파면 하락)과 같았다.
- 확인 구간 한쪽 p 는 0.073 으로 문턱 0.05 에 못 미쳤고, 같은 가족 주가설 68개 Holm 보정 p 는 1.00 이다. 발견 구간에서는 톤이 장중이 아니라 시가 갭에 들어갔다(t −3.09).
- 톤은 미국 금리와 거의 독립인 정보(상관 0.14)지만, 다음 날 장중 매매 신호로 쓸 만큼 확인되지 않아 판정은 폐기다.
가설과 결론
미국 연준 인사(의장, 부의장, 지역 연은 총재, 이사)의 발언은 한국 시간으로 밤이나 새벽에 나온다. 발언이 시장의 예상보다 매파적(긴축 쪽)이면 금리가 오르고 채권 가격은 내린다. 이런 정보는 대부분 미국 10년 금리의 그날 변화에 이미 담기지만, 발언의 결이 미국 금리 종가에 다 반영되지 않았다면 한국 3년 국채선물이 다음 날 장중에 그 몫을 뒤늦게 따라갈 수 있다.
이 실험은 그 몫을 재려고, 밤사이 연준 인사 발언 기사 제목을 LLM 에게 읽혀 톤 점수를 매기고, 미국 금리 변화와 원화 충격을 먼저 뺀 뒤 남는 설명력을 봤다. 부호는 결과를 보기 전에 음(−)으로 고정했다(매파일수록 3선 장중이 약하다).
| 가설 | 내용 | 결과 | 한쪽 p | 판정 |
|---|---|---|---|---|
| H323 | intra_next3 = a + bus·g_us + bε·ε + bT·T 에서 확인 구간 bT < 0 | bT = −1.84 (t −1.46) | 0.073 | 문턱 아래, 폐기 |
사전등록 문턱은 «확인 구간 한쪽 p < 0.05» 였다. 결과는 방향은 맞지만 0.073 이다. 같은 프로그램(2차와 3차 다자산 아이디어)의 주가설 68개(H259 ~ H326)에 Holm 보정을 걸면 1.00 이다. 판정은 폐기다. 방향은 미리 정한 쪽이었으나 통계 문턱을 넘지 못했다.
용어와 기호
- 3선
- 한국거래소 3년 국채선물(최근월 연결). 가격으로 거래하며 금리가 오르면 가격이 내린다
- 틱
- 3선 가격의 최소 단위 0.01. 계약(액면 1억원)당 1만원
- 세션 s, e
- s 는 한국 거래일(정보가 쌓이는 날), e 는 그 다음 한국 거래일. 매매는 e 에서만 한다
- 밤사이 창
- s 일 16:00 ~ e 일 08:20(한국 시간). 이 사이에 게시된 기사 제목만 쓴다
- T(톤 점수)
- 그 밤 연준 인사 발언 기사 제목들을 LLM 이 읽고 낸 숫자 하나. −1.0 매우 비둘기파, 0 중립 또는 예상과 같음, +1.0 매우 매파. 실제 값은 0.1 단위로 −0.8 ~ +0.8
- haiku
- Anthropic 의 소형 LLM(Claude Haiku). 명령행
claude -p --model haiku로 도구 없이 한 번 부른다 - 프롬프트 md5
- 채점 지시문 파일의 해시(3834c8ba). 모든 밤이 같은 지시문으로 채점됐음을 확인하는 지문
- intra_next3
- 3선 e 시가 → e 종가 손익(틱). 주가설의 목표
- gap_next3
- 3선 s 종가 → e 시가 변화(틱). 시가가 이미 가져간 몫
- g_us
- 미국 10년 국채금리의 하루 변화(bp, 뉴욕 날짜 s 종가 기준). 1bp 는 0.01%p
- ε
- 원화 고유 충격. 밤사이 원화 변화(%) 가운데 달러인덱스와 g_us 로 설명되지 않는 나머지. 계수는 직전 250일로만 추정한다
- bT
- 회귀에서 T 의 계수. T 가 1 오를 때(비둘기파 끝에서 매파 끝까지의 절반) 목표가 몇 틱 바뀌는가
- t, 한쪽 p
- t 는 계수를 표준오차로 나눈 값. 한쪽 p 는 효과가 0 인데 미리 정한 방향(음)으로 이만큼 나올 확률
- HAC 표준오차
- 이웃한 날의 오차가 닮는 것(자기상관)과 분산이 날마다 다른 것을 견디는 표준오차(Newey-West, 지연 5)
- ΔR²
- g_us 와 ε 만 쓴 회귀 대비 T 를 넣었을 때 늘어난 설명 비율
- 발견 구간, 확인 구간
- 발견 2019-07 ~ 2022-12 는 보고만 하고, 확인 2023-01 ~ 2026-10 에서만 판정한다. 부호는 두 구간 모두 보기 전에 정했다
- 롤 날
- 3선 최근월이 바뀌는 날. 연결 가격에 점프가 생겨 회귀에서 뺀다
- Holm 보정
- 여러 가설을 한꺼번에 시험할 때 우연한 통과를 막으려고 p 값을 가설 수에 맞춰 단계적으로 키우는 방법
자료
데이터셋
| 자료 | 원천 | 기간 | 해상도 | 쓰임 |
|---|---|---|---|---|
| 연준 인사 발언 기사 제목과 게시 시각 | 인포맥스 단말 1002 뉴스 검색(연합인포맥스, 연합뉴스) | 2019-07 ~ 2026-10 | 기사, 밤당 평균 2.3 ~ 3.6개 | T 의 입력 |
| 3선 시가, 종가 | 인포맥스 단말 일봉(연결) | 2019 ~ 2026 | 일 | intra_next3, gap_next3 |
| 미국 10년 금리 | FRED DGS10 | 2019 ~ 2026 | 일 | g_us(통제) |
| 원화 NDF, 스왑포인트, 달러인덱스 | 인포맥스 단말 | 2019 ~ 2026 | 일 | ε(통제) |
기사 본문과 열람자 목록은 저장하지 않고 제목과 게시 시각만 썼다. 2019-06 이전 기사는 게시 시각이 실제보다 100분 넘게 늦게 찍힌 경우가 많아 밤사이 창에 잘못 들어갈 수 있으므로 2019-07 부터 쓴다. 밤사이 제목 가운데 «연준» 이 들어 있고 위원, 총재, 의장, 파월, 부의장, 발언, 연설, 매파, 비둘기 중 하나가 함께 든 제목만 골랐다. 그런 제목이 하나 이상인 밤이 대상이다(한 밤에 많으면 마지막 30개).
| 항목 | 발견 2019-07 ~ 2022 | 확인 2023-01 ~ 2026-10 |
|---|---|---|
| 채점한 밤(실패 0) | 445 | 485 |
| 회귀 표본(롤 날, 통제 결측 제외) | 438 | 458 |
| T 평균, 표준편차 | +0.081, 0.389 | +0.037, 0.349 |
| T > 0, T < 0, T = 0 비율 | 52%, 40%, 8% | 47%, 43%, 10% |
| |T| ≥ 0.5 비율 | 29% | 20% |
언제 무엇을 아는가
미래 정보를 쓰지 않도록 기사 게시 시각과 매매 시각을 맞췄다. 톤 점수는 e 일 08:20 까지 게시된 제목만으로 만들 수 있고, 매매는 그 뒤 e 일 개장에서 시작한다.
| 시각 | 일어나는 일 |
|---|---|
| s 일 15:45 | 3선 정규장 마감(s 종가) |
| s 일 16:00 ~ e 일 08:20 | 밤사이 창. 연준 인사 발언 기사 제목 수집(뉴욕 장중 발언은 한국 새벽 시간대) |
| e 일 새벽 5 ~ 6시 | 뉴욕 날짜 s 의 미국 10년 금리 종가 확정(g_us) |
| e 일 08:20 이전 | T 계산(LLM 한 번), ε 계산 |
| e 일 개장 | 3선 시가(2025-11 까지 09:00, 2025-12 부터 08:45). gap_next3 확정 |
| e 일 15:45 | 3선 종가. intra_next3 확정 |
방법
- 밤 고르기. 2019-07 ~ 2026-10 의 모든 밤사이 창에서 연준 인사 발언 제목을 골라 밤 단위로 묶는다. 카드 날(미국 금리가 크게 움직인 날)에 한정하지 않는다.
- 채점. 밤마다 고정 프롬프트에 제목을 게시 시각 순으로 넣고 haiku 를 한 번 부른다. 답에서 숫자 하나를 읽어 −1 ~ +1 로 자른다. 결과 파일을 보기 전에 930밤을 모두 채점했다.
- 회귀. 그 밤들만으로 intra_next3 를 g_us, ε, T 에 회귀한다. g_us 와 ε 는 이미 알려진 밤사이 충격을 빼는 통제 변수다. 롤 날은 뺀다. 표준오차는 HAC(지연 5).
- 판정. 부호를 음으로 미리 고정했으므로 확인 구간 bT 의 한쪽 p 가 0.05 미만이면 지지다. 발견 구간은 같은 회귀를 보고만 한다.
- 다중검정. 같은 프로그램 주가설 68개 p 값 전체에 Holm 보정을 건다.
- 판정에 쓰지 않는 탐색. 목표를 시가 갭으로 바꾼 회귀(E1)와 |T| ≥ 0.5 인 밤만 쓴 회귀(E2).
모델
모델은 두 단계다. 첫째, 기사 제목 묶음을 숫자 하나로 바꾸는 LLM 채점기. 학습하지 않고 지시문만으로 쓰는 zero-shot 채점이다. 둘째, 그 숫자가 3선 손익을 설명하는지 보는 선형회귀. 회귀가 학습하는 값은 계수 네 개뿐이라 과적합 위험이 작다.
LLM 톤 채점기
| 항목 | 값 |
|---|---|
| 모델 | Claude Haiku, claude -p --model haiku, 도구 없음, 세션 저장 안 함 |
| 지시문 | code/prompt_tone.md(md5 3834c8ba). 역할은 연준 커뮤니케이션을 분석하는 이코노미스트, 질문은 «시장의 기존 기대에 비해 얼마나 매파적 또는 비둘기파적인가», 숫자 하나만 답하라 |
| 입력 | 그 밤 고른 제목(게시 시각 HH:MM 포함, 시각 순, 최대 30개) |
| 출력 해석 | 답에서 첫 숫자를 읽고 [−1, +1] 로 자른다. 숫자가 없으면 최대 4번 다시 부른다 |
| 호출 | 밤당 한 번, 동시 6개, 이어받기(이미 채점한 밤은 다시 부르지 않음) |
| 결과 | 930밤 전부 성공(실패 0). 점수는 0.1 단위 17개 값 |
H323 회귀
| 항목 | 값 |
|---|---|
| 목표 y | intra_next3(3선 e 시가 → e 종가, 틱) |
| 설명 변수 | 상수, g_us(bp), ε(%), T |
| 표본 | T 가 있는 밤만, 롤 날 제외 |
| 추정 | 최소제곱, 구간별 한 번(발견, 확인 따로) |
| 표준오차 | Newey-West HAC, 지연 5 |
| 사전 고정 부호 | bT < 0 |
| 변수 | 장중 발견 | 장중 확인 | 갭 발견 | 갭 확인 |
|---|---|---|---|---|
| 상수 | −0.42 (−0.63) | −0.54 (−1.17) | +0.57 (1.37) | +0.13 (0.39) |
| g_us, 1bp 당 | +0.53 (2.36) | +0.21 (2.11) | −1.06 (−7.93) | −1.16 (−12.54) |
| ε, 1% 당 | −7.04 (−2.28) | −0.04 (−0.03) | −5.77 (−3.19) | −5.38 (−2.81) |
| T, 1 단위당 | −0.59 (−0.27) | −1.84 (−1.46) | −3.99 (−3.09) | −0.72 (−0.66) |
| R² | 0.062 | 0.014 | 0.418 | 0.423 |
| 표본 | 438 | 458 | 438 | 458 |
미국 금리 g_us 는 시가 갭을 크게 설명하고(R² 0.42), 장중에는 작은 양의 계수가 남는다(밤사이 미국 금리가 오른 날 3선이 갭으로 빠진 뒤 장중에 조금 되돌아온다). 톤 T 는 이 통제 위에 얹힌 몫이다.
결과
확증 결과
| 항목 | 발견 2019-07 ~ 2022 | 확인 2023 ~ 2026 |
|---|---|---|
| 표본(밤) | 438 | 458 |
| T 계수(틱/1 단위) | −0.59 (t −0.27) | −1.84 (t −1.46) |
| 한쪽 p(부호 사전 고정) | 0.395(보고) | 0.073 |
| ΔR²(g_us, ε 대비) | 0.0002 | 0.0036 |
| T 와 g_us 상관(전체) | 0.14 | |
| Holm 보정 p(68개) | 1.00 | |
크기를 감각으로 옮기면 이렇다. 매파 끝 쪽 밤(T = +0.5)과 비둘기파 쪽 밤(T = −0.5)의 차이는 T 1 단위이고, 확인 구간 계수로는 다음 날 3선 장중 기대가 약 1.8틱 차이 난다. 그러나 3선 장중 손익의 하루 표준편차가 약 10틱이므로 톤이 설명하는 몫은 장중 흔들림의 0.4%(ΔR² 0.0036)에 그친다.
톤 묶음과 연도로 보면
아래는 판정에 쓰지 않는 기술 통계다(results/20261030T162916_detail/, 확증 수치를 먼저 다시 만들어 일치를 확인한 뒤 계산). 점수가 0.1 단위라 다섯 분위 대신 세 묶음으로 나눴다.
| 묶음 | 발견 밤 | 발견 갭 | 발견 장중 | 확인 밤 | 확인 갭 | 확인 장중 |
|---|---|---|---|---|---|---|
| 비둘기(T ≤ −0.3) | 121 | +2.82 | −0.88 | 130 | +0.84 | −0.21 |
| 중립(−0.2 ~ 0.2) | 140 | +0.19 | −1.06 | 178 | +0.81 | +0.25 |
| 매파(T ≥ 0.3) | 181 | −3.01 | +0.52 | 166 | −1.25 | −1.77 |
| 연도 | 계수 | 연도 | 계수 |
|---|---|---|---|
| 2019(7월부터) | −5.10 (−1.02), 56 | 2023 | −4.48 (−1.51), 119 |
| 2020 | +5.02 (1.24), 102 | 2024 | +3.16 (1.73), 99 |
| 2021 | −0.44 (−0.21), 129 | 2025 | −2.34 (−1.26), 137 |
| 2022 | −3.73 (−0.72), 151 | 2026(10월까지) | −5.72 (−2.27), 103 |
확인 구간 안에서도 2024 년은 반대 방향이다. 효과가 해마다 고르게 나타나지 않고 몇 해에 몰려 있다.
탐색 결과
| 항목 | 발견 | 확인 |
|---|---|---|
| E1 목표를 3선 시가 갭으로 | −3.99 (t −3.09), p 0.001, 438밤 | −0.72 (t −0.66), p 0.25, 458밤 |
| E2 |T| ≥ 0.5 인 밤만, 장중 | +0.20 (t 0.08), p 0.53, 128밤 | −1.87 (t −0.89), p 0.19, 95밤 |
발견 구간에서 톤은 시가 갭을 강하게 설명했다(미국 금리를 통제한 뒤에도 t −3.09, ΔR² 0.018). 시장이 개장 순간 연준 톤을 가격에 넣었다는 뜻이고, 장중에 따라갈 몫은 거의 남지 않았다. 확인 구간에서는 갭 계수가 줄고 장중 계수가 커졌지만 둘 다 유의하지 않다. 톤이 강한 밤만 골라도(E2) 표본이 줄어 더 나아지지 않았다.
해석
LLM 이 기사 제목만 읽고 매긴 톤은 미국 10년 금리 변화와 상관이 0.14 로 낮다. 즉 미국 금리 종가와는 다른 결의 정보를 담는다. 그러나 그 정보가 한국 3선에 들어가는 자리는 주로 개장 시가였다. 시가가 이미 가져간 정보로는 장중 매매를 할 수 없다. 확인 구간의 장중 계수는 방향이 맞지만, 표본 458밤에서 t −1.46 은 우연과 구별되지 않는다. 지금 크기가 그대로라면 t 가 1.96 에 닿는 데 지금의 약 1.8배 표본이 필요하다.
한계
- 확인 한쪽 p 0.073 으로 사전등록 문턱을 넘지 못했다. 68개 Holm 보정 1.00 이다.
- 채점 입력이 기사 제목뿐이다. 발언의 미묘한 결은 본문에 있고, 제목은 기자의 요약이라 시장 반응을 이미 담고 있을 수 있다(예: «매파적 동결에 나스닥 하락»).
- LLM 점수는 한 번 부른 값이다. 같은 입력을 다시 부르면 점수가 0.1 ~ 0.2 흔들릴 수 있는데, 반복 채점으로 그 흔들림을 재지 않았다.
- haiku 의 학습 자료에 이 기간의 시장 결과가 들어 있을 수 있다. 다만 점수가 장중 손익을 맞히지 못했으므로 이 오염이 결론을 유리하게 만들지는 않았다.
- «시장의 기존 기대» 를 LLM 이 제목만으로 안다고 가정했다. 실제 기대(선물 시장이 반영한 금리 경로)를 입력으로 주지 않았다.
- 점수는 0.1 단위 17개 값에 몰려 있고, 중립(0)은 8 ~ 10% 뿐이다. 모델이 «0 = 예상과 같음» 을 잘 쓰지 않는다.
산출물
- 계획
protocol.md(사전등록 5aee7de) - 코드
code/s0_nights.py(밤 고르기),code/llm_score.py(채점),code/prompt_tone.md(지시문),code/s2_test.py(확증),code/s_detail.py(기술 통계),code/render_figures.py(그림) - 런
results/20261029T182329_main/,results/20261030T162916_detail/(nights.csv, metrics.json) - 점수 원본저장소 밖 캐시
data/cache/exp0144/scores_0103.jsonl(밤마다 점수, 원 답, md5)
Appendix
A. 데이터셋 실물
nights.csv 의 실제 행. 열은 날짜 s, 톤 T, 그 밤 제목 수, 미국 10년 변화 g_us(bp), 원화 고유 충격 ε(%), 3선 시가 갭과 장중(틱).
| s | T | 제목 수 | g_us | ε | gap_next3 | intra_next3 |
|---|---|---|---|---|---|---|
| 2019-07-03 | −0.3 | 3 | −2 | −0.08 | +2 | +3 |
| 2019-07-05 | +0.4 | 2 | +8 | +0.23 | −10 | +12 |
| 2019-07-09 | −0.2 | 1 | +2 | +0.17 | −2 | −5 |
| 2019-07-10 | −0.3 | 10 | 0 | −0.20 | +12 | −6 |
| 2023-09-20 | +0.7 | 6 | −2 | +0.12 | −16 | 0 |
| 2023-10-17 | −0.6 | 3 | +12 | −0.10 | −20 | +9 |
B. 모델 입출력 실물
확인 구간에서 제목이 2 ~ 6개인 밤 가운데 가장 매파적인 밤과 가장 비둘기파적인 밤이다. 입력은 지시문 뒤에 붙는 제목 목록 그대로다.
- Request meta
- 밤사이 창 2023-09-20 16:00 ~ 2023-09-21 08:20, 프롬프트 md5 3834c8ba, haiku 한 번
- Input
- 03:09 연준 위원들 12명, 2023년 1회 추가금리인상 예상
03:11 연준 위원들 13명, 2024년 현수준보다 금리인하 전망
03:40 파월 '연준, 적절하다면 금리 추가 인상할 준비돼 있다'
03:54 파월 '연준, 신중하게 진행해야'
04:20 美연준, 기준금리 5.25∼5.50%로 동결…파월 "당분간 긴축 유지"(종합2보)
06:27 美연준의 '매파적 기준금리 동결'에 나스닥 1.5% 떨어져 - Model response
- haiku 답 0.7(T = +0.7, 매파). 장중 기대의 톤 몫 = −1.84 × 0.7 ≈ −1.3틱
- Ground truth check
- g_us −2bp, 2023-09-21 3선 시가 갭 −16틱, 장중 0틱. 매파 정보는 시가에서 반영됐고 장중에는 움직임이 없었다
- Request meta
- 밤사이 창 2023-10-17 16:00 ~ 2023-10-18 08:20, 프롬프트 md5 3834c8ba, haiku 한 번
- Input
- 17:09 FX스와프, 상승…비둘기파적 美연준 인사 발언
22:12 미 국채가 하락…'소매판매 서프라이즈'·연준 인사들 연설 주목
05:21 [뉴욕환시] 달러화, 양호한 美 소매·비둘기 연준에 혼조 - Model response
- haiku 답 −0.6(T = −0.6, 비둘기파). 장중 기대의 톤 몫 = −1.84 × (−0.6) ≈ +1.1틱
- Ground truth check
- g_us +12bp(소매판매 호조로 금리 급등), 시가 갭 −20틱, 장중 +9틱. 장중 방향은 일치하지만, 같은 날 미국 금리 급등 뒤 되돌림이 함께 섞여 있다
C. 실험 설정
- 기사인포맥스 1002 제목과 게시 시각, 2019-07 ~ 2026-10, 밤사이 16:00 s → 08:20 e, «연준» 과 인물 또는 발언 낱말 9개 중 하나, 밤당 최대 30개
- 채점haiku, 고정 프롬프트 md5 3834c8ba, 도구 없음, 밤당 1회, 출력 [−1, +1] 로 자름, 재시도 최대 4번
- 회귀intra_next3 ~ g_us + ε + T, HAC 지연 5, 롤 날 제외
- 분할발견 2019-07 ~ 2022-12(보고), 확인 2023-01 ~ 2026-10(판정)
- 문턱bT < 0 사전 고정, 확인 한쪽 p < 0.05, 2차와 3차 주가설 68개 Holm 함께 보고
- 탐색E1 목표 gap_next3, E2 |T| ≥ 0.5 인 밤만