LLM 이 밤사이 해외 기사 제목으로 매긴 금리 방향은 3년 국채선물 장중을 더 설명하는가

가설과 결론

밤사이 해외에서 나온 기사에는 미국 금리 숫자 하나로는 담기지 않는 정보(연준 위원 발언의 결, 관세 소식, 중국과 일본 시장 반응)가 있다. 사람 딜러는 아침에 그 제목들을 훑어보고 그날 금리 방향을 가늠한다. 이 실험은 LLM 에게 같은 일을 시켜, 그 판단이 미국 금리와 원화 충격으로 설명되는 몫 밖에서 3년 국채선물(3선) 장중 움직임을 더 설명하는지 물었다. 대상은 기존 되돌림 전략(«카드»)이 거래하는 날로 한정했다. 방향은 미리 정했다. 금리 상승 판단(L > 0)이면 선물 가격은 내려야 하므로 계수는 음이어야 한다.

확인 구간 부호는 미리 정한 방향(음)이지만 t −0.67 로 우연과 구별되지 않는다. LLM 의 판단은 장중에 더할 정보가 없었다.

용어와 기호

자료

데이터셋

제목 검색어는 연준, 국채, 금리, 뉴욕, 달러, 미국, 유로, 중국, 일본, 파월, FOMC, 고용, 물가 가운데 하나다. 검색어가 넓어 금리와 무관한 제목(예: 야구 소식)도 섞인다. 2019-06 이전은 게시 시각이 실제보다 100분 넘게 늦은 기사가 많아 쓰지 않았다.

언제 무엇을 아는가

채점은 결과를 보지 않은 채 한 번에 돌렸다(프롬프트 고정, 같은 밤을 다시 매기지 않음). 다만 haiku 가 학습 때 본 과거 지식으로 그날 이후 일을 알 가능성은 배제할 수 없다(한계 절).

방법

이 실험은 다자산 3차 묶음(0100 ~ 0150)의 텍스트, LLM 실험으로, 묶음 규칙상 채점 설계와 비용을 따로 정해 2026-10-29 에 사전등록했다. 해당하는 규칙은 아래와 같다.

1. 주가설 하나. 판정은 H322 하나로 한다. 시가 갭, 미국 금리와 엇갈린 날의 손익은 탐색이다.
2. 증분 회귀, 부호 고정(T1 고정 부호 꼴). 카드 날 표본에서 intra 를 g_us, ε, L 에 회귀하고, 확인 구간 b_L < 0 의 한쪽 p < 0.05 면 지지. 발견 구간은 보고만 한다.
3. 채점 고정. 프롬프트는 파일로 고정하고 md5 를 결과에 남긴다. 모델, 입력 형식, 출력 형식(숫자 하나)도 미리 정했다.
4. Holm. 2차와 3차 주가설을 한 가족으로 센다(이 실험 정리 시점 H259 ~ H326, 68개).
5. 채택 문턱. 계수만 의미가 있으면 «보류(설명력만)». 매매 후보가 되려면 카드에 더하는 손익과 독립성까지 보여야 한다.

모델

모델은 두 단계다. 첫째, 기사 제목을 숫자 하나로 바꾸는 LLM 채점기(학습하지 않고 고정 프롬프트로만 쓴다). 둘째, 그 숫자가 장중 손익을 설명하는지 보는 선형회귀.

LLM 채점기

프롬프트는 «너는 한국 국채 시장의 채권 딜러다» 로 시작해, 제목들만 근거로 오늘 한국 3년 국고채 금리가 어제 종가 대비 어느 쪽으로 움직일지 −1.0 ~ +1.0 숫자 하나로 답하라고 한다. 원문은 부록 B 에 있다.

H322 회귀

결과

확증 결과

L 이 −0.5 에서 +0.5 로 바뀌어도 확인 구간 장중 기대는 약 1.3틱 바뀐다. 장중 표준편차가 10.7틱이고, L 을 넣어 늘어난 설명력이 0.1% 다. 미국 금리와 원화 충격을 안 뒤에 L 이 장중에 더 알려 주는 것은 없다.

점수는 무엇을 읽었나

탐색 결과

확인 구간에서는 L 이 미국 금리 위에 시가 갭을 더 설명한다(t −2.87). 기사가 미국 금리 밖의 정보를 담고 있다는 뜻이지만, 그 정보는 개장 시가에 이미 들어가 장중 매매로는 잡을 수 없다. LLM 판단이 미국 금리와 엇갈린 날(E2)도 두 구간 부호가 달라 카드를 끄거나 줄이는 신호로 쓸 수 없다.

해석

LLM 이 밤사이 기사 제목에서 읽어 낸 방향은 미국 금리가 이미 말한 것과 거의 같다(상관 0.71, 부호 일치 86%). 그 밖의 몫이 조금 있지만 한국 시장이 열리는 순간 시가에 반영된다. 장중 되돌림을 노리는 카드에 LLM 기사 판단을 더할 자리는 없었다. 기사의 추가 정보를 쓰려면 개장 전에 들어갈 수 있는 수단(예: 야간 시장)이 필요하다.

한계

• 제목만 썼고 본문은 쓰지 않았다. 검색어가 넓어 금리와 무관한 제목이 섞인다.
• haiku 는 2019 ~ 2026 년 사건을 학습 때 봤을 수 있다. 그 경우 L 에 미래 지식이 섞일 수 있는데, 그래도 장중 설명력은 없었다.
• 채점은 밤마다 한 번이라 같은 입력에 대한 LLM 응답의 흔들림은 재지 않았다.
• 사전등록은 채점 코드를 code/s1_score.py 로 적었지만, 실제로는 code/s0_nights.py(입력 만들기)와 code/llm_score.py(채점)로 나눠 돌렸다. 점수 원본은 git 밖 캐시에 있고, 이 페이지의 서술 런(nights.csv)에 밤별 점수를 옮겨 두었다.
• 분위 표와 연도별 상관은 결과를 본 뒤 만든 서술이다.

산출물

• 계획protocol.md(사전등록 5aee7de)
• 분석, 판정analysis.md
• 코드code/s0_nights.py(입력), code/llm_score.py(채점), code/prompt_direction.md(프롬프트), code/s2_test.py(확증), code/s_detail.py(서술), code/render_figures.py(그림)
• 런results/20261029T182329_main/, results/20261030T165646_detail/(nights.csv, example_night.json, detail.json)

Appendix

A. 데이터셋 실물

nights.csv 의 실제 행. 열은 s, L, 제목 수, g_us(bp), ε(%), 카드 방향, 3선 갭, 장중(틱).

2026-10-01 은 미국 금리가 내렸는데(−5bp) LLM 은 한국 금리 상승(+0.3)으로 판단한, 탐색 E2 의 «엇갈린 날» 이다.

원천 점수 파일 한 줄은 {"key": "2019-07-02", "score": -0.3, "raw": "-0.3", "md5": "7a36e684…", "n_titles": 40} 꼴이다(raw 는 LLM 응답 원문 앞 40자).

B. 모델 입출력 실물

2025-04-09 밤(미국이 상호관세 90일 유예를 발표한 밤)의 실제 입력과 출력이다. 입력 제목 40개 가운데 일부만 싣는다(한자 약어가 들어간 제목은 이 문서의 표기 규칙상 빼고, 나머지는 중략).

C. 실험 설정

• 대상카드 날(|g_us| ≥ 3bp, 다음 달력일 세션, 만기 교체일 제외), 2019-07 ~ 2026-10
• 입력1002 제목, s 16:00 ~ e 08:20, 검색어 13개, 게시 시각 순 마지막 40개
• 채점Claude haiku, 도구 없음, 고정 프롬프트(md5 7a36e684), 숫자 하나 [−1, +1], 재시도 4회
• 회귀intra ~ g_us + ε + L, HAC 지연 5, 구간별 최소제곱
• 부호b_L < 0 사전 고정, 확인 한쪽 p < 0.05
• 분할발견 2019-07 ~ 2022-12(보고), 확인 2023-01 ~ 2026-10(판정)
• 다중검정2차, 3차 주가설 68개 Holm
• 탐색E1 시가 갭 계수, E2 L 과 g_us 엇갈린 날의 카드 손익