새 데이터와 모델 18종 — 승률은 0.35%p 올랐고, 그 차이는 유의하지 않다

최고는 T4_daily / ExtraTrees 로 승률 0.6065 · 누적 +681틱. 0003 의 채택 후보(0.6030 · +663틱)보다 0.35%p 높지만 짝지은 McNemar p=0.688(52:47)이다 — 예측이 갈리는 99일에서 동전이다. 사전등록 문턱(p<0.05)에 걸려 H12 미지지. 모델을 10종에서 18종으로 넓혀도 1위는 같은 ExtraTrees 였고, 새로 얻은 것은 승률이 아니라 데이터 축의 정직성이다(누설 카나리아 0건).

무엇을 물었나

기호와 데이터

이 문서의 숫자를 읽는 데 필요한 기호는 넷이다.

어떻게 쟀나

분할은 연도 확장창 워크포워드다 — 시험연도 Y 의 모델은 Y 이전 연도로만 학습한다. 티어마다 그룹의 시작 연도가 달라 학습 시작과 시험연도가 다르고, 표본이 다른 티어의 승률을 같은 축에 두지 않는다.

하이퍼파라미터는 탐색하지 않았다 — 표본이 하루 1행 1,847개다. 비교한 조합 수(티어 × 모델 × 시드 = 264)를 정직하게 센다.

모델 열여덟 종 — 무엇을 학습하는 모델인가

아래 그림은 모두 같은 자리에서 그렸다: 티어 T4_daily(피처 115개), 학습 2017~2025년 1,693행, 시험 2026년. 모식도가 아니라 학습이 끝난 모델 객체에서 읽은 값이고, 그리기 전에 그 모델이 정본 런에 커밋된 확률을 소수점 아래 아홉째 자리까지 다시 내는지 확인한다.

배깅트리 — 여러 결정트리를 서로 다른 표본·피처로 따로 키운 뒤 평균낸다. 트리 하나하나는 과적합하지만 평균이 그 흔들림을 깎는다. 이 실험에서는 et · rf · bag 가 여기 든다.

부스팅 — 트리를 순서대로 키운다. 다음 트리는 앞선 트리들이 아직 틀린 부분만 고치도록 학습한다. 트리 하나는 얕고, 수백 그루가 조금씩 더해져 최종 값이 된다. 이 실험에서는 lgb · xgb · hgb · gbdt · ada 가 여기 든다.

단일트리 — 트리 한 그루. 앙상블이 얼마나 벌어 주는지를 재는 바닥 기준으로 넣었다. 구조가 그대로 읽히는 유일한 모델이다. 이 실험에서는 dt 가 여기 든다.

커널·거리 — 피처 공간에서 가까움을 재서 답한다. 트리처럼 축에 수직인 칸을 자르는 대신, 거리나 커널로 매끄러운 경계를 만든다. 이 실험에서는 svm_rbf · svm_lin · knn 가 여기 든다.

선형·확률 — 피처의 가중합 하나로 답한다. 구조가 가장 단순해서, 비선형 모델이 실제로 무엇을 더 벌었는지 재는 자가 된다. 이 실험에서는 log · lin · ridge · enet · gnb 가 여기 든다.

신경망 — 가중합과 비선형 변환을 층으로 쌓는다. 표본이 하루 1행으로 작아 큰 망은 쓰지 않았다. 이 실험에서는 mlp 가 여기 든다.

ExtraTrees — 극단적 무작위 트리 et

트리 400그루를 키우되 분기 지점을 무작위로 뽑아 고른다. 무작위성이 커서 트리끼리 덜 닮고, 평균이 더 매끄럽다. 0003 에서 가장 좋았던 계열이라 기준점으로 넣었다.

어느 깊이에서 어느 피처가 몇 번 갈랐나(그루 400개 합).

RandomForest — 무작위 숲 rf

트리 400그루를 부트스트랩 표본으로 키우고, 분기마다 피처를 √(피처 수)개만 후보로 본다. 최적 분기를 그 후보 안에서 고른다. ExtraTrees 와 같은 배깅 계열인데 분기를 무작위가 아니라 최적으로 고른다 — 그 차이가 성적에 나타나는지 본다.

어느 깊이에서 어느 피처가 몇 번 갈랐나(그루 400개 합).

Bagging — 배깅한 결정트리 bag

깊이 6 결정트리 200그루를 부트스트랩 표본과 피처 70% 로 키워 평균낸다. 무작위 숲에서 '분기 후보 제한' 만 뺀 것이다. 배깅의 효과와 피처 무작위화의 효과를 갈라 보려고 넣었다.

어느 깊이에서 어느 피처가 몇 번 갈랐나(그루 200개 합).

LightGBM — 히스토그램 그래디언트 부스팅 lgb

피처를 미리 구간으로 묶어 빠르게 트리 400그루를 순서대로 키운다. 잎 수(15)로 복잡도를 제한한다. 실무에서 표 데이터의 기본값으로 쓰이는 모델이다.

어느 깊이에서 어느 피처가 몇 번 갈랐나(그루 400개 합).

XGBoost — 정규화 그래디언트 부스팅 xgb

LightGBM 과 같은 부스팅인데 트리를 깊이 우선으로 키우고 손실에 정규화 항을 직접 넣는다. 같은 부스팅이라도 구현이 다르면 성적이 갈리는지 본다.

어느 깊이에서 어느 피처가 몇 번 갈랐나(그루 400개 합).

HistGradientBoosting — scikit-learn 히스토그램 부스팅 hgb

LightGBM 과 같은 계열의 scikit-learn 구현. 피처를 256구간으로 묶고 400회 반복한다. 부스팅 구현 셋을 같은 자리에서 맞대기 위해 넣었다.

어느 깊이에서 어느 피처가 몇 번 갈랐나(그루 400개 합).

GradientBoosting — 고전 그래디언트 부스팅 gbdt

구간으로 묶지 않고 원래 값에서 최적 분기를 찾는다. 느리지만 히스토그램 근사가 없는 기준선이다. 히스토그램 근사가 성적을 깎는지 재려고 넣었다.

어느 깊이에서 어느 피처가 몇 번 갈랐나(그루 300개 합).

AdaBoost — 적응 부스팅 ada

깊이 2 짜리 아주 얕은 트리(그루터기)를 300개 이어 붙이되, 앞에서 틀린 표본의 가중치를 올려 다음 트리를 키운다. 부스팅의 가장 오래된 형태 — 잔차가 아니라 표본 가중치로 배우는 방식이 여기서도 통하는지 본다.

어느 깊이에서 어느 피처가 몇 번 갈랐나(그루 300개 합).

DecisionTree — 결정트리 한 그루 dt

깊이 4, 잎 최소 40일. 조건을 따라 내려가면 예측이 나온다. 앙상블이 트리 하나보다 얼마나 나은지 재는 바닥이다.

어느 깊이에서 어느 피처가 몇 번 갈랐나(그루 1개 합).

SVM(RBF) — 방사기저함수 서포트벡터머신 svm_rbf

두 반을 가르는 경계를 가장 넓은 여백으로 긋는다. RBF 커널로 굽은 경계도 그을 수 있다. 트리와 전혀 다른 방식으로 경계를 만드는 계열이다.

SVM(선형) — 선형 서포트벡터머신 + 확률 보정 svm_lin

직선(초평면)으로 가르되 여백을 최대화한다. 확률은 교차검증 보정(Platt)으로 따로 만든다. 같은 SVM 에서 커널만 뺀 대조다.

k-최근접 이웃 (k=75) knn

학습을 하지 않는다 — 표를 통째로 기억했다가, 예측할 때 가장 가까운 75일을 찾아 그날들의 방향을 거리로 가중해 투표한다. '비슷한 날은 비슷하게 끝난다'는 가정만으로 어디까지 가는지 본다.

LogisticRegression — 로지스틱 회귀 log

피처의 가중합을 로지스틱 함수로 눌러 확률을 낸다. C=0.1 로 계수를 강하게 규제했다. 분류 확률의 표준 기준선이다.

LinearRegression — 최소제곱 선형회귀 lin

확률이 아니라 틱 변화 자체를 회귀하고 부호를 읽는다. 확률은 잔차 표준편차로 눌러 만든 값이라 보정된 확률이 아니다. 규제가 전혀 없는 선형 바닥이다.

Ridge — L2 규제 선형회귀 ridge

선형회귀에 계수 제곱 벌점(alpha=10)을 더해 계수를 0 쪽으로 민다. 피처 115개에 표본 1,693행이면 규제가 필요한지 보려고 넣었다.

ElasticNet — L1+L2 규제 선형회귀 enet

L1(계수를 0 으로 죽인다)과 L2 를 섞은 벌점. 피처 선택이 함께 일어난다. 피처를 줄이는 쪽이 유리한지 보는 자리다.

GaussianNB — 가우시안 나이브베이즈 gnb

피처마다 상승일·하락일의 평균과 분산만 배우고, 피처끼리 서로 독립이라고 가정해 곱한다. 가장 단순한 확률 모델 — 독립 가정이 이 데이터에서 얼마나 해로운지 재는 자다.

MLPClassifier — 다층 퍼셉트론(신경망) mlp

32칸·16칸 은닉층 두 개를 지나 확률을 낸다. 조기 종료로 과적합을 막는다. 표본이 작을 때 신경망이 트리 앙상블을 이기는지 본다.

결과 — 모델 18종

H13 은 미지지다 — 관측 순서가 배깅트리 0.5942 > 커널·거리 0.5680 > 부스팅 0.5669 > 선형 0.5339 로, 부스팅과 커널·거리가 0.11%p 차로 자리를 바꿨다. 뒤집혔다고 말하기엔 작은 차이지만 사전등록 문장이 순서를 요구했으므로 미지지로 적는다.

새 데이터가 더한 것

세 가지가 읽힌다. ① g7_ 48열이 +0.6%p(0.6005 → 0.6065)를 더했다. ② 전 그룹을 넣은 T6_nan(204열)이 오히려 낮다 — 결측 43~67% 그룹을 함께 주면 트리가 결측 패턴을 배운다(0003 Tall_nan 과 같은 결론). ③ 되찾은 컷오프 4분은 승률로 값을 받지 못했다 — 수급 티어 최고가 0.5942 다.

설정을 흔들면 나아지나 · 수급을 짝지어 빼면 무엇이 남나

여기까지는 모델마다 설정을 하나씩만 썼고, 티어끼리 시험 기간이 달라 "장중 투자자 수급이 값을 하는가" 에 답할 수 없었다. 그 둘을 메우려고 같은 데이터에서 두 번째 런을 돌렸다 — 모델 18종 × 설정 171개 × 티어 6, 적합 1,026건. 정본 런은 results/20260922_142830_hparam/ 이다.

용어. 설정(하이퍼파라미터)은 학습 전에 사람이 정하는 값이다 — 트리 수, 트리 깊이, 이웃 수, 규제 세기 같은 것. 정직한 선택은 시험연도 Y 의 설정을 Y 이전 연도 성적만 보고 고르는 방식이고, 사후 최고는 여덟 해를 다 본 뒤 가장 좋았던 설정을 적은 값이다. 사후 최고는 운용에서 쓸 수 없다 — 그 해가 끝나야 알 수 있다.

H15 미지지. 설정을 넓게 흔들어도 정직하게 고르면 오히려 조금 낮다. 두 차이 모두 유의하지 않고(p≥0.09) 시드 흔들림의 4분의 1 도 안 된다. 격자를 넓히면 사후 최고는 올라가지만(0.6072·0.6112) 그 값은 답을 보고 고른 값이다. 연도마다 고르는 설정이 계속 갈리는 것이 같은 사실을 다르게 말한다 — T4_daily 는 et#00 → log#03 → knn#06 → enet#07 → et#12 → knn#06 로 옮겨 다닌다. 직전 연도 성적은 다음 해 성적을 거의 말해 주지 않는다.

H16 미지지. 부호는 두 짝 모두 수급 쪽이지만 크기가 시드 흔들림의 10분의 1 이고, 설정 단위로 보면 절반은 대조군이 이긴다. 앞 절의 0.35%p 와 같은 결론인데, 이번에는 표본이 같은 짝 비교라 그 결론이 더 단단하다. (Wilcoxon 부호순위 검정은 짝지은 차이들이 0 을 중심으로 대칭인지 보는 검정이다 — 차이의 부호와 크기 순위만 쓰므로 승률 분포 모양을 가정하지 않는다.)

왜 유의하지 않은가

0005 최고와 0003 후보는 1,491일 중 99일에서만 예측이 갈린다. 그 99일의 성적이 52:47 이다 — 동전을 99번 던진 것과 구분되지 않는다(p=0.688). 승률 차 0.35%p 는 시드 흔들림(et/T4_daily 0.0155)의 4분의 1 도 안 된다.

한계

산출물

• 사전등록protocol.md
• 분석·판정analysis.md
• 정본 런results/20260921_171142_zoo/
• 모델 동물원code/models5.py
• 피처 캐시 생성code/build_features5.py