앙상블은 성능이 아니라 선택의 간극을 메운다

무엇을 물었나

누설 규율이 이 실험의 전부다

학습, 시험, 선택 데이터의 분할은 두 층이다

이 실험은 모델을 새로 적합하지 않으므로 학습과 시험 분할은 0005 에서 그대로 물려받는다. 이 실험이 더하는 것은 세 번째 창으로, 멤버와 가중치를 고르는 선택창이다. 선택창은 시험연도 이전만 보고, 시험창과 겹치지 않는다.

무엇을 묶나: 멤버 모델과 결합 방법

이 실험은 모델을 새로 학습하지 않는다. 앞선 실험(모델 열여덟 종을 티어 다섯에서 돌린 실험)이 남긴 날짜별 확률을 읽어, 여러 모델의 답을 하나로 묶는 방법만 바꿔 가며 잰다. 그래서 두 가지를 먼저 밝힌다: 묶는 대상(멤버)이 무엇이고, 묶는 방법이 무엇인가.

멤버로 묶이는 모델 열여덟 종

멤버는 계열 여섯으로 나뉜다. 배깅트리(et, rf, bag)는 결정트리 수백 그루를 서로 다른 표본으로 따로 키워 평균낸다. 부스팅(lgb, xgb, hgb, gbdt, ada)은 트리를 순서대로 키우되 다음 트리가 앞선 트리들의 잘못을 고치게 한다. 단일트리 (dt)는 트리 한 그루로, 앙상블이 얼마나 버는지 재는 바닥이다. 커널과 거리(svm_rbf, svm_lin, knn)는 피처 공간에서 가까움을 재서 답한다. 선형과 확률 (log, lin, ridge, enet, gnb)은 피처의 가중합 하나로 답한다. 신경망 (mlp)은 32칸과 16칸 은닉층 두 개를 쌓은 다층 퍼셉트론이다. 각 모델의 구조도(학습된 모델 객체에서 그린 실제 분기, 층, 계수)는 모델 열여덟 종 실험의 상세 페이지에 있다.

앙상블이 이득을 보려면 멤버끼리 서로 다르게 틀려야 한다. 그래서 아래 결과에 쌍 예측 일치율을 함께 싣는다. 두 모델이 같은 날 같은 방향을 고른 비율이다. 일치율이 1 에 가까우면 묶어도 새로 얻을 것이 없다.

결합 방법 다섯

어느 모델이 「상위 k」인지는 시험연도 이전 연도의 성적으로만 정한다. 시험연도 성적을 보고 고르면 그 순간 답을 미리 본 것이 되고, 앙상블이 좋아 보이는 것은 실력이 아니라 누설이다. 같은 이유로 스태킹의 메타학습기도 이전 연도 확률로만 적합한다.

결과

(c) 가 이렇게 센 이유는 시드 흔들림을 그 티어의 최대값으로 잡았기 때문이다(T0_core 0.0692, 부스팅 계열 하나가 크게 흔들린 값). 실제로 앙상블에 들어가는 상위 2~3 모델의 흔들림은 0.012~0.024 다. 문턱 정의가 보수적이었다. 그 사실을 적고 기준을 사후에 고치지 않는다.

앙상블이 메우는 것

T0_core 에서 사후 최고 0.6005, 정직한 단일 선택 0.5805, avg_top2 0.6005 로, 앙상블이 사후 최고와 같은 자리에 정직하게 도달한다. 즉 앙상블은 성능을 만드는 것이 아니라 "어느 모델이 좋을지 미리 모른다" 를 없앤다.

중위 0.68~0.80 이라 재료는 있었다. 0002와 0004 에서 없던 이유는 갈래가 둘뿐이었기 때문이고, 18종이면 서로 다른 날 틀린다.

방법 사이의 차이

다수결이 대체로 최고다. 확률 평균은 한 모델의 극단 확률에 끌리는데 다수결은 그것을 한 표로 누른다. 가중 평균은 단순 평균보다 낫지 않다 (연 190일에서 승률 차 대부분이 잡음이다). stack_logit 은 멤버 간 상관 때문에 계수가 흔들리고, family_one 은 다양성을 강제하느라 약한 계열(선형 0.52~0.54)을 반드시 들여 평균을 끌어내린다.

한계

산출물

• 사전등록protocol.md
• 분석과 판정analysis.md
• 정본 런results/20260922_142912_ensemble/
• 입력(0005)experiments/0005_flow_api_model_zoo/