신경망은 트리를 한 티어에서 넘었다 — 그런데 20분 모멘텀 규칙은 한 티어도 못 넘었다

H17 지지 — 제대로 탐색한 신경망은 0005 가 쓴 단일 MLP 설정을 넘는다(T4_daily 0.5438 → 0.5785, T1_flow34 0.5704 → 0.5960). H18 은 티어별로 갈렸고 장중 수급 티어 한 자리에서 트리를 넘었다(0.5960 대 0.5678 · McNemar p=0.0416). 그런데 그 자리의 20분 모멘텀 규칙이 0.5933 이고 규칙 대비 McNemar p=0.9037 이다 — 이긴 것은 트리이고 규칙이 아니다. 그 한 승은 튠한 트리 앞에서 사라진다(p=0.0591). 대회 제출 관점에서 이 실험은 배포할 물건을 만들지 못했다.

가설과 결론

기호와 데이터

이 문서는 혼자 열린다. 쓰는 낱말을 여기서 정의한다.

전 그룹 204열 묶음은 뺐다 — 첫 학습 폴드의 결측이 42.9% 라 중앙값으로 채운 뒤 재는 승률은 모델이 아니라 대치 방식을 재는 것에 가깝다. 사전등록에 뺀 이유를 적었고 결과를 보고 다시 넣지 않았다.

어떻게 쟀나

사전등록(protocol.md)을 결과 보기 전에 썼고 실행 뒤에 고치지 않았다. 문턱을 두 번 올렸고 두 번 다 결과를 보기 전이다 — 그 사실은 커밋 순서가 증언한다(사전등록 → 문턱 조임 → 라운드 0 → 결과).

학습된 모델 셋

모델 일곱 종 — 같은 폴드에서 무엇을 학습하나

아래 그림은 모식도가 아니다. code/render_model7.py 가 T1_flow34 시험 2026 폴드를 다시 적합해 커밋된 확률이 그대로 나오는지 확인한 뒤, 적합된 객체에서 읽은 값만으로 그린다(docs/AUTORESEARCH.md §1). 일곱을 같은 폴드에 세운 것은 구조를 나란히 읽게 하려는 것이다 — 승률은 이 폴드 하나가 아니라 워크포워드 전체에서 잰 값이고 아래 결과 절에 있다.

퍼셉트론 원형 perc

틀린 날에만 가중치를 그 날 피처만큼 밀어 주는, 1958년의 그 규칙이다. 은닉층이 없어 결정 경계가 초평면 하나다. 확률이 없어 결정함수를 학습 마진의 표준편차로 눌러 0.5 주변 기울기를 맞췄다 — 부호만 쓰는 채점이라 그 변환은 순위를 바꾸지 않는다.

확률적 경사하강 · 로그 손실 sgd_log

같은 초평면을 로지스틱 손실로 찾는다. 퍼셉트론과 다른 것은 손실 하나뿐이라, 둘의 차이가 «틀린 날만 보나 vs 확신까지 보나» 를 가른다.

확률적 경사하강 · 힌지 손실 sgd_hinge

여유(margin)를 두고 가르는 손실이다. 선형 SVM 과 같은 목적을 온라인으로 푼다. T5_all 의 정직 선택이 2022년에 이것을 골랐다.

sklearn 다층 퍼셉트론 — 0005 가 쓴 그 설정 mlp_sk#00

은닉 두 층(32·16)에 L2 벌점 0.01, 조기 종료를 켠 구성이다. 앞선 실험의 신경망은 이것 하나였고 0007 은 이 자리에서 시작한다 — H17 의 비교가 같은 코드 경로 위에서 성립하게 #00 에 박았다.

torch 다층 퍼셉트론 mlp_t#00

같은 은닉 구조를 직접 학습한다. sklearn 으로는 못 쓰는 것들이 여기 들어간다 — 층마다 층 정규화와 드롭아웃, AdamW 와 코사인 스케줄, 라벨 평활 0.05. H19 의 짝 비교에서 임베딩 쪽의 상대다.

잔차 연결 다층 퍼셉트론 resnet_t#00

층을 더 쌓되 각 블록이 입력을 그대로 더해 통과시킨다. 깊이를 늘려도 학습이 무너지지 않게 하는 구조이고, T5_all(141열)의 정직 선택이 이것을 골랐다.

임베딩 다층 퍼셉트론 emb_mlp#06 — H18 이 지지된 자리

수치 피처 하나를 주기 함수 묶음으로 펼쳐 24차원 벡터로 만든 뒤 다층 퍼셉트론에 넣는다. 표 데이터에서 다층 퍼셉트론의 이득이 가장 큰 기법으로 보고된 축이고, 이 실험에서 계열 1위가 됐다 — 다만 그 순서를 «차이» 라고 부를 근거는 없다(H19 미지지).

결과 — 티어 넷

T5_all 의 동급은 사전등록 정의를 그대로 만족한다 — 차이 0.0009 가 문턱 0.0171 안이고 p=1.0000 이다. "신경망이 트리와 같다" 가 아니라 "이 표본에서 둘을 가르지 못했다" 고 읽는다.

e_0005정직 은 저장소에 두 절차로 두 숫자가 있었다. 0005 의 run2.honest_pick(동률을 이름 순으로, 첫 해 대체가 et)와 0006 의 prior_ranking(동률을 열 순서로, 첫 해 대체가 순위 첫 열)이다. 둘 다 정당하므로 티어별로 큰 쪽을 박았다 — 어느 동률 규칙을 쓰든 신경망이 넘어야 한다. 문턱을 높이는 선택이고, 결과를 보기 전에 했다.

T1_flow34 의 승이 여기서 사라진다. 승률 차이(+2.73%p)와 흔들림 문턱은 그대로 통과하는데 McNemar 가 0.0416 에서 0.0591 로 올라 문턱 0.05 를 넘는다. 사전등록 문장은 셋을 다 요구한다.

규칙을 못 넘었다

네 티어 중 규칙을 넘은 것은 하나뿐이고, 그 하나도 +0.26%p · p=0.9037 이다 — 문턱 0.0120 의 5분의 1에 못 미친다. 적응상수는 네 티어 다 넘는다.

대조가 이 실험의 결론을 정한다. 0005 라운드 1 의 트리는 T4_daily 에서 규칙을 +1.21%p 넘었다(정직 0.5999 대 0.5878). 신경망은 그 티어에서 0.5785 로 규칙 아래다. 즉 H18 이 지지된 자리는 트리가 가장 약한 티어이고, 그 티어에서는 신경망도 규칙 수준이다. 신경망이 이긴 것은 상대가 약한 자리였다.

흔들림을 다시 정의한 자리

사전등록 §4-1 에서 흔들림 통계를 배포하는 물건(시드 평균)에 맞춰 다시 정의했다. 0006 은 배포하지 않는 물건(단일 시드 모델)의 흔들림으로 12개 조합을 전부 떨어뜨리고 그 보수성을 결과를 본 뒤에 적었다. 0007 은 먼저 적었다.

바꾼 정의가 판정을 사 왔는지 옛 정의로도 다시 재서 확인한다.

T1_flow34 는 옛 문턱(0.0260)으로도 차이 0.0282 가 넘는다 — 간발이지만 넘는다. 재정의는 판정을 사 온 것이 아니고, 0006 이 사후에 "보수적이었다" 고 적은 자리를 사전에 정리한 것이다.

계열 순서 — 예측이 틀렸다

사전등록 §6 에 이렇게 적었다: "학습 폴드가 344~1,693행이라 용량이 구속 조건이므로 용량이 작은 쪽이 이긴다." 표 데이터 딥러닝 문헌의 순서(임베딩 > FT-T ≈ ResNet > MLP)와 다르게 적은 것이 이 실험의 예측이었다.

관측은 반대다. 임베딩(파라미터 515,562개)이 맨 MLP(23,362개)를 이겼다.

맞은 것 하나 — 퍼셉트론·선형이 꼴찌다(0.5327, 위 세 계열과 4.3%p 차). 퍼셉트론 원형(perc)은 네 티어에서 0.5255~0.5331 로 e_적응상수(0.5504)조차 못 넘는다. 적응상수 대비 McNemar p < 0.05 를 통과한 모델은 emb_mlp·resnet_t 둘뿐이고, mlp_sk·mlp_t·perc· sgd_* 는 한 자리도 없다.

놀란 자리: periodic 임베딩이 사후 최고 넷 중 둘이고 ple(분위수 조각선형)는 상위에 한 번도 없다. 학습 344행에서 구간당 7행이라 지나치게 잘게 쪼갠 것으로 보인다 — 구간 수를 학습행/8 로 이미 물려 놓았음에도 그렇다.

한계

산출물

• 사전등록protocol.md
• 분석·판정analysis.md
• 정본 런results/20260922_144439_nn/
• 모델 격자·학습기code/nnmodels.py
• 그림code/render_figures.py
• 구조도code/render_model7.py
• 입력(0005)experiments/0005_flow_api_model_zoo/