SchemaRouter 0.14 논문 근거 체크포인트¶
상태: 2026-10-10
범위: 이미 terminal 상태이거나 protocol이 동결된 근거. 진행 중인 실험의 결과는 partial row에서 추론하지 않습니다.
이 문서는 Issue #199를 위한 논문 준비 체크포인트입니다. docs/research/paper-evidence-package.md와 machine-readable benchmarks/research-experiment-ledger.json을 보완합니다. 실험 사실의 canonical source는 ledger입니다.
1. 주장 계층¶
0.14 cycle에서는 서로 합쳐서 해석해서는 안 되는 여러 근거 수준을 구분합니다.
| 근거 수준 | 작업 항목 | 허용되는 해석 |
|---|---|---|
| Retrieval mechanics | #418 / #420 Phase A | 동결된 23-task surface에서 Recall@K와 serialized tool-schema compression |
| Small-agent mechanism | #420 B1 | Qwen3-0.6B에 대한 통제된 sanity/reproducibility 근거 |
| Strong-agent replication | #423 B2 | 해당 mechanism이 소형 Qwen3 runtime에만 특화되지 않았다는 근거 |
| Optimization ablations | #430 및 structural K3/K5 | candidate depth / representation 최적화만 해당하며 실패 후보를 사후 수정하지 않음 |
| Corrective retrieval | #431 | typed observable execution state가 bounded re-retrieval을 개선하는지 여부. 정식 게이트 판정 완료, 조건 미승격 |
| Large held-out generalization | #432 | heterogeneous task/language/catalog 전반의 광범위한 일반화 주장을 하기 전에 필요 |
| Final-answer factual quality | #424 | factual answer quality, units, provenance가 보존/개선된다고 주장하기 전에 필요 |
| Output-field projection | #506 / #510 | 별도의 field-level 질문. 현재 successor runtime qualification은 instrument 근거이지 projection 근거가 아님 |
기본 원칙은 다음과 같습니다. DEV 또는 mechanism pass는 generalization claim이 아니며 infrastructure failure는 scientific negative result가 아닙니다.
2. 연구 질문 및 가설 표¶
| 작업 항목 | 연구 질문 / 가설 | 근거 역할 | 현재 상태 |
|---|---|---|---|
| #420 B1 | bounded Top-K capability exposure가 FULL 대비 tool-schema context를 크게 줄이면서 task completion을 보존하는가? | controlled mechanism / sanity | terminal |
| #423 B2 | 동일한 고정 실험이 더 강력한 non-Qwen agent runtime에서도 재현되는가? | strong-agent replication | terminal success |
| #434 | typed multi-field / intent-aware representation이 과도한 latency 없이 retrieval을 개선할 수 있는가? | development ablation | terminal, no promotion |
| #430 adaptive depth | adaptive shortlist depth가 required-tool coverage를 보존하면서 fixed K보다 나은가? | development optimization | terminal negative |
| structural fixed K3 | structural Top-3가 structural Top-5보다 schema context를 줄이면서 downstream task success를 보존하는가? | strong-agent optimization | terminal negative for promotion |
| #431 | typed observable execution state 기반 re-retrieval이 execution authority를 변경하지 않으면서 multi-step capability recovery를 개선하는가? | successor experiment | 정식 게이트 판정 완료, 결과 행의 사후 수정 금지 |
| #432 | 승격된 고정 protocol이 독립 작성된 780개 held-out task에서 일반화되는가? | held-out confirmation | 정본 집계 38501112190 완료; 11,700개 에피소드 검증, SR 비열등성 전체 실패 |
| #424 | capability-context reduction이 최종 답변의 facts, values, units, provenance를 보존하는가? | final-answer confirmation | 독립 정본 실행 38506709595 완료; 모든 배포 후보의 주요 게이트 미통과 |
| #506 | output-field projection이 observation context를 줄이면서 answer factual quality를 보존하는가? | field-level experiment | 원래 DEV는 계측 실패; 별개인 동결 확인 실행 38564885951 종료, 근거 없는 사실 증가로 승격 게이트 실패 |
| #510 | outcome 기반 model shopping 없이 preregistered stronger runtime이 #506 successor screen 측정 자격을 얻을 수 있는가? | instrument qualification | 부정적 결과로 종료(적격 모델 없음); 인프라 무효 실행 제외 |
3. Dataset / surface 역할¶
| Surface | 역할 | Tuning 허용? | 상태 / 규칙 |
|---|---|---|---|
| #420 B1 frozen 23-task surface | controlled mechanism evidence | 결과 이후 semantic retuning 금지 | consumed, terminal |
| #423 B2 same semantic surface | strong-agent replication | no | consumed, terminal |
| #434 DEV | representation development | preregistered DEV process 내부에서만 | consumed; 승격 후보 없음 |
| #434 confirmation | confirmation | no | DEV가 승격하지 않았으므로 sealed / unconsumed |
| #430 adaptive DEV | development optimization | preregistered family/rule에서만 | consumed; terminal negative |
| structural K3/K5 downstream surface | promotion gate | no | consumed; K3 미승격 |
| #431 180-task surface | 후속 실험 | 행 단위 사후 수정 금지 | 정식 게이트 종료, 미승격 |
| #432 780-task surface | large held-out confirmation | no | 동결 정본 집계 완료; 제품·비열등성 게이트 부정적 결과 |
| #424 144-task surface | final-answer confirmation | no | 독립 집계 완료, 유효한 부정적 결과 |
| #506 original projection DEV | development screen | outcome 기반 repair 금지 | 도구 호출 없음, 계측 실패로 소비됨 |
| #510 36-episode qualification | instrument qualification only | experiment tuning 금지 | 부정적 결과로 종료; 캐시·아티팩트 장애 실행 제외 |
| #510 successor projection surface | successor DEV evidence | post-hoc condition/scorer 변경 금지 | 적격 모델 없음, 후속 실행 미시작 |
4. 동결된 candidate/runtime 구성¶
B1 canonical runtime¶
- 모델:
Qwen/Qwen3-0.6B - 정확한 런타임 스모크 검증: Python 3.12.14, PyTorch 2.14.0+cpu, Transformers 4.57.6, tokenizers 0.22.2, safetensors 0.8.0
- 의미 기반 작업: 23개
- 카탈로그 크기: 20 / 50 / 100 / 250
- 승인된 집계: 서로 다른
(catalog_size, task_id, condition)에피소드 552개 - 정식 작업 SHA-256:
bc0b78ff2be11b89e6ac54ea0ee336f944f04b3c203fc61da70a46ff48b4e03c
B2 canonical runtime¶
- model:
HuggingFaceTB/SmolLM3-3B - model revision:
a07cc9a04f16550a088caea529712d1d335b0ac1 - runner:
ubuntu-24.04-arm - attention: PyTorch SDPA
- semantic tasks: 23
- catalogs: 20 / 50 / 100 / 250
- conditions: FULL / SR-5 / SR-10 / SR-PROGRESSIVE / ORACLE
- aggregate: 460 episodes
- canonical run:
36642658406 - attempts 1-8의 partial outcome은 tuning 및 최종 inference에서 제외
#510 runtime qualification¶
동결된 roster 순서:
HuggingFaceTB/SmolLM3-3B@a07cc9a04f16550a088caea529712d1d335b0ac1Qwen/Qwen3-4B@1cfa9a7208912126459214e8b04321603b3df60cQwen/Qwen3-8B@b968826d9c46dd6066d109eabc6255188de91218
동결된 qualification runtime:
- ARM64 CPU, bfloat16
- Python 3.12.14
- PyTorch 2.14.0+cpu
- Transformers 4.57.6
- tokenizers 0.22.2
- safetensors 0.8.0
- seed 20260929
- max new tokens 256
- max turns 6
- threads 4
- 36 episodes = 6 projection strata × 6 languages
- catalog 100
- SR-5 candidate exposure
- RAW-FULL observation condition
- selection rule: 동결된 roster 순서에서 첫 qualifying candidate
- 적격 기준: 응답 형식 충족률 >= 0.80, 도구 호출률 >= 0.90, 근거 기반 사실 정확도 >= 0.70
Episode은 tool을 호출하고 observation에 grounded된 required fact를 하나 이상 반환한 경우에만 grounded-fact credit을 받습니다.
5. 현재 논문 표에 사용할 수 있는 terminal metrics¶
B1 controlled small-agent 결과¶
Canonical workflow: 36529108855
| Condition / comparison | Result |
|---|---|
| FULL task pass | 68.48% |
| SR-3 task pass | 82.61% |
| SR-5 task pass | 91.30% |
| SR-10 task pass | 81.52% |
| SR-PROGRESSIVE task pass | 82.61% |
| ORACLE task pass | 86.96% |
| SR-5 minus FULL | +22.83 pp |
| clustered bootstrap interval | +9.78 pp to +36.96 pp |
| SR-5 required-route Recall | 100% |
| SR-5 all-required task coverage | 100% |
| SR-5 mean tool-schema tokens | 1,315.9 |
| FULL mean tool-schema tokens | 24,269.6 |
| SR-5 / FULL schema-token ratio | 5.42% |
| unauthorized destructive executions | 0 |
주장 경계: 이는 23개 semantic task에서의 controlled Qwen3-0.6B mechanism 결과입니다. population-level non-inferiority, 모든 agent에 대한 일반화 또는 final-answer-quality 근거가 아닙니다.
Structural K3 vs K5 downstream 결과¶
Canonical workflow: 36670280971
| Metric | STRUCT-FIXED-3 | STRUCT-FIXED-5 |
|---|---|---|
| task pass | 82.6087% | 85.8696% |
| mean tool-schema tokens | 1,040.89 | 1,367.17 |
| unauthorized destructive executions | 0 | 0 |
Paired K3-K5 task-pass delta: -3.2609 pp.
Preregistered non-inferiority floor: -2 pp.
Task-cluster bootstrap 95% CI: [-13.0435 pp, +3.2609 pp].
Schema-token 및 execution-policy gate는 통과했지만 paired task-pass gate는 실패했습니다. K3는 승격 관점에서 scientific negative이며 #432 held-out condition manifest에 포함하지 않습니다.
6. Provenance 표¶
| Evidence | Source / run | Artifact / digest | Status |
|---|---|---|---|
| B1 canonical | source b9eadefd3cd076f026a54bbc55a949f0424f5dab, run 36529108855 |
artifact 11021506964; digest sha256:2e101d62dbe7f3202a24f0f40c49000064991b1521c4154c8feeb587de510271; aggregate SHA 33678700298a47b451ea1f03377cd874a1a1e373597cf961d207e07ae39f568d |
terminal |
| B2 canonical | source 01edb00fe7e8bff803988ce6bce5e05f79801e43, run 36642658406 |
canonical digest sha256:edbccbbfb44d58ba936af7af82efe844177edc24dd587e3c52cff1505c37c256 |
terminal success |
| structural K3/K5 | run 36670280971 |
artifact 11081310428; digest sha256:ae7fb24ac365d307a52b07e416dff6308581ccca96a4831d8c41f44f5170b613 |
terminal negative for K3 promotion |
| #431 corrective | 소스 30663de8f618bc88a893d9bf6214035a70e8e894; 원 실행 36931249518 + 복구 37793749175 |
#500 컨베이어에서 정식 근거 확인, 선택 조건 false | 게이트 종료, 미승격 |
| #510 qualification attempt 1 | merge/source 5c0b827a6ca699bb2d6de8982820829ff67cacd4; run 36710813766 |
candidate evidence 생성 없음 | infrastructure-invalid: inference 전 artifact restore path 실패 |
| #510 cache recovery attempts | runs 36808991480, 36897572955 |
incomplete Qwen3-8B evidence only; consume 금지 | infrastructure-invalid: evaluator cache availability 때문에 inference 전 shard 종료 |
| #510 recovery-3 | 병합 290f02355570a7db637413d7421fb648f26497b8; 실행 36922946442 |
선택 산출물 11206309688; SHA-256 55ed4c42b459c1807ab7005a930c08b608aab1fc43eae1a76662b86e4f85d32c |
적격 모델 없음, 부정적 결과로 종료 |
7. Invalidated / infrastructure-only run 부록¶
다음 run은 계속 보이도록 유지하지만 model-quality failure로 인용해서는 안 됩니다.
| Run | Classification | Reason |
|---|---|---|
B1 36517371433, 36520025834, 36520831273 |
superseded / invalidated | pre-v2 task/protocol lineage; accepted B1 inference에서 제외 |
B2 36641753066 |
noncanonical duplicate launch | concurrency가 의미적으로 동일한 이전 attempt-9 launch를 취소; partial row 재사용 금지 |
K3 36668831941 |
infrastructure-invalid | inference 전 repository-local benchmarks import 실패 |
K3 36669634556 |
infrastructure-invalid | accepted scientific evidence 이전 pinned SmolLM3 cache miss |
#431 36669636302 |
infrastructure-invalid | repository-local scripts import 실패; stale-wrapper retry도 invalid |
#431 36670710985 |
infrastructure-invalid terminal run | 이후 evaluator shard에서 shared model cache 손실; terminal aggregate 해석 금지 |
#510 36710813766 |
infrastructure-invalid | qualification corpus artifact가 double-nested path로 restore되어 모든 SmolLM3 shard가 inference 전에 실패. candidate rate/aggregate/selection 없음 |
#510 36808991480 |
infrastructure-invalid | Qwen3-8B evaluator shard가 inference 전 cache restore에서 실패; rerun에서도 동일 transport failure 재현 |
#510 36897572955 |
infrastructure-invalid | explicit warm-up cache publication 이후에도 evaluator가 cache miss에서 fail-closed; Qwen3-8B shard가 inference 전에 종료 |
#506 DEV 36682589574 |
valid development instrument failure, projection comparison 아님 | tool_call_count=0이고 comparator factual metric도 0; runtime이 projection question을 측정하지 못함 |
#506 원래 확인 실험 38564885951 |
동결된 3B 원래 확인 실험의 승격 부정적 결과, #510 후속 실험과 구별 | 평가 샤드 96/96개, 에피소드 1,152개, 아티팩트 11922570109, ZIP SHA-256 c11912ed67a3c02e90c5963ccb462ab44fba3dbd28ced0fe9aacaa92d390eff7; PROJECTED의 근거 없는 사실 비율 +14.58%p(쌍대 95% 신뢰구간 [+8.68,+20.83]%p), 동결된 최대 +1%p 기준 실패; RAW-FULL의 절대 사실 재현율도 0%이므로 일반적 인과 결론은 보류 |
이슈 #506 항목은 infrastructure failure와 의도적으로 구분합니다. Workflow 자체는 실행됐지만 small agent가 prerequisite measurement behavior에 실패했습니다. 이 결과는 instrument suitability에 대한 근거이지 projection quality에 대한 찬반 근거가 아닙니다.
8. Freeze-state matrix¶
| Work item | Protocol frozen? | Content frozen? | Inference authorized? | Outcome available? |
|---|---|---|---|---|
| B1 | yes | yes | completed | yes |
| B2 | yes | yes | completed | yes |
| #430 adaptive | yes | yes | completed | yes |
| structural K3/K5 | yes | yes | completed | yes |
| #431 | yes | yes | 완료 | 정식 게이트 미승격 |
| #432 | yes | yes | 정본 실행 38501112190 완료 | 유효한 부정적 결과; 모든 SR 조건 게이트 실패 |
| #424 | yes | authoring/validation contract frozen | 독립 실행 38506709595 완료 | 정본 부정적 결과, 배포 후보 전체 미통과 |
| #506 original DEV | yes | yes | 완료 | 계측 실패; 별도 원래 strong confirmation 38564885951 승격 게이트 부정적 종료 |
| #510 qualification | yes | yes | 종료 | 적격 모델 없음 |
| #510 successor projection | yes | 동결된 후속 프로토콜 | 적격성 미통과로 시작하지 않음 | no |
9. Authority / verifier architecture¶
flowchart TD
A["사용자 요청"] --> B["등록된 OpenAPI / MCP / Python 계약"]
B --> C["타입 기반 기능 레지스트리"]
C --> D["제한된 기능 후보 검색"]
D --> E["스키마·인수·권한·정책 검사"]
E --> F["허가된 도구 실행"]
F --> G["타입 기반 관측값 / 필드 투영"]
G --> H["최종 답변"]
G -. "관측 근거에 따른 재검색" .-> CModel은 executable route, field, argument authority 또는 pseudo-capability를 만들지 않습니다. Corrective retrieval은 observable typed execution state에 따라 candidate exposure를 바꿀 수 있지만 execution authority는 local registered authority에 남습니다.
10. 재현성 manifest¶
논문 표에 row/result를 사용하기 전에 다음을 복구하고 검증해야 합니다.
- work item 및 experimental role
- source revision
- preregistration / freeze manifest
- corpus/task identity와 해당하는 경우 SHA-256
- 정확한 model 및 immutable model revision
- 실질적으로 관련된 경우 Python / framework / inference runtime identity
- workflow run ID
- artifact ID 및 digest
- aggregate identity와 예상 episode/task count
- terminal decision 및 claim boundary
- invalidated/superseded predecessor
- calibration, confirmation 또는 blind evidence가 소비됐는지 여부
Canonical repository source:
benchmarks/research-experiment-ledger.jsondocs/research/design-and-experiment-history.mddocs/research/paper-evidence-package.mdbenchmarks/아래 frozen manifest- run, artifact, digest provenance를 포함한 terminal GitHub issue / PR comment
11. 논문 마감 전 남은 근거¶
다음 항목은 명시적으로 incomplete 상태를 유지해야 합니다.
- 이슈 #431 terminal aggregate 및 preregistered promotion boolean
- 자동 동결된 #432 held-out condition manifest
- 전체 #432 780-task held-out aggregate 및 statistical interval
- 이슈 #424 최종 답변의 사실·수치·단위·출처 정확도 집계: 유효한 부정적 결과, 아티팩트
11888156120, SHA-256c0593143deb4a06a1433c8bbfdbeab28a23e45156ea6e0c2c5744386cddb83cb; SR-5/SR-10/SR-PROGRESSIVE 근거 포괄률 51.389%/50.000%/46.181%, 근거 없는 사실 증가, 배포 후보 전체 주요 게이트 미통과. - infrastructure-only recovery 이후 #510 runtime-qualification terminal selector
- 이슈 #510 successor projection 결과 및 gate가 허용하는 경우 후속 confirmation
- 최종 promoted line의 전체 per-language / per-route / per-family paper slice
- protocol이 아직 blocked인 final calibration/blind evidence
진행 중인 job의 partial workflow row에서 pending 항목을 채우거나 결과를 추론해서는 안 됩니다.