SchemaRouter 0.9.0¶
SchemaRouter 0.9.0은 local execution authority model을 보존하면서 cross-encoder/reranker-style relevance scoring을 원하는 application을 위한 bounded pairwise decision primitive를 추가합니다.
Highlights¶
Provider-neutral pairwise decisions¶
PairwiseDecisionBackend는 이미 authorized된 (query, option_text) pair에 대한 application-owned scorer를 받고 score를 원래 opaque option ID에 local로 다시 매핑합니다.
Contract는 좁습니다.
- scorer는 tool, endpoint, credential, argument, side effect를 만들 수 없음
- default formatter는 option metadata를 전달하지 않음
- authorized option마다
[0,1]score 하나 필요 - wrong batch length, malformed value, NaN/Infinity, out-of-range score는 fail closed
- score threshold와 selection-boundary margin은 보수적으로 abstain 가능
- sync/async scorer 지원
- core에 Torch/Transformers/model-specific dependency 추가 없음
Scorer 구현과 workload-specific calibration은 application 책임입니다.
Pairwise operation-fit research¶
0.8.0/v10 이후 operation-fit optimization은 consumed holdout을 재사용하지 않고 development/calibration data에서 계속됐습니다.
Threshold-margin variant, two-tier rescue rule, multilingual MPNet/E5는 기존 multilingual MiniLM bi-encoder보다 preregistered robustness objective를 개선하지 못했습니다. BAAI/bge-reranker-v2-m3 pairwise experiment가 처음으로 development/calibration objective를 개선했습니다.
Reserved v11 holdout 전에 complete candidate configuration을 freeze했습니다.
- 의미 기반 후보 재현율: 다국어 MiniLM, top-k 2
- 기능 적합성: 다국어 MiniLM, 최소 유사도 0.25
- 작업 적합성: BGE reranker v2-m3, 시그모이드 쌍 점수, 최소 점수 0.01
- 엔드포인트 구분: 다국어 MiniLM, 최소 마진 0.03
v11 one-shot evidence¶
Frozen BGE candidate를 fresh 600-case multilingual v11 operation-generalization holdout에 정확히 한 번 평가했습니다.
| Metric | BGE pairwise v11 | MiniLM 0.40 post-consumption diagnostic |
|---|---|---|
| Overall accuracy | 51.667% | 54.833% |
| Supported-operation routed accuracy | 25.781% | 40.625% |
| Near-domain unsupported-operation rejection | 97.396% | 77.604% |
| Ordinary OOD rejection | 100% | 100% |
| Equal-weight supported/rejection score | 61.589% | 59.115% |
| Mean CPU latency | 589.627 ms | 253.947 ms |
MiniLM comparison은 v11 소비 이후 실행했으므로 fresh holdout claim이 아닌 diagnostic evidence입니다.
BGE는 preregistered equal-weight rejection/recall objective를 2.474pp 개선했지만 supported-route recall을 14.844pp 낮추고 overall accuracy를 3.167pp 낮추며 CPU latency를 두 배 이상 증가시켰습니다. 따라서 0.9.0은 pairwise scoring을 optional backend로 노출하지만 BGE를 library default로 만들지 않습니다.
v11은 consumed 상태이며 이후 threshold/model/representation/hybrid-rule selection에 사용하면 안 됩니다.
Reproducibility¶
Frozen BGE one-shot:
- source revision:
57af2fd18d254fa1a9cd5855a158ae74b94adfc7 - corpus SHA-256:
efa8cd371bc7613895e44a915d78c77f5b88239c64a8de52d9c407839660d816 - Actions run:
36239340782 - artifact ID:
10905503165 - artifact SHA-256:
f977511c7d65bc94e2dba9142b6cedf378ceaae1b8418c351e85b550f191dfd1
Post-consumption MiniLM diagnostic:
- source revision:
099cf009003df35f48571ecdc988fddaa11db904 - Actions run:
36240431389 - artifact ID:
10905429518 - artifact SHA-256:
1048405ab34b41371004247e15934f5086a53977a14d4957bd14c6d69e194dee
Compatibility¶
0.9.0은 기존 embedding, deterministic, hosted, integration decision path를 제거하지 않고 새 public backend를 추가합니다. 기존 application은 pairwise scoring을 opt-in할 필요가 없습니다.
Release는 pre-1.0이며 docs/versioning.md의 compatibility policy를 따릅니다.
Release validation¶
Protected release surface는 Python 3.10–3.14, Windows smoke, minimum dependencies, type checking, branch coverage, wheel/sdist consumer acceptance, optional integrations, strict docs, dependency/security analysis, CodeQL, OpenSSF Scorecard, SBOM/provenance generation, exact post-publish PyPI artifact verification을 포함합니다.