콘텐츠로 이동

SchemaRouter 0.8.0

SchemaRouter 0.8.0은 bounded semantic routing과 multi-provider evidence handling을 강화하면서 동일한 execution-boundary 철학을 유지합니다. Model은 locally declared capability 사이의 selection을 도울 수 있지만 tool, schema, credential, side effect를 만들어낼 authority를 얻지 않습니다.

Highlights

Bounded semantic routing pipeline

0.8은 이전에 혼동하기 쉬웠던 결정을 분리합니다.

  • explicit top-k bound의 optional multilingual semantic candidate recall
  • execution route를 선택하지 않고 abstain할 수 있는 capability-fit gate
  • sibling endpoint만 reorder할 수 있는 same-tool endpoint disambiguation
  • 현재 leading tool domain에 scoped된 operation-fit gate
  • 로컬에서 선언하고 지문을 생성한 신뢰된 EndpointSpec.operation_aliases

이 stage들은 registered schema, policy, fingerprint, execution validation에 종속됩니다. Decision backend는 이미 declared된 option을 suppress/prioritize할 수 있지만 execution authority를 만들 수 없습니다.

Field evidence와 coverage

Planning은 heterogeneous information requirement를 더 명시적으로 만듭니다.

  • PlanRequest.field_evidence: unrelated field에 동일 requirement를 강제하지 않고 semantic field 하나에 provenance/license/source type/unit evidence 요구
  • ToolCall.required_evidence와 route-available evidence를 execution에서 재검증
  • ExecutionPlan.coverage: required/covered/uncovered semantic-field requirement 보고
  • explicit multi-call planning은 complementary field coverage를 선호하며 matched field set이 complete하면 max_calls 전에 중단 가능

Unknown active field-evidence identifier와 forged evidence overclaim은 fail closed입니다.

Multi-provider corroboration과 aggregation

Application이 minimum-call coverage가 아니라 corroborating evidence를 원하면 PlanRequest.retrieval_mode="corroborate"로 independent provider를 의도적으로 요청할 수 있습니다.

Returned provider record는 SourceRecord로 normalize하고 aggregate_records()로 aggregate할 수 있습니다.

  • document는 DOI/PMID/PMCID/arXiv 같은 trusted identifier로 canonical grouping
  • material/chemical identity는 formula-only 또는 name/title similarity가 아니라 explicit structural/canonical identifier 요구
  • material/chemical field는 independent observation, unit, qualifier, provider, provenance를 기본 보존
  • disagreement를 숨기지 않고 surface

Fuzzy entity resolution과 domain truth adjudication은 application layer 책임입니다.

Reproducible multilingual routing evaluation

0.8은 bounded routing stack에 더 큰 benchmark/evaluation discipline을 추가합니다.

  • 1,200-case multilingual/adversarial v2 stress corpus
  • 기능 적합성·엔드포인트 구분·작업 보정·변경 이후 홀드아웃을 서로 분리
  • 데이터 분할·언어별 지표, 윌슨 신뢰구간, 실패 유형 분류, JSON·CSV·HTML 보고서 및 소스·코퍼스 재현성 메타데이터
  • measured test set을 tuning set으로 재사용하지 않는 explicit holdout-consumption rule

Selected operation-fit representation/threshold는 v5 development/calibration data만으로 freeze했습니다. Final frozen configuration은 fresh 600-case v10 operation-generalization holdout에서 정확히 한 번 실행했습니다.

Metric v9 consumed holdout v10 fresh one-shot
Overall accuracy 51.167% 55.667%
Supported-operation routed accuracy 38.281% 42.188%
Near-domain unsupported-operation rejection 70.833% 77.083%
Ordinary OOD rejection 100% 100%

v10 failure taxonomy:

  • 334 correct
  • 44 false routes
  • 199 missed routes
  • 23 wrong endpoints
  • 0 wrong tools
  • 0 execution errors
  • 0 invalid plans

199 missed supported route 중 162건은 operation-fit, 37건은 capability-fit에 귀속됐습니다.

Current limitation

v9 대비 개선이지만 solved routing quality로 제시하지 않습니다. **v10 supported-operation routed accuracy는 여전히 42.188%**이며 operation-fit이 주된 remaining recall bottleneck입니다.

v10은 consumed regression evidence입니다. Iterative threshold/representation tuning에 사용하면 안 됩니다. Post-0.8 optimization cycle은 implementation choice 평가 전에 새 untouched holdout을 reserve해야 합니다.

Compatibility와 scope

0.8.0은 0.7.0의 documented public API를 제거하지 않습니다. New routing stage는 optional/bounded이며 multi-provider corroboration은 explicit이고 aggregation은 execution policy/schema validation을 우회하지 않습니다.

SchemaRouter는 pre-1.0이며 general agent framework보다 좁습니다. Conversation memory, autonomous tool loop, workflow/DAG ownership, model-provider orchestration은 core 밖에 있습니다.

Release validation

Protected release surface:

  • Python 3.10~3.14와 Windows 스모크 테스트 및 Python 프리뷰 버전 확인
  • 최소 의존성·Pyright·분기 커버리지 및 경고를 오류로 취급하는 검사
  • wheel/sdist build와 clean consumer acceptance
  • LangChain·LangGraph·LlamaIndex·Jev·Laya·MCP·OpenTelemetry 통합 테스트
  • strict docs
  • 의존성 감사·CodeQL·OpenSSF Scorecard·변경 불가능한 GitHub Actions 버전 고정
  • 릴리스 출처·SPDX 소프트웨어 자재명세서(SBOM) 및 공개 PyPI 산출물의 배포 후 정확성 검증

External follow-up tracks

Runtime release와 분리:

  • LangChain/LlamaIndex ecosystem listing/packaging guidance; outreach는 이미 전송됐고 2026-09-26 기준 maintainer reply 없음
  • dated runtime/token/cost metadata를 가진 broader live hosted-provider/Jev decision evidence
  • GitHub About metadata와 protected-main freshness settings
  • PyPI Trusted Publisher를 dedicated pypi GitHub environment로 제한

마지막 두 항목은 missing runtime code가 아니라 repository/package administration setting입니다.