T TRACE-RecRETRIEVAL · RANKING · EXPERIMENTS

ALGORITHM PORTFOLIO · SEARCH / ADS / RECOMMENDATION

TRACE-Rec

从偏置曝光日志出发，构建可审计的多兴趣召回、约束重排、多目标排序与实验工程链路。

结果可以变好、变差或失败，但必须带评测范围、置信区间、负结果和不可越过的声明边界。

查看实测结果 面试材料
DEV NDCG@20+15.14%TRACE vs single-interest
DEV RECALL@50+41.50%paired user CI above 0
EXTERNAL NDCG@100.39118CI crosses 0 vs baseline
ESCI LTR NDCG@100.801758,850 fixed Test queries

MEASURED RESULTS

不是一个“全面获胜”的故事

RECOMMENDATIONDEV

TRACE 多兴趣召回

3 个固定种子、6,913 用户、user-cluster bootstrap。

NDCG@200.00948 → 0.01092+15.14%
Recall@500.02050 → 0.02900+41.50%
必须同时披露： Coverage@50 下降 10.71%。
RANDOMIZED EXPOSUREFINAL

KuaiRand-1K External Final

在隔离的随机曝光 holdout 上，仅按冻结协议评测一次。

TRACE NDCG@100.39118highest point estimate
Baseline0.38531delta +0.00587
95% CI [-0.00983, 0.02312] 跨 0，不宣称统计显著提升。
OFFLINE SEARCH

Amazon ESCI 候选排序

线性 Pairwise LTR 在 8,850 Query 固定 Test 上取得 NDCG@10 0.80175，BM25 为 0.78427；paired Query-bootstrap delta CI 为 [0.015451, 0.019598]。

不外推为全库召回或线上搜索收益。

SYSTEM

研究证据与可运行工作台分离

01严格时序natural-day as-of split
→
02多兴趣召回time decay · smooth-max
→
03约束重排quality · tail · Gini
→
04多目标排序MMoE · calibration
→
05FastAPI Labregistry · cache · lifecycle
TRACE-Rec 本地实验工作台桌面截图
完整动态工作台在本地运行；本页是无后端、零安装的聚合证据视图。

EVIDENCE & BOUNDARY

失败记录也属于结果

KuaiRec Big Retrieval Final 因诊断缺陷失败后被永久保留且未重跑；LogQ 负结果、多样性正则的不稳定贡献、公平惩罚未泛化和 External CI 跨 0 都没有被删除。

  • 一次性审计审计先于 Test 读取建立，失败也不覆盖。
  • 哈希绑定配置、源码、报告和历史私有产物均记录 SHA-256。
  • sanitized release无数据、权重、逐用户预测、本机路径或私人 Git 身份。
  • 声明边界不是线上 A/B、生产 SLA、业务收益或 SOTA 证明。