MULTIMODAL RETRIEVAL · AUDITED EVIDENCE
从冻结 CLIP 到
可审计的图像 / 视频检索
在 4GB 显存约束下,训练轻量 residual adapter、模态门控与 temporal attention;用隔离的 Final、cluster bootstrap 和 fail-closed 审计约束结论。
● Pages 仅展示聚合证据与代码绘制的合成卡片;不含 COCO/MSR-VTT 媒体、caption 或逐查询排名。
01IMAGEfrozen CLIP
02TEXTfrozen CLIP
MGATED
FUSION
512d normalized content space
2独立冻结
证据链
12帧 / 视频
流式抽样
1kcluster
bootstrap
44公共算法与
契约测试
FROZEN EXTERNAL EVIDENCE
两条互不混写的 Final
COCO 主表衡量 image-only T2I adapter;MSR-VTT 衡量视频时序聚合。两个协议、数据与审计文件分别冻结。
1,000 images · 5,003 captions
Image-only Text → Image
+2.89pp · R@1
95% CI [+2.00, +3.92] · paired image-cluster bootstrap
Frozen baselineMOSAIC
SYNTHETIC INTERFACE LAB
零下载检索交互
选择一个合成 query,观察双塔相似度、门控权重与 Top-K 排序如何变化。数值是固定的合成 fixture,不是冻结评测证据。
Top 3 synthetic matches0.38 ms · numpy exact
LEAKAGE-SAFE PROTOCOL
训练、选择与 Final 分离
Final 不是为了追逐 HEAD 重跑的分数;模型选择只读取 Dev,正式报告由互斥 audit 名称和哈希绑定。
- 01Train
冻结 CLIP 主干;训练 projection、gate 或 temporal aggregator。
- 02Dev select
选择 epoch / reranker alpha;方向性 R@10 门禁防止单侧退化。
- 03Commit & freeze
记录配置、checkpoint 与输入哈希;保持 tracked worktree clean。
- 04One-time Final
O_EXCL 抢占审计名称,计算配对指标并绑定报告 digest。
POST-FINAL DEV-ONLY ATTRIBUTION · 3 SEEDS
时序对 T2V R@1 有小幅证据,hard-negative 未获独立支持
0.3633 temporal R@10.3547 capacity-matched mean3 / 3 R@1 CI 为正
✓ SUPPORTED协议内正向差异
- COCO image-only T2I adapter R@1/R@10 CI 为正
- MSR-VTT temporal 对 mean 的四个核心 CI 为正
- 公开代码可运行 44 项无数据下载测试
× NOT SUPPORTED不向外扩张
- 不是 SOTA、线上 A/B 或营收提升
- 不是生产并发 / SLA 证据
- 不声称 hard-negative 已被独立消融证明
◇ PUBLICATION只发可授权资产
- 无原始图像、视频或 captions
- 无权重、feature、index 或逐 Query ranking
- MIT 仅覆盖本项目自研代码与文档