MULTIMODAL RETRIEVAL · AUDITED EVIDENCE

从冻结 CLIP 到
可审计的图像 / 视频检索

在 4GB 显存约束下,训练轻量 residual adapter、模态门控与 temporal attention;用隔离的 Final、cluster bootstrap 和 fail-closed 审计约束结论。

Pages 仅展示聚合证据与代码绘制的合成卡片;不含 COCO/MSR-VTT 媒体、caption 或逐查询排名。
01IMAGEfrozen CLIP
02TEXTfrozen CLIP
MGATED
FUSION
512d normalized content space
2独立冻结
证据链
12帧 / 视频
流式抽样
1kcluster
bootstrap
44公共算法与
契约测试

FROZEN EXTERNAL EVIDENCE

两条互不混写的 Final

COCO 主表衡量 image-only T2I adapter;MSR-VTT 衡量视频时序聚合。两个协议、数据与审计文件分别冻结。

1,000 images · 5,003 captions

Image-only Text → Image

+2.89pp · R@1

95% CI [+2.00, +3.92] · paired image-cluster bootstrap

Frozen baselineMOSAIC

SYNTHETIC INTERFACE LAB

零下载检索交互

选择一个合成 query,观察双塔相似度、门控权重与 Top-K 排序如何变化。数值是固定的合成 fixture,不是冻结评测证据。

Top 3 synthetic matches0.38 ms · numpy exact

LEAKAGE-SAFE PROTOCOL

训练、选择与 Final 分离

Final 不是为了追逐 HEAD 重跑的分数;模型选择只读取 Dev,正式报告由互斥 audit 名称和哈希绑定。

  1. 01Train

    冻结 CLIP 主干;训练 projection、gate 或 temporal aggregator。

  2. 02Dev select

    选择 epoch / reranker alpha;方向性 R@10 门禁防止单侧退化。

  3. 03Commit & freeze

    记录配置、checkpoint 与输入哈希;保持 tracked worktree clean。

  4. 04One-time Final

    O_EXCL 抢占审计名称,计算配对指标并绑定报告 digest。

POST-FINAL DEV-ONLY ATTRIBUTION · 3 SEEDS

时序对 T2V R@1 有小幅证据,hard-negative 未获独立支持

0.3633 temporal R@10.3547 capacity-matched mean3 / 3 R@1 CI 为正

CLAIM CONTROL

能说什么,不能说什么

✓ SUPPORTED

协议内正向差异

  • COCO image-only T2I adapter R@1/R@10 CI 为正
  • MSR-VTT temporal 对 mean 的四个核心 CI 为正
  • 公开代码可运行 44 项无数据下载测试
× NOT SUPPORTED

不向外扩张

  • 不是 SOTA、线上 A/B 或营收提升
  • 不是生产并发 / SLA 证据
  • 不声称 hard-negative 已被独立消融证明
◇ PUBLICATION

只发可授权资产

  • 无原始图像、视频或 captions
  • 无权重、feature、index 或逐 Query ranking
  • MIT 仅覆盖本项目自研代码与文档