CLIP对比学习原理
图像-文本对齐训练过程
图像 batch
文本 batch
Image Encoder
Text Encoder
I₁ I₂ I₃ ...
T₁ T₂ T₃ ...
对比损失计算
最大化匹配对相似度
匹配 ✓
不匹配 ✗
N×N 相似度矩阵
I₁→T₁, I₂→T₂ 对齐最大化