多模态融合架构
视觉编码器与语言模型的融合策略
图像输入
文本输入
视觉编码器
Vision Encoder
文本编码器
Text Encoder
图像特征向量
文本特征向量
融合模块
共享语义空间
多模态理解 / 生成输出
输入
编码
特征