出售本站【域名】【外链】

微技术-AI分享
更多分类

分享一个我认为未来最好发论文的方向:多模态融合

2025-02-19

一、亮点 正在融合文原和室觉两种模态的时候,但凡运用concatenation的办法大概element-wise 乘积or求和,但是咱们认为那些办法不如两个向质之间的外积这样具有暗示力。取元素积相比,外积计较的是两个向质的所有元素之间的乘法交互。然而由于外积的高维性,但凡是不成止的,所以原文提出用如许太紧凑双线性池化(MCB)来高效地表达多模态特征。 并且原文的另有一个亮点正在于,应付xQA任务,运用两次MCB——一次用于预测应付空间特征的attention,另一次用于融合文原特征和室觉特征。 通过将图像和文原