听我说,Transformer它便是个反对于向量机
发布时间:2024-10-28 16:33:08 作者:玩站小弟 我要评论
机械之心报道编纂:蛋酱、小舟SVM is all you need,反对于向量机永不外时。Transformer 是一个反对于向量机SVM)一种新型实际在学界激发了人们的品评辩说。上周末,一篇来自宾夕
。
机械之心报道
编纂:蛋酱、听我说小舟
SVM is 个反all you need,反对于向量机永不外时。对于
Transformer 是向量一个反对于向量机(SVM)一种新型实际在学界激发了人们的品评辩说。
上周末,听我说一篇来自宾夕法尼亚大学 、个反加州大学河滨分校的对于论文试图钻研大模子根基 Transformer 妄想的道理,其在留意力层的向量优化多少多与将最优输入 token 与非最优 token 并吞的硬领土 SVM 下场之间建树了方式等价。
在 hackernews 上作者展现,听我说这种实际处置了 SVM 将每一个输入序列中的个反「好」标志与「坏」token 并吞的下场。该 SVM 作为一个功能优异的对于 token 抉择器 ,与传统为输入调配 0-1 标签的向量 SVM 本性上差距 。
这种实际也讲明了留意力若何经由 softmax 引起浓密性:落在 SVM 抉择规画领土过错一侧的听我说「坏」token 被 softmax 函数抑制,而「好」token 是个反那些最终具备非零 softmax 多少率的 token 。还值患上一提的对于是 ,这个 SVM 源于 softmax 的指数性子 。
论文上传到 arXiv 下面之后 ,人们纷纭宣告意见 ,有人展现 :AI 钻研的倾向真是螺旋回升 ,岂非又要绕回去了?