搞懂 attention?

从 attention is all you need -> Bidirectional Encoder Representation from Transformers -> vision transformer -> swin transformer系列学习笔记。 沐神讲解 attention attention is all you need (1) multi-head 机制类似 CNN 中的多个卷积核的输出(多个输出通道的

Hook in pytorch

hook 的引入

在pytorch中的自动求梯度机制(Autograd mechanics)中,如果将tensor的requires_grad设为True, 那么涉及到它的一系列运算将在反向传播中自动求梯度。但是自动求导的机制有个我们需要注意的地方:在自动求导机制中只保存叶子节点,也就是中间变量在计算完成梯度后会自动释放以节省空间.

Similarity Metrics

The similarity measure is the measure of how much alike two data objects are. Similarity measure in a data mining context is a distance with dimensions representing features of the objects. If this distance is small, it will be the high degree of similarity where large distance will be the low degree of similarity.

Image Caption

看图说话(Image Caption)任务是结合CV和NLP两个领域的一种比较综合的任务,Image Caption模型的输入是一幅图像,输出是对该幅图像进行描述的一段文字。

之前的linux 学习笔记内容比较,然后新开了一篇。 linux 使用sz rz命令下载上传文件 rz 是received,上传文件到服务器;sz 是send,从服