搞懂 attention?
从 attention is all you need -> Bidirectional Encoder Representation from Transformers -> vision transformer -> swin transformer系列学习笔记。 沐神讲解 attention attention is all you need (1) multi-head 机制类似 CNN 中的多个卷积核的输出(多个输出通道的
多进程学习,介绍了 Process
和 Pool
类并且在最后进行了比较。
hook 的引入
在pytorch中的自动求梯度机制(Autograd mechanics)中,如果将tensor的requires_grad设为True, 那么涉及到它的一系列运算将在反向传播中自动求梯度。但是自动求导的机制有个我们需要注意的地方:在自动求导机制中只保存叶子节点,也就是中间变量在计算完成梯度后会自动释放以节省空间.
记录图像分类过程中常见的优化点(工程角度)。
LeetCode周赛题,日常刷题笔记。
使用hash 计算图像的相似度,是在图像预处理中去除重复的图像。
The similarity measure is the measure of how much alike two data objects are. Similarity measure in a data mining context is a distance with dimensions representing features of the objects. If this distance is small, it will be the high degree of similarity where large distance will be the low degree of similarity.
分析机器学习 和深度学习中出现的过拟合现象,从不同的角度简述常用的处理手段。
看图说话(Image Caption)任务是结合CV和NLP两个领域的一种比较综合的任务,Image Caption模型的输入是一幅图像,输出是对该幅图像进行描述的一段文字。