目的这系列主要是针对看《deep learning with pytorch》电子书做的一些笔记。可能会中英混杂。
第二章 预训练网络由于之前对图像的一窍不通,所以打算快速浏览下第二章,第二章主要是针对以下三个任务:
根据一个图片的内容预测标签:主要是说了有个torchvision这个project,包含了一些主流的模型
从一个真实图片仿制一个虚假图片:GAN
使用英语句子来描述图片内容
2.2 GANThe generator network takes the role of the painter, tasked with producingrealistic-looking ...
11月主要论文整理最近刚写完毕设和实习复现论文的工作,打算浏览下近期的预训练语言模型的论文(毕设里简单介绍了下这个的思想,并且以后工作了可能会做相关的工作,所以在这学习下)。我们可以以Glue榜单来check下最近的预训练语言模型的论文。据目前所知的情况来看,可以分为几个部分:
修改bert的模型:参数量|本身框架
修改预训练目标
添加一些先验知识
2019-11-18修改bert模型
xlnet
albert
出发点:目前的预训练模型参数量太大,降低模型参数量
贡献:设计了两种减少参数量的技术,设计了一个自监督损失来建模句内共现,有利于多句输入的下游任务
code
摘要:
作者...