目的这系列主要是针对看《deep learning with pytorch》电子书做的一些笔记。可能会中英混杂。
第二章 预训练网络由于之前对图像的一窍不通，所以打算快速浏览下第二章，第二章主要是针对以下三个任务：
根据一个图片的内容预测标签：主要是说了有个torchvision这个project，包含了一些主流的模型
从一个真实图片仿制一个虚假图片：GAN
使用英语句子来描述图片内容
2.2 GANThe generator network takes the role of the painter, tasked with producingrealistic-looking ...
11月主要论文整理最近刚写完毕设和实习复现论文的工作，打算浏览下近期的预训练语言模型的论文（毕设里简单介绍了下这个的思想，并且以后工作了可能会做相关的工作，所以在这学习下）。我们可以以Glue榜单来check下最近的预训练语言模型的论文。据目前所知的情况来看，可以分为几个部分：
修改bert的模型：参数量|本身框架
修改预训练目标
添加一些先验知识
2019-11-18修改bert模型
xlnet
albert
出发点：目前的预训练模型参数量太大，降低模型参数量
贡献：设计了两种减少参数量的技术，设计了一个自监督损失来建模句内共现，有利于多句输入的下游任务
code
摘要：
作者...
