深度学习

• 基础

• 模型

  • CNN

  • RNN

  • Attention

  • Transformer/BERTs

• 专题

  • 编程框架

  • 表示学习

  • 迁移学习

  • 不平衡学习

---

基础

• 激活函数

• 损失函数

• 过拟合与正则化

模型

CNN

• CNN基础

RNN

• RNN基础

Attention

• 常见的Attention计算方法

Transformer/BERTs

• Transformer/BERT 系列模型

  • 常见面试问题
• CRF 在神经网络模型中的作用 (BERT+CRF)

专题

编程框架

深度学习编程

• 使用爱因斯坦标记法操作张量（PyTorch）

表示学习

• 基于对比学习的训练框架

  • Sentence-BERT 相关问题整理
• 支持向后兼容的表示学习
• 基于互信息的表示学习（TODO）

迁移学习

• 预训练模型的轻量化微调方法

不平衡学习

• 不平衡学习概述

  • 综述-2019-Johnson

    介绍了目前在深度学习中常用的不平衡学习方法，主要包括从数据角度和算法角度提出的方法；

• 论文选读

  • 论文-2022-YiboYang

    基于“神经坍缩”现象，使用等角紧框架向量初始化分类头且不参与训练，以缓解不平衡问题