Transformer课程 第7课Gavin大咖 BERT文本分类-BERT Fine-Tuning
Part III - BERT Fine-Tuning 4. Train Our Classification Model现在,我们的输入数据已正确格式化,是时候对BERT模型进行微调了。 4.1. BertForSequenceClassification 对于这项任务,我们首先要修改预训练的BERT模型以提供分类输出,然后我们要继续在数据集上训练模型,直到整个模型(端到端)非常适合我们的任务。
huggingface pytorch实现包括一组为各种NLP任务设计的接口。尽管这些接口都建立在经过训练的BERT模型之上,但每个接口都有不同的顶层和输出类型,以适应其特定的NLP任务。
以下是为微调提供的类的当前列表:
- BertModel
- BertForPreTraining
- BertForMaskedLM
- BertForNextSentencePrediction
- BertForSequenceClassification - 我们要用的
- BertForTokenClassification
- BertForQuestionAnswering 参考文档:https://huggingface.co/transformers/v2.2.0/model_doc/bert.html