您当前的位置: 首页 >  分类

段智华

暂无认证

  • 0浏览

    0关注

    1232博文

    0收益

  • 0浏览

    0点赞

    0打赏

    0留言

私信
关注
热门博文

Transformer课程 第7课Gavin大咖 BERT文本分类-BERT Fine-Tuning

段智华 发布时间:2021-12-08 20:40:28 ,浏览量:0

Transformer课程 第7课Gavin大咖 BERT文本分类-BERT Fine-Tuning

Part III - BERT Fine-Tuning 4. Train Our Classification Model

现在,我们的输入数据已正确格式化,是时候对BERT模型进行微调了。 4.1. BertForSequenceClassification 对于这项任务,我们首先要修改预训练的BERT模型以提供分类输出,然后我们要继续在数据集上训练模型,直到整个模型(端到端)非常适合我们的任务。

huggingface pytorch实现包括一组为各种NLP任务设计的接口。尽管这些接口都建立在经过训练的BERT模型之上,但每个接口都有不同的顶层和输出类型,以适应其特定的NLP任务。

以下是为微调提供的类的当前列表:

  • BertModel
  • BertForPreTraining
  • BertForMaskedLM
  • BertForNextSentencePrediction
  • BertForSequenceClassification - 我们要用的
  • BertForTokenClassification
  • BertForQuestionAnswering 参考文档:https://huggingface.co/transformers/v2.2.0/model_doc/bert.html
关注
打赏
1659361485
查看更多评论
立即登录/注册

微信扫码登录

0.1484s