自然语言处理NLP星空智能对话机器人系列：深入理解Transformer自然语言处理 KantaiBERT Initializing model
目录
Step 7: Defi ning the confi guration of the model
- Step 7: Defi ning the confi guration of the model
- Step 8: Reloading the tokenizer in transformers
- Step 9: Initializing a model from scratch
- Exploring the parameters
- 星空智能对话机器人系列博客
我们将使用和DistilBERT transformer相同的头和层，对RoBERTa型transformer模型进行预训练，模型将有一个词汇表大小设置为52000，12个注意力头和6层
#@title Step 7: Defining the configuration of the Mo
