您当前的位置: 首页 >  自然语言处理
  • 0浏览

    0关注

    2393博文

    0收益

  • 0浏览

    0点赞

    0打赏

    0留言

私信
关注
热门博文

Dataset:数据集集合(NLP方向数据集)——常见的自然语言处理数据集大集合(建议收藏,持续更新)

一个处女座的程序猿 发布时间:2019-08-05 08:58:12 ,浏览量:0

Dataset:数据集集合(NLP方向数据集)——常见的自然语言处理数据集大集合(建议收藏,持续更新)

 

 

 

目录

NLP数据集特点

常见的NLP数据集

1、生物数据集以及自然语言处理数据集

常见的使用案例

 

 

 

 

NLP数据集特点

      文本相对容易收集和存储,但属性个数可能要比基因数据中的属性个数更多。对于一些自然语言处理问题,属性是词,每一行对应一篇文档。属性矩阵中的每一个元素表示词在文档中的出现次数。列的数目对应于文档的词汇量大小。根据预处理情况(如移除常见的词,如a、and 以及of),最后的词汇量可能会从几千到数万。如果考虑n-gram,文本的属性矩阵会更加庞大。n-gram 是相邻的2 个、3 个或者4 个词,这些词的位置足够紧密甚至可以构成短语。在这种情况下,线性模型相对于复杂的集成方法,可能会产生相同甚至更好的性能。

 

 

常见的NLP数据集

更新…… 对应案例下数据集可向博主索取!

1、生物数据集以及自然语言处理数据集

      一般是包含大量列的数据集,这些数据集虽然有很多样本,但往往也不足以训练好一个复杂模型。 1、生物数据集:在生物学里,基因数据集很容易就包含10,000 ~ 50,000 个属性。即使通过成百上千次的单个实验(数据的行),基因数据也不足以训练一个复杂的集成模型。线性模型可以给出等价甚至更好的性能。 (1)、基因数据很昂贵。一次实验(数据行)就可能花费$5,000 美元,整个数据集花费可能会达到5,000 万美元。

 

 

 

常见的使用案例

NLP:两种方法(自定义函数和封装函数)实现提取两人对话内容(***分隔txt文档),并各自保存为txt文档NLP之WE之Skip-Gram:基于TF利用Skip-Gram模型实现词嵌入并进行可视化、过程全记录NLP之情感分析:基于python编程(jieba库)实现中文文本情感分析(得到的是情感评分)

 

 

 

 

 

 

 

 

 

 

 

关注
打赏
1664196048
查看更多评论
立即登录/注册

微信扫码登录

0.0464s