DeepDive学习

deepdive是一个具有语言识别能力的信息抽取工具，可用作KBC系统（Knowledge Base Construction）的内核，也可以理解为是一种Automatic KBC工具。     deepdive基于语法分析器构建，所以deepdive可通过各类文本规则实现实体间关系的抽取，deepdive面向异构、海量数据，所以其中涉及一些增量处理的机制。 PaleoDeepdive是基于deepdive的一个例子，用于推测人、地点、组织之间的关系，deepdive的执行过程可以分为：feature extraction，probabilistic knowledge engineering，statisticalinference and learning三部分。

Deepdive的工作机制分为特征抽取、领域知识集成、监督学习、推理四步。

基于DeepDive的系统可以被没有机器学习经验的用户使用包括古生物学、基因学等。DeepDive是一个使用机器学习算法的训练系统来减少各种形式的噪音和不确定性，通过Mindtagger接口、基于规则的丰富的结构化领域的知识让用户能够在较低的反馈下完成系统训练的工作。DeepDive是要让没有机器学习实践的专家们也能使用它，它的一个关键的技术创新包括解决大范围的概率统计推断问题。它和传统的系统几个不一样的地方在于：

• DeepDive要求开发者思考特征而不是算法，而其他机器学习系统要求开发者思考聚类算法、分类算法的使用等，而DeepDive基于联合推理的算法让用户只需要关心信号或者特征本身。
• DeepDive系统能够获得更高的质量：PaleoDeepDive在科学领域知识抽取能力和实体关系抽取能力上比人类更胜一筹。
• DeepDive很明确的知道数据经常有噪声和误差：名字被误拼、自然语言有多意或者人类自己犯错。通过考虑这些误差，DeepDive为每一个决断进行复杂的可能性计算，比如如果DeepDive告知可能性为0.9，那么证明事实为真的概率为90%。
• DeepDive可以把多种数据源作为数据的来源，如文档、网页、PDF、图表和表格。
• DeepDive允许特定领域的开发者使用简单的规则来影响学习的过程以提升结果的质量，DeepDive也考虑到用户的反馈来更正预测的准确度来更加精准的预测。
• DeepDive能够使用数据来立即学习。大部分的机器学习系统需要为每一次预测构建大量的训练，而许多DeepDive应用，尤其是早期，可以完全不需要训练数据。
• DeepDive的关键在于其可扩展性、优质的推理和学习引擎。在项目中应用到的技术包括部分商业和开源工具：MADlib、Impala（Oracle的一款产品产品）和底层工具如Hogwild，它们同时也被微软的Adam和其他主要的网络公司集成。

deepdive支持在linux和mac上安装，本次deepdive的安装是在linux环境下完成的，安装过程中需要在线下载资源。。

1、首先打开终端并运行

bash