Py之PaddleFL:PaddleFL/paddle_fl的简介、安装、使用方法之详细攻略
目录
PaddleFL/paddle_fl的简介
1、PaddleFL的框架设计
PaddleFL/paddle_fl的安装
1、在Docker中使用PaddleFL
2、安装PaddlePaddle和PaddleFL
环境版本
PaddleFL/paddle_fl的使用方法
PaddleFL/paddle_fl的简介PaddleFL是一个基于PaddlePaddle的开源联邦学习框架。研究人员可以很容易地复制和比较不同的联邦学习算法与PaddleFL。开发人员还可以从PaddleFL中受益,因为它很容易在大规模分布式集群中部署联邦学习系统。 在PaddleFL中,将提供多种联邦学习策略,并在计算机视觉、自然语言处理、推荐等方面进行应用。将提供传统机器学习训练策略的应用,如多任务学习、联邦学习设置中的转移学习。基于PaddlePaddle在Kubernetes上的大规模分布式训练和训练作业的弹性调度,可以方便地基于全栈开源软件部署PaddleFL。 如今,数据变得越来越昂贵,跨组织共享原始数据非常困难。联邦学习旨在解决数据隔离问题,并在组织之间安全地共享数据知识。联合学习的概念是由研究者在谷歌中提出的。PaddleFL实现了基于PaddlePaddle框架的联邦学习。 PaddleFL支持当前两种主要的联邦学习策略:纵向联合学习和横向联邦学习。联邦学习中的多任务学习和迁移学习将在未来的PaddleFL中得到开发和支持。横向联邦学习:联邦平均,差异隐私,安全聚合;纵向联合学习:使用PrivC进行两方训练,使用ABY3进行三方训练;
官网:https://github.com/PaddlePaddle/PaddleFL/blob/master/README_cn.md
1、PaddleFL的框架设计PaddleFL主要包括两个部分:数据并行和MPC联合学习(PFM)。数据并行:使用数据并行,分布式数据持有者可以基于常见的水平联邦策略(如FedAvg、DPSGD等)完成他们的联邦学习任务。PFM:PFM基于多方安全计算(MPC)实现,实现安全训练和预测。作为PaddleFL的关键产品,PFM在本质上支持联邦学习,包括横向、纵向和迁移学习场景。几乎没有密码学专业知识的用户也可以训练模型或对加密数据进行预测。
PaddleFL/paddle_fl的安装 1、在Docker中使用PaddleFLdocker pull paddlepaddle/paddlefl:1.1.2
docker run --name --net=host -it -v $PWD:/paddle /bin/bash
2、安装PaddlePaddle和PaddleFL
wget https://paddlefl.bj.bcebos.com/paddlepaddle-1.8.5-cp38-cp38-linux_x86_64.whl
pip3 install paddlepaddle-1.8.5-cp38-cp38-linux_x86_64.whl
pip3 install paddle_fl
环境版本
- CentOS 7 (64 bit)
- Python 3.5/3.6/3.7 ( 64 bit) or above
- pip3 9.0.1+ (64 bit)
- PaddlePaddle 1.8.5
- Redis 5.0.8 (64 bit)
- GCC or G++ 8.3.1
- cmake 3.15+
更新中……