什么是联邦学习？#
欢迎阅读Flower联邦学习教程！
在本教程中，你将了解什么是联邦学习，用 Flower 搭建第一个系统，并逐步对其进行扩展。如果你能完成本教程的所有部分，你就能构建高级的联邦学习系统，从而接近该领域当前的技术水平。
🧑🏫 本教程从零开始，不要求熟悉联邦学习。仅假定对数据科学和 Python 编程有基本了解。
Star Flower on GitHub ⭐️ 并加入 Slack 上的开源 Flower 社区，进行交流、提问并获得帮助： 加入 Slack <https://flower.ai/join-slack>`__ 🌼 我们希望在
#introductions频道听到您的声音！如果有任何不清楚的地方，请访问#questions频道。
让我们开始吧！
经典机器学习#
在开始讨论联邦学习之前，让我们先快速回顾一下目前大多数机器学习的工作原理。
在机器学习中，我们有一个模型和数据。模型可以是一个神经网络（如图所示），也可以是其他东西，比如经典的线性回归。
我们使用数据来训练模型，以完成一项有用的任务。任务可以是检测图像中的物体、转录音频或玩围棋等游戏。
实际上，我们使用的训练数据并不来自我们训练模型的机器。它是在其他地方创建的。
它源于智能手机上用户与应用程序的交互、汽车上传感器数据的收集、笔记本电脑上键盘输入的接收，或者智能扬声器上某人试着唱的歌。
值得一提的是，这个 "其他地方 "通常不只是一个地方，而是很多地方。它可能是多个运行同一应用程序的设备。但也可能是多个组织，都在为同一任务生成数据。
因此，要使用机器学习或任何类型的数据分析，过去使用的方法是在中央服务器上收集所有数据。这个服务器可以在数据中心的某个地方，也可以在云端的某个地方。
一旦所有数据都收集到一处，我们最终就可以使用机器学习算法在数据上训练我们的模型。这就是我们基本上一直依赖的机器学习方法。
经典机器学习面临的挑战#
我们刚刚看到的经典机器学习方法可以在某些情况下使用。很好的例子包括对假日照片进行分类或分析网络流量。在这些案例中，所有数据自然都可以在中央服务器上获得。
但这种方法并不适用于许多其他情况。例如，集中服务器上没有数据，或者一台服务器上的数据不足以训练出一个好的模型。
传统的集中式机器学习方法无法满足现实世界中大量极为重要的使用案例，原因有很多。这些原因包括：
法规： GDPR（欧洲）、CCPA（加利福尼亚）、PIPEDA（加拿大）、LGPD（巴西）、PDPL（阿根廷）、KVKK（土耳其）、POPI（南非）、FSS（俄罗斯）、CDPR（中国）、PDPB（印度）、PIPA（韩国）、APPI（日本）、PDP（印度尼西亚）、PDPA（新加坡）、APP（澳大利亚）等法规保护敏感数据不被移动。事实上，这些法规有时甚至会阻止单个组织将自己的用户数据用于人工智能培训，因为这些用户生活在世界不同地区，他们的数据受不同的数据保护法规管辖。
用户偏好： 除了法规之外，在一些使用案例中，用户只是希望数据永远不会离开他们的设备。如果你在手机的数字键盘上输入密码和信用卡信息，你不会希望这些密码最终出现在开发该键盘的公司的服务器上吧？事实上，这种用例正是联邦学习发明的初衷。
数据量： 有些传感器（如摄像头）产生的数据量很大，收集所有数据既不可行，也不经济（例如，由于带宽或通信效率的原因）。试想一下全国铁路服务，全国有数百个火车站。如果每个火车站都安装了许多安全摄像头，那么它们所产生的大量原始设备数据就需要功能强大且极其昂贵的基础设施来处理和存储。而大部分数据甚至都是无用的。
集中式机器学习不起作用的例子包括：
用多家医院的敏感医疗记录训练癌症检测模型
不同组织的财务信息，以侦查财务欺诈行为
通过电动汽车的定位数据更好地预测续航里程
端到端加密信息可训练出更好的自动完成模型
像 `Brave <https://brave.com/>`__浏览器或 `Signal <https://signal.org/>`__信息管理器这样的隐私增强系统的流行表明，用户关心隐私。事实上，他们会选择隐私性更好的产品。但是，我们能做些什么来将机器学习和数据科学应用到这些情况中，以利用隐私数据呢？毕竟，这些领域都将从人工智能的最新进展中受益匪浅。
联邦学习#
联邦学习简单地颠覆了这种方法。它通过将训练转移到数据上，而不是将数据转移到训练上，在分布式数据上实现机器学习。下面是一句话的解释：
集中式机器学习：将数据转移到计算中心
联邦式（机器）学习：将计算转移到数据上
这样，我们就能在以前不可能的领域使用机器学习（和其他数据科学方法）。现在，我们可以通过让不同的医院协同工作来训练优秀的医疗人工智能模型。我们可以通过在不同金融机构的数据上训练人工智能模型来解决金融欺诈问题。我们可以构建新颖的隐私增强型应用（如安全信息），其内置的人工智能比非隐私增强型应用更好。以上只是我想到的几个例子。随着联邦学习的部署，我们会发现越来越多的领域可以突然重获新生，因为它们现在可以访问大量以前无法访问的数据。
那么，联邦学习究竟是如何运作的呢？让我们从直观的解释开始。
联邦学习的五个步骤#
步骤 0：初始化全局模型#
我们首先在服务器上初始化模型。这与经典的集中式学习完全相同：我们随机或从先前保存的检查点初始化模型参数。
第 1 步：将模型发送到多个连接的组织/设备（客户节点）#
接下来，我们会将全局模型的参数发送到连接的客户端节点（如智能手机等边缘设备或企业的服务器）。这是为了确保每个参与节点都使用相同的模型参数开始本地训练。我们通常只使用几个连接节点，而不是所有节点。这样做的原因是，选择越来越多的客户端节点会导致收益递减。
步骤 2：在本地对每个机构/设备（客户端节点）的数据进行模型训练#
现在，所有（选定的）客户端节点都有了最新版本的全局模型参数，它们开始进行本地训练。它们使用自己的本地数据集来训练自己的本地模型。它们不会一直训练到模型完全收敛为止，而只是训练一小段时间。这可能只是本地数据上的一个遍历，甚至只是几个步骤（mini-batches）。
步骤 3：将模型参数更新返回服务器#
经过本地训练后，每个客户节点最初收到的模型参数都会略有不同。参数之所以不同，是因为每个客户端节点的本地数据集中都有不同的数据。然后，客户端节点将这些模型更新发回服务器。它们发送的模型更新既可以是完整的模型参数，也可以只是本地训练过程中积累的梯度。
步骤 4：将模型更新聚合到新的全局模型中#
服务器从选定的客户端节点接收模型更新。如果服务器选择了 100 个客户端节点，那么它现在就拥有 100 个略有不同的原始全局模型版本，每个版本都是根据一个客户端的本地数据训练出来的。难道我们不希望有一个包含所有 100 个客户节点数据的模型吗？
为了得到一个单一的模型，我们必须将从客户端节点收到的所有模型更新合并起来。这个过程称为*聚合*，有许多不同的方法。最基本的方法称为 Federated Averaging (McMahan等人，2016)，通常缩写为*FedAvg*。FedAvg 可以把100 个模型更新进行平均。更准确地说，它取的是模型更新的*加权平均值*，根据每个客户端用于训练的数据数量进行加权。加权对于确保每个数据示例对生成的全局模型具有相同的 "影响 "非常重要。如果一个客户端有 10 个数据点，而另一个客户有 100 个数据点，那么在不加权的情况下，10 个示例对全局模型的影响是 100 个示例的 10 倍。
步骤 5：重复步骤 1 至 4，直至模型收敛#
步骤 1 至 4 就是我们所说的单轮联邦学习。全局模型参数被发送到参与的客户端节点（第 1 步），客户端节点对其本地数据进行训练（第 2 步），然后将更新后的模型发送到服务器（第 3 步），服务器汇总模型更新，得到新版本的全局模型（第 4 步）。
在一轮迭代中，每个参与迭代的客户节点只训练一小段时间。这意味着，在聚合步骤（步骤 4）之后，我们的模型已经在所有参与的客户节点的所有数据上训练过了，但只训练了一小会儿。然后，我们必须一次又一次地重复这一训练过程，最终得到一个经过全面训练的模型，该模型在所有客户节点的数据中都表现良好。
总结#
恭喜您，现在您已经了解了联邦学习的基础知识。当然，要讨论的内容还有很多，但这只是联邦学习的一个缩影。在本教程的后半部分，我们将进行更详细的介绍。有趣的问题包括 我们如何选择最好的客户端节点参与下一轮学习？聚合模型更新的最佳方法是什么？如何处理失败的客户端节点（落伍者）？
联邦学习评估#
就像我们可以在不同客户节点的分散数据上训练一个模型一样，我们也可以在这些数据上对模型进行评估，以获得有价值的指标。这就是所谓的联邦评估，有时简称为 FE。事实上，联邦评估是大多数联邦学习系统不可或缺的一部分。
联邦分析#
在很多情况下，机器学习并不是从数据中获取价值的必要条件。数据分析可以产生有价值的见解，但同样，往往没有足够的数据来获得明确的答案。人们患某种健康疾病的平均年龄是多少？联邦分析可以通过多个客户端节点进行此类查询。它通常与安全聚合等其他隐私增强技术结合使用，以防止服务器看到单个客户端节点提交的结果。
差分隐私#
差分隐私（DP）经常在联邦学习中被提及。这是一种在分析和共享统计数据时使用的隐私保护方法，可确保单个参与者的隐私。DP 通过在模型更新中添加统计噪声来实现这一目的，确保任何个体参与者的信息都无法被区分或重新识别。这种技术可被视为一种优化，提供了一种可量化的隐私保护措施。
Flower#
联邦学习、联邦评估和联邦分析需要基础框架来来回移动机器学习模型，在本地数据上对其进行训练和评估，然后汇总更新的模型。Flower 提供的基础架构正是以简单、可扩展和安全的方式实现这些目标的。简而言之，Flower 为联邦学习、分析和评估提供了一种统一的方法。它允许用户联邦化任何工作负载、任何 ML 框架和任何编程语言。
结束语#
恭喜您，您刚刚了解了联邦学习的基础知识，以及它与传统（集中式）机器学习的关系！
在本教程的下一部分，我们将用 Flower 建立第一个联邦学习系统。
接下来的步骤#
在继续之前，请务必加入 Slack 上的 Flower 社区：Join Slack
如果您需要帮助，我们有专门的 #questions 频道，但我们也很乐意在 #introductions 中了解您是谁！
Flower 联邦学习教程 - 第 1 部分 展示了如何使用 PyTorch 和 Flower 构建一个简单的联邦学习系统。