FedProx#

class FedProx(*, fraction_fit: float = 1.0, fraction_evaluate: float = 1.0, min_fit_clients: int = 2, min_evaluate_clients: int = 2, min_available_clients: int = 2, evaluate_fn: Callable[[int, List[ndarray[Any, dtype[Any]]], Dict[str, bool | bytes | float | int | str]], Tuple[float, Dict[str, bool | bytes | float | int | str]] | None] | None = None, on_fit_config_fn: Callable[[int], Dict[str, bool | bytes | float | int | str]] | None = None, on_evaluate_config_fn: Callable[[int], Dict[str, bool | bytes | float | int | str]] | None = None, accept_failures: bool = True, initial_parameters: Parameters | None = None, fit_metrics_aggregation_fn: Callable[[List[Tuple[int, Dict[str, bool | bytes | float | int | str]]]], Dict[str, bool | bytes | float | int | str]] | None = None, evaluate_metrics_aggregation_fn: Callable[[List[Tuple[int, Dict[str, bool | bytes | float | int | str]]]], Dict[str, bool | bytes | float | int | str]] | None = None, proximal_mu: float)[源代码]#

基类:FedAvg

联邦优化策略。

实施基于 https://arxiv.org/abs/1812.06127

策略本身与 FedAvg 并无不同,客户端需要进行调整。在训练过程中,需要在损失函数中添加一个近端项:

\[\begin{split}\\frac{\\mu}{2} || w - w^t ||^2\end{split}\]

其中,$w^t$ 是全局参数,$w$ 是优化函数的局部权重。

例如,在 PyTorch 中,损失将从:

loss = criterion(net(inputs), labels)

致:

for local_weights, global_weights in zip(net.parameters(), global_params):
    proximal_term += (local_weights - global_weights).norm(2)
loss = criterion(net(inputs), labels) + (config["proximal_mu"] / 2) *
proximal_term

其中,"global_params "是训练前的参数副本。

global_params = copy.deepcopy(net).parameters()
参数:
  • fraction_fit (float, optional) -- 训练过程中使用的客户端比例。如果 min_fit_clients 大于 fraction_fit * available_clients,则仍会对 min_fit_clients 进行采样。默认为 1.0。

  • fraction_evaluate (float, optional) -- 验证过程中使用的客户端的比例。如果 min_evaluate_clients 大于 fraction_evaluate * available_clients,则仍会对 min_evaluate_clients 进行采样。默认为 1.0。

  • min_fit_clients (int, optional) -- 训练期间使用的最少客户数。默认为 2。

  • min_evaluate_clients (int, optional) -- 验证过程中使用的最少客户端数量。默认为 2。

  • min_available_clients (int, optional) -- 系统中客户总数的最小值。默认为 2。

  • evaluate_fn (Optional[Callable[[int, NDArrays, Dict[str, Scalar]], Optional[Tuple[float, Dict[str, Scalar]]]]]) -- 用于验证的可选函数。默认为 "无"。

  • on_fit_config_fn (Callable[[int], Dict[str, Scalar]], optional) -- 用于配置训练的功能。默认为 "无"。

  • on_evaluate_config_fn (Callable[[int], Dict[str, Scalar]], optional) -- 用于配置验证的函数。默认为 "无"。

  • accept_failures (bool, optional) -- 是否接受包含失败的轮。默认为 True。

  • initial_parameters (Parameters, optional) -- 初始全局模型参数。

  • fit_metrics_aggregation_fn (Optional[MetricsAggregationFn]) -- 指标汇总功能,可选。

  • evaluate_metrics_aggregation_fn (Optional[MetricsAggregationFn]) -- 指标汇总功能,可选。

  • proximal_mu (float) -- 优化中使用的近端项权重。0.0 使该策略等同于 FedAvg,系数越大,使用的正则化就越多(也就是说,在训练过程中,客户端参数需要更接近服务器参数)。

Methods

aggregate_evaluate(server_round, results, ...)

采用加权平均法计算评估损失总额。

aggregate_fit(server_round, results, failures)

使用加权平均法汇总拟合结果。

configure_evaluate(server_round, parameters, ...)

配置下一轮评估。

configure_fit(server_round, parameters, ...)

配置下一轮训练。

evaluate(server_round, parameters)

使用评估函数评估模型参数。

initialize_parameters(client_manager)

初始化全局模型参数。

num_evaluation_clients(num_available_clients)

使用部分可用客户进行评估。

num_fit_clients(num_available_clients)

返回样本大小和所需的可用客户数量。

aggregate_evaluate(server_round: int, results: List[Tuple[ClientProxy, EvaluateRes]], failures: List[Tuple[ClientProxy, EvaluateRes] | BaseException]) Tuple[float | None, Dict[str, bool | bytes | float | int | str]]#

采用加权平均法计算评估损失总额。

aggregate_fit(server_round: int, results: List[Tuple[ClientProxy, FitRes]], failures: List[Tuple[ClientProxy, FitRes] | BaseException]) Tuple[Parameters | None, Dict[str, bool | bytes | float | int | str]]#

使用加权平均法汇总拟合结果。

configure_evaluate(server_round: int, parameters: Parameters, client_manager: ClientManager) List[Tuple[ClientProxy, EvaluateIns]]#

配置下一轮评估。

configure_fit(server_round: int, parameters: Parameters, client_manager: ClientManager) List[Tuple[ClientProxy, FitIns]][源代码]#

配置下一轮训练。

向客户发送近端因子mu

evaluate(server_round: int, parameters: Parameters) Tuple[float, Dict[str, bool | bytes | float | int | str]] | None#

使用评估函数评估模型参数。

initialize_parameters(client_manager: ClientManager) Parameters | None#

初始化全局模型参数。

num_evaluation_clients(num_available_clients: int) Tuple[int, int]#

使用部分可用客户进行评估。

num_fit_clients(num_available_clients: int) Tuple[int, int]#

返回样本大小和所需的可用客户数量。