type
status
date
slug
summary
tags
category
icon
password
comment
一些常见的损失函数
BCE
二值交叉熵 (Binary Cross-Entropy, BCE)，主要用于二分类问题,其公式为:
其中:
- y 是真实标签 (0 或 1)
- p 是预测为正类的概率 (0 到 1 之间)
对于一批数据,我们通常取平均值:
其中 N 是样本数量,i 是样本索引。
Focal Loss
Focal Loss 是 BCE 的一个变体,旨在解决类别不平衡问题。其公式为:
其中:
- α 是平衡因子 (通常设置为正类的比例)
- γ 是聚焦参数 (通常 γ > 0,γ = 2 是常见选择)
- y 和 p 的含义与 BCE 相同
对于一批数据:
Focal Loss 的主要特点:
- (1 - p)^γ 和 p^γ 项:这些项降低了易分样本的权重,使模型更关注难分样本。
- α 参数:用于平衡正负样本的重要性。
Focal Loss 通过这些修改,使得模型在训练过程中更关注难分和少数类的样本,从而在类别不平衡的数据集上取得更好的性能。