元学习 | 基于度量的方法 | 该方法侧重于学习一个嵌入空间,其中相似的样本在空间中距离更近,不相似的样本距离更远。通过计算样本之间的距离或相似性,来进行故障诊断 | 需要较少的计算资源、易于理解 | 需要精心设计的相似性度量函数,对异常值敏感 |
基于优化的方法 | 通过优化算法来调整模型参数,以达到最佳性能 | 通过调整超参数,可以针对特定任务进行定制化优化,以达到更好的性能 | 优化过程需要大量的计算资源和时间,尤其是对于大规模或复杂的模型 |
基于模型的方法 | 基于模型的元学习方法可以从多个任务中学习到通用的知识,并将这些知识有效地迁移到新任务上,从而在新任务上实现快速学习和良好的性能 | 通过学习任务之间的相似性,可以灵活地适应各种不同的新任务,包括在训练阶段未出现过的任务 | 训练一个能够泛化到多个任务的模型通常需要大量的计算资源 |
迁移学习 | 基于实例迁移的方法 | 通过对源域中与目标域相似的样本赋予更高的权重,减少分布差异带来的影响 | 简单易实现,直接对样本进行加权,易于理解和操作 | 对源域数据进行大量的标注以便进行有效的实例选择和权重分配 |
基于特征迁移的方法 | 通过特征变换,将源域和目标域的数据映射到同一特征空间,有助于提高模型的泛化能力 | 通过对齐源域和目标域之间的共同特征,可以更好地迁移知识 | 过度依赖源域数据特征,容易发生过拟合 |
基于模型迁移的方法 | 通过迁移预训练模型的参数,从大量源域数据中学习到的丰富知识 | 减少计算资源消耗,相比于从头开始训练模型,基于模型迁移能减少所需的计算资源和时间 | 依赖于源域和目标域之间的相似性,如果两者差异过大,容易出现负迁移 |
领域泛化 | 基于同质领域泛化的方法 | 通过共享特征提取器或一致性正则化来确保模型在未见过的同质领域中也能保持良好的性能 | 减少对特定领域数据的依赖,提高模型在未知领域的适用性 | 训练数据的域间差异较大,容易过拟合 |
基于联邦领域泛化的方法 | 在多个不同的域中训练模型,而不需要将各域的数据集中到一处。每个域的模型通过共享全局模型更新来进行训练,以实现跨域的泛化能力。 | 数据保留在本地,不需要数据集中处理,保护数据隐私 | 需要有效的通信机制和同步策略,以确保模型在不同参与者之间有效更新 |
基于半监督领域泛化的方法 | 利用少量的有标签数据和大量的无标签数据来学习跨领域的特征 | 利用未标记数据来提高模型的泛化能力,尤其是在标签数据稀缺的情况下 | 对未标记数据的质量依赖较大,如果未标记数据与目标领域差异大,会降低影响模型的性能 |
基于不平衡领域泛化的方法 | 通过加权损失函数、重采样、数据增强等技术,调整模型对各领域的权重,以改善在不平衡域中模型的泛化能力 | 模型能够更好地适应不平衡数据分布,避免因数据不平衡导致的偏差 | 需要设计适当的加权或重采样策略,增加模型训练的复杂性 |
数据增强 | SMOTE | 通过在少数类别的样本之间生成新的合成样本来平衡类别分布 | 实现简单,易于应用到各种分类问题 | 在高维数据中,SMOTE效果不佳 |
GAN | 通过对抗训练,生成器学习生成与真实数据分布相似的样本 | 能够生成高质量、多样性的合成数据,极大地丰富数据集 | 训练过程不稳定,需要精心设计的网络结构和调整超参数,且计算成本高 |
VAE | 通过编码器将输入数据映射到一个潜在空间,并通过解码器从潜在空间重构数据 | 能够生成新的数据样本,同时保持与原始数据相似的分布 | 训练过程比较复杂,需要优化潜在空间的分布 |
自监督学习 | 对比式自监督学习 | 通过最小化正样本对之间的距离并最大化负样本对之间的距离来学习特征表示 | 利用未标记的数据进行学习,适合标签获取成本高的场景 | 面临着计算成本、负样本选择和超参数敏感性等问题 |
生成式自监督学习 | 通过生成模型来模拟数据的分布,并通过设计自监督任务,如预测数据的某些变换或重建缺失部分,来引导模型学习数据的内在结构 | 利用未标注的数据,减少对大量标注数据的依赖,同时学习到的表示能够捕捉数据的复杂结构,有助于提高模型在下游任务中的性能,并且具有较好的泛化能力 | 需要大量的计算资源来训练模型,存在过拟合的风险,评估模型性能较为困难 |