OpenGAN：基于开放数据生成的开放集识别

简介

简介：这次学习的OpenGAN主要学习一个思路，跳出传统GAN对于判断真假的识别到判断是已知种类还是未知种类。重点内容不在于代码而是思路，会简要给出一个设计的代码。

论文题目：OpenGAN: Open-Set Recognition via Open Data Generation（基于开放数据生成的开放集识别）

期刊：IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE（if=20.8,超级Top）

摘要：现实世界的机器学习系统需要分析可能与训练数据不同的测试数据。 在K-way分类中，这被清晰地表述为开集识别，其核心是区分K个闭集类之外的开集数据的能力。 开集判别的两个概念是：1)通过利用一些离群数据作为开集判别学习开-闭二元判别器； 2)利用GAN的判别器作为开集似然函数，对闭集数据分布进行无监督学习。 然而，由于对训练异常值的过度拟合，前者对各种开放测试数据的泛化效果较差，而训练异常值不太可能详尽地跨越开放世界。 后者不能很好地工作，可能是由于gan的训练不稳定。 在上述的激励下，我们提出了OpenGAN，它通过将每种方法与几个技术见解相结合来解决每种方法的局限性。 首先，我们证明了在一些真实的离群数据上精心选择的gan鉴别器已经达到了最先进的水平。 其次，我们用对抗合成的“假”数据增强真实开放训练样本的可用集。 第三，也是最重要的，我们在封闭世界K-way网络计算的特征上建立了鉴别器。 这使得OpenGAN可以通过建立在现有K-way网络之上的轻量级鉴别器头来实现。 大量的实验表明，OpenGAN显著优于先前的开集方法。

问题背景的具体例子

想象你要训练一个自动驾驶汽车的视觉系统：

• 训练数据：汽车、行人、红绿灯、建筑物等19个类别
• 现实问题：路上突然出现婴儿车、街头小摊等训练时没见过的物体
• 危险后果：系统可能把婴儿车错误识别为"摩托车"，导致不当的避让策略

  OpenGAN的具体操作流程

  第一步：准备基础设施

  1. 已有一个训练好的K类分类器（比如识别19种交通场景物体）

  2. 从这个分类器的倒数第二层提取特征（不是直接用原始图片）

  3. 收集少量"其他"类别的数据作为已知的异常样本

  为什么用特征而不用像素？

  • 原始图片：1024×2048×3 = 600万维度，太复杂
  • 提取的特征：可能只有512维，包含了高级语义信息
  • 就像人类识别物体时关注的是形状、纹理，而不是每个像素点

    第二步：构建OpenGAN架构

    OpenGAN包含两个核心组件：

    判别器D（Discriminator）：

    • 输入：特征向量
    • 输出：该特征属于"已知类别"的概率
    • 作用：区分"已知"vs"未知"

      生成器G（Generator）：

      • 输入：随机噪声
      • 输出：假的"未知类别"特征
      • 作用：生成更多样的"未知"样本来训练判别器

        第三步：对抗训练过程

        这是核心！OpenGAN使用三种数据同时训练：

        # 伪代码展示训练过程
        for epoch in training:
            # 1. 真实的已知类别数据
            real_closed_features = extract_features(known_class_images)
            
            # 2. 真实的未知类别数据（少量）
            real_open_features = extract_features(outlier_images)
            
            # 3. 生成器创造的假未知数据
            noise = random_noise()
            fake_open_features = Generator(noise)
            
            # 训练判别器：让它学会区分已知和未知
            d_loss = - log(D(real_closed_features))           # 已知类别应该得高分
                     - λ_o * log(1-D(real_open_features))     # 真实未知应该得低分  
                     - λ_G * log(1-D(fake_open_features))     # 生成未知应该得低分
            
            # 训练生成器：让它生成能骗过判别器的"未知"特征
            g_loss = - log(1-D(Generator(noise)))  # 生成的特征要能骗过判别器

        关键参数解释：

        • λ_o：控制真实异常数据的重要性
        • λ_G：控制生成假数据的重要性
        • 当λ_o=0时，就是OpenGAN-0（不使用真实异常数据）

          第四步：模型选择的巧妙方法

          传统GAN的问题：

          • 训练到最后，生成器太强了，判别器分不出真假
          • 判别器失去了区分"已知"和"未知"的能力

            OpenGAN的解决方案：

            1. 在训练过程中保存多个判别器快照
            2. 用少量真实的异常数据作为验证集
            3. 选择在验证集上表现最好的判别器

            # 模型选择过程
            best_auroc = 0
            best_discriminator = None
            for checkpoint in training_checkpoints:
                discriminator = load_checkpoint(checkpoint)
                auroc = evaluate_on_validation_set(discriminator, validation_outliers)
                
                if auroc > best_auroc:
                    best_auroc = auroc
                    best_discriminator = discriminator
            # 使用最佳判别器进行最终预测

            第五步：实际应用

            在测试时：

            def predict_open_set(test_image):
                # 1. 提取特征
                features = pretrained_classifier.extract_features(test_image)
                
                # 2. 用OpenGAN判别器打分
                confidence = best_discriminator(features)
                
                # 3. 做决策
                if confidence > threshold:
                    # 进行正常的K类分类
                    class_prediction = pretrained_classifier(test_image)
                    return class_prediction
                else:
                    return "UNKNOWN_OBJECT"  # 未知物体