Machine Unlearning for Privacy-Preserving Cross-Modal Retrieval Systems PhD

该博士项目致力于通过开发选择性删除特定数据（例如私人或过时信息）的方法，在不影响整体性能的前提下，提升跨模态检索系统（如使用文本搜索图像或反之的系统）中的隐私保护能力。尽管当前的模型（如CLIP或基于Transformer的系统）在关联不同类型数据（文本、图像等）方面表现良好，但在需要时难以“遗忘”某些信息，而这一点对于隐私保护和系统适应性至关重要。 挑战在于，从一种模态中删除数据（例如某张图像）可能会破坏其与另一模态中相关数据（例如对应的文字说明）之间的关联，从而导致错误或不一致。现有的“去学习”（unlearning）方法在此场景下效果不佳，因为它们主要针对单一类型的数据设计，并未考虑这些跨模态的联系。 本项目的目标是： 1) 创建专为多模态系统定制的去学习方法，在保留各模态间准确性与对齐关系的同时，移除特定数据； 2) 构建评估工具，用以衡量系统遗忘不必要数据的效果、隐私保护能力以及性能维持情况； 3) 开发策略，用合适的替代数据填补被删除的内容，确保系统持续有效； 4) 研究不同模型结构和数据类型对去学习过程的影响，为构建注重隐私的跨模态系统提供设计指南。 该项目成果将有助于实现更安全、更灵活且更具隐私保护性的多媒体搜索与推荐系统。