Open Topics

The widespread use of machine learning (ML) models trained on personal data has lead to privacy concerns. With its Opinion 28/2024, the European Data Protection Board (EDPB) has extended the concept of anonymity to ML models and has defined criteria an anonymized ML model must meet. One of these criteria is that the model must be robust to membership inference attacks (MIAs): An attacker must not be able to predict (with high confidence) whether an individual's data has been used to train the model. The traditional ways to prevent such an attack - for instance differential privacy - must be applied during the model's training phase. Opinion 28/2024, however, permits that an already trained model is anonymized in retrospect. Such a retrospective anonymization would simplify the re-use of existing models in other application contexts without a repetition of the expensive training step.

The objective of this thesis is to design and implement an algorithm that protects a trained ML model from MIAs without requiring access to the original training data. Possible steps could include regularization, machine unlearning, query restrictions or using the original model as a foundation model in another round of training against MIAs. The algorithm should be evaluated quantitatively by a comparison with a suitable baseline such as traditional countermeasures or the unprotected model. This evaluation should include both the privacy (defined as the success rate of MIAs) and utility (for instance defined by an ROC curve).

Die amtliche Statistik unterliegt der Pflicht zur statistischen Geheimhaltung. Diese beinhaltet unter anderem, dass öffentliche Statistiken nur begrenzt Rückschlüsse auf Einzelangaben erlauben sollen. Für den Anwendungsfall von tabellarischen Statistiken (z.B. Häufigkeitstabellen) wurde innerhalb der EU die Cell-Key-Methode angewendet.

Aus der Theorie ist bekannt, dass Statistiken grundsätzlich gegen Rekonstruktionsangriffe verwundbar sind. Diese basieren im Kern auf linearer Optimierung, doch auch durch machinelle Lernverfahren sind Angriffe möglich. Anhand theoretischer Überlegungen lässt sich zeigen, dass die Cell-Key Methode im Allgemeinen keinen signifikanten Schutz bietet. Dieses Risiko wurde jedoch bislang nur unzureichend empirisch untersucht.

Ziel dieser Arbeit ist es, die Verwundbarkeit der Cell-Key-Methode gegen Rekonstruktionsangriffe empirisch zu untersuchen. Dazu sollen aus Beispieldatensätze statische Tabellen abgeleitet werden, welche mit der Cell-Key-Methode geschützt werden. Anschließend sollen aktuelle Rekonstruktionsangriffen auf diese Statistiken für realitätsnahe Angreifermodelle ausgeführt werden, um das Risiko in der Praxis abzuschätzen. Die Auswahl aus Datensätzen, Statistiken und Angreifermodellen ist dabei hinsichtlich ihrer Praxisnähe zu begründen.

Für dieses Thema werden Kenntnisse in der Statistik, linearen Optimierung und machinellem Lernen empfohlen.

Literaturhinweise:

- Die Cell-Key-Methode geht auf folgende Arbeit zurück: Fraser, Bruce, and Janice Wooton. “A Proposed Method for Confidentialising Tabular Output to Protect against Differencing.” Monographs of Official Statistics: Work Session on Statistical Data Confidentiality, 2005, 299–302.

- Eine vertiefende Darstellung findet sich in: Thompson, Gwenda, Stephen Broadfoot, and Daniel Elazar. Methodology for the Automatic Confidentialisation of Statistical Outputs from Remote Servers at the Australian Bureau of Statistics UNECE Work Session on Statistical Data. 2013.

- Eine Einführung in die statistische Geheimhaltung (inklusive eines Überblicks in die Cell-Key-Methode) bietet dieses Handbuch: Hundepool, Anco, Josep Domingo-Ferrer, Luisa Franconi, et al. Handbook on Statistical Disclosure Control. 2nd ed. Center of Excellence SDC, 2026. https://sdctools.github.io/HandbookSDC/.

- Rekonstruktionsangriffe gehen auf folgende Arbeit zurück: Dinur, Irit, and Kobbi Nissim. “Revealing Information While Preserving Privacy.” Proceedings of the Twenty-Second ACM SIGMOD-SIGACT-SIGART Symposium on Principles of Database Systems (New York, NY, USA), PODS ’03, 2003, 202–10. https://doi.org/10.1145/773153.773173.

- Ein (älteres) Survey über verschiedene Rekonstruktionsangriffe ist: Dwork, Cynthia, Adam Smith, Thomas Steinke, and Jonathan Ullman. “Exposed! A Survey of Attacks on Private Data.” Annual Review of Statistics and Its Application 4 (2017): 61–84.

- Ein neuerer Angriff mittels maschinellen Lernverfahren findet sich in: Dick, Travis, Cynthia Dwork, Michael Kearns, et al. “Confidence-Ranked Reconstruction of Census Microdata from Published Statistics.” Proceedings of the National Academy of Sciences 120, no. 8 (2023): e2218605120. https://doi.org/10.1073/pnas.2218605120.