Algorithmen sind Regeln zur Lösung mathematisch beschreibbarer Probleme. Sie sind ein wesentlicher Teil „Algorithmischer Entscheidungssysteme“ (ADM-Systeme), die in der Versicherungsbranche Risiken bewerten oder in anderen Kontexten vergleichbare Aufgaben lösen können.
Wenn die Entscheidungsregeln für die Risikobewertung unklar sind, können selbstlernende ADM-Systeme verwendet werden. Diese lernen aus bisherigen Fällen und Daten.
Allerdings lässt sich das Zustandekommen der Ergebnisse in der Regel nicht nachvollziehen. Selbstlernende ADM-Systeme bedürfen insbesondere immer dann einer speziellen Kontrolle, wenn sie Entscheidungen über Menschen treffen und Fehlentscheidungen einzelne Individuen bzw. die Gesellschaft als Ganzes schädigen können.
Dazu reicht es nicht aus, Algorithmen alleine überprüfbar zu machen, vielmehr müssen die ADM-Systeme insgesamt (Algorithmen und Daten) und das sozio-informatische Gesamtsystem, in dem sie genutzt werden, in den Blick genommen werden.
