Home » Artikel » Algorithmen schließen arme Menschen aus. Zu den Gefahren der KI

Algorithmen schließen arme Menschen aus. Zu den Gefahren der KI

Effizienter, effektiver und transparenter sollte das serbische Sozialsystem durch die Einführung der sogenannten Sozialkarte im März 2022 werden. Knapp eineinhalb Jahre später sehen jedoch NGOs ihre schon bei der Einführung geäußerten Kritikpunkte und Befürchtungen bestätigt. Effizient und effektiv scheint dass System vor allem wenn es darum geht, bedürftige Menschen von Sozialleistungen auszuschließen.

Kernstück des neuen Systems ist eine Digitalisierung des Sozialhilfesystems, wobei bis zu 120 verschiedene Datensätze pro Person gespeichert werden und die Informationen, die verschiedenen Behörden über eine Person vorliegen, zusammengelegt werden. Vage und weitgehende Regelungen zum Zugriff auf diese Daten und zu ihrer Verwendung haben zu schwerwiegenden datenschutzrechtlichen Bedenken geführt.

Im Rahmen dieses Systems wird auch die Entscheidungsfindung digitalisiert. So gibt es bestimmte Konstellationen, in denen ein automatischer Leistungsausschluss zu erfolgen habe, ohne dass Ermessensspielräume oder Möglichkeiten zur Würdigung besonderer Umstände eines Einzelfalles vorgesehen sind. Das Personal in den zuständigen Behörden ist lediglich ausführendes Organ für die Entscheidung des Algorithmus.

Schon vor der Einführung des neuen Systems hatte ein breites Bündnis aus NGOs, zu dem auch Amnesty International und das European Roma Rights Centre gehören, in einem Rechtsgutachten gewarnt, dass das neue System offensichtlich vor allem darauf abziele, Menschen aus dem Leistungsbezug auszuschließen. Roma seien davon überproportional betroffen.

Das Komitee für Wirtschaftliche, Soziale und Kulturelle Rechte der Vereinten Nationen hatte schon vor Einführung der Sozialkarte davor gewarnt, dass das System der sozialen Sicherung in Serbien nicht alle Bedürftigen erreiche und auch vom Umfang her nicht ausreiche, Armut zu reduzieren. Zudem würden Bedingungen an den Bezug von Sozialleistungen gestellt, die einen diskriminierenden, faktischen Ausschluss bestimmter – ohnehin marginalisierter – Gruppen wie Roma bewirken.

Die Erfahrungen des ersten Jahres seit Einführung des neuen Systems haben gezeigt, dass die Befürchtungen begründet waren. Trotz der weitreichenden Änderungen wurden Betroffene nicht rechtzeitig über das neue System informiert und aufgeklärt. Es wurden auch keine Anstrengungen unternommen, den Kreis der Leistungsberechtigten auszuweiten und Menschen zu erfassen, die etwa aufgrund bürokratischer Hürden keine Sozialhilfe erhalten, obwohl sie eigentlich einen Anspruch darauf hätten.

Stattdessen wurden rund 20% der Leistungsberechtigten – fast 30 000 Personen – die ohnehin mageren Leistungen gestrichen durch intransparente, algorithmenbasierte Entscheidungen, die wichtige Details der Einzelfälle nicht berücksichtigen und teilweise die Gesetze falsch anwenden. Diese Kürzungen erfolgen vor allem dann, wenn Personen (angeblich) Einkommen haben, die den Sozialhilfesatz von monatlich 11.122 Dinar (umgerechnet knapp 95 Euro) übersteigen. Dies wird alle drei Monate geprüft. Auch finanzielle Hilfen von Privatpersonen und gemeinnützigen Organisationen fallen hierunter – so könnten etwa Abgeschobene, die Geld von Unterstützer*innen überwiesen bekommen oder von lokalen wohltätigen Organisationen Geld erhalten, ihren Anspruch auf Sozialhilfe verlieren.

Entscheidungen über Kürzungen werden den Betroffenen offiziell innerhalb von 30 Tagen nach Wirksamkeit der Kürzungen in einem Bescheid mitgeteilt, gegen den innerhalb von 15 Tagen Beschwerde eingereicht werden darf. Expert*innen aus der Praxis haben uns aber berichtet, dass die Bescheide häufig viel später kommen. Die Frist für eine Entscheidung über die Beschwerde beträgt 60 Tage. Das heißt, dass Betroffene selbst im Falle eines erfolgreichen Widerspruchs zunächst mehrere Monate keine Sozialhilfe erhalten. Ist die Beschwerde nicht erfolgreich, kann die betroffene Person erst dann wieder Sozialhilfe beziehen, wenn sie einen neuen Antrag stellt und in den drei Monate zuvor keine registrierten Einkünfte hatte. Die Frist für die Entscheidung darüber dauert wieder 60 Tage.

Einige Beispiele aus der Praxis hat die Initiative A11, die sich für ökonomische und soziale Rechte einsetzt, auf einer Kampagnenwebsite gesammelt. Beispielsweise den Fall von Jovan, einem Rom aus Kraljevo, der Sozialhilfe bezieht und darüber hinaus ein kleines Einkommen durch das Sammeln und Weiterverkaufen von Alteisen erzielt. Der Algorithmus des Sozialkarten-Systems wies eine Einstellung seiner Sozialhilfe an, mit der Begründung, er habe in einem Quartal 345 000 Dinar (umgerechnet fast 3000 Euro) durch den Verkauf von Alteisen verdient. Legt man den üblichen Marktpreis zugrunde, hätte Jovan elf Tonnen Alteisen sammeln und verkaufen müssen, um auf eine solche Summe zu kommen. Was war passiert? Die Erklärung ist recht einfach: Jovan hatte seinen Ausweis vorgelegt, als er zusammen mit anderen Roma aus seinem Stadtteil das gesammelte Eisen zum Verkauf abgab.

Die Kampagnenwebsite weist darauf hin, dass es nicht ungewöhnlich ist, dass mehrere Personen zusammen die Wertstoffe verkaufen, die sie einzeln gesammelt haben, und dass eine Person stellvertretend für alle den Ausweis zeigt, die Quittung unterschreibt und das Geld einkassiert, das dann unter allen Sammelnden aufgeteilt wird. Diese Vorgehensweise hat auch damit zu tun, dass nicht alle Roma in Serbien Ausweise haben. Doch für den Algorithmus zählt nur, dass das Geld offiziell an Jovan ausgezahlt wurde und ihm persönlich zugerechnet wird. Der Algorithmus gibt die Anweisung, seine Sozialhilfezahlungen einzustellen, und die zuständigen Mitarbeiter*innen haben keinen Entscheidungsspielraum, um den Einzelfall zu prüfen, sondern müssen der Anweisung des System folgen.

In einem anderen Beispiel gibt es eine ähnliche Konstellation. Eine Familie, die aufgrund ihrer Wohnkosten – vor allem die gestiegenen Energiekosten – verschuldet war, hatte von der Initiative A11 eine finanzielle Hilfe bekommen, um die ausstehenden Rechnungen zu bezahlen. Ihre Sozialhilfe wurde eingestellt, weil der Algorithmus dieses Geld als Einkommen der Betroffenen gewertet hat.

Auch der Besitz von beweglichen und unbeweglichen Werten kann zum Ausschluss von Leistungsbezug führen. So in einem Fall einer schwerbehinderten und erwerbsunfähigen Frau, die ein Stück Land geerbt hat. Es gibt auch Fälle, in denen Personen, die in der Vergangenheit mal ein Auto verschrottet haben, immer noch als Besitzer*in des Autos geführt werden und deshalb keine Sozialleistungen beziehen.

„Diese Art von juristisch-bürokratischer Unlogik wurde bisher durch Besuche vor Ort und direkte Kommunikation umgangen“, schreibt die Initiative A11. Das Sozialkartensystem mit seinen intransparenten Algorithmen nimmt jede Möglichkeit des Nachjustierens, der Ermessensausübung und der Korrektur rigider Entscheidungen, die an der Lebensrealität der Menschen vorbeigehen.

Es wurden auch Fälle bekannt, in denen der Algorithmus die geltenden Gesetze falsch angewandt hat. So werden Einkünfte aus Saisonarbeit nicht als Einkommen auf die Sozialhilfe angerechnet, sondern sind offiziell als unschädlicher Hinzuverdienst erlaubt. Trotzdem gab es Fälle, in denen die Sozialhilfezahlungen eingestellt wurden, weil Menschen Einkommen aus Saisonarbeit erzielten. In einem auf der Kampagnenwebsite geschilderten Fall waren drei Saisonarbeiter*innen aus Srpski Krstur in der Vojvodina sehr überrascht über die plötzliche und nicht nachvollziehbare Kürzung ihrer Sozialleistungszahlungen um 80%. Die drei wandten sich an die Initiative A11, und auf deren Rat hin beantragten und erhielten sie von ihrem lokalen Sozialzentrum einen Auszug aus ihren Sozialkarten-Einträgen. Darin stand lediglich, es seien Einkünfte aus Erwerbsarbeit erzielt worden. Da die Betroffenen mit Ausnahme der erlaubten und sozialrechtlich unschädlichen Saisonarbeit keiner Erwerbsarbeit nachgegangen waren, waren sie von diesen Informationen sehr irritiert wegen angeblich vorhandener Einkommen. Auf Nachfrage konnten ihnen die zuständigen Behörden nicht sagen, um welche Einkommen es sich handelte. Es folgten erfolglose Anfragen bei der Steuerbehörde und der Nationalen Arbeitsverwaltung, bevor endlich eine Anfrage beim Zentralregister der Sozialversicherung Klarheit brachte: Bei den monierten Einkünften handelte es sich tatsächlich um das Einkommen für die Saisonarbeit – das System hatte einen Fehler gemacht. Die Drei klagten vor Gericht und bekamen Recht. Der Fehler im System spielte aber dabei keine Rolle.

Die Initiative A11 hat bereits im April eine Klage beim Verfassungsgericht eingereicht, um das Gesetz zur Sozialkarte auf seine Verfassungskonformität überprüfen zu lassen. Bisher ist aber keine Entscheidung ergangen. Bis dahin bleibt es dabei, dass gegen die zahlreichen Missstände nur mittels Klagen anhand konkreter Einzelfälle vorgegangen werden kann. Es liegt auf der Hand, dass nicht alle Betroffenen die Ressourcen haben, um ihr Recht durchzusetzen, und dass den NGOs die Ressourcen fehlen, um alle Betroffenen zu erreichen und zu unterstützen. Die mangelnde Transparenz bezüglich der Entscheidungsgründe und der mangelnde, zeitlich verzögerte Rechtsschutz gegen Entscheidungen zur Leistungskürzung, dürften also dafür gesorgt haben, dass vielen anderen Personen zu Unrecht ihre Leistungen gekürzt wurden und sie nicht dagegen vorgehen konnten.

Mehr Infos: https://ran.eu.com/serbisches-sozialkartengesetz-bedroht-existenz-von-roma-internationale-menschenrechtsorganisationen-beantragen-uberprufung/

BulgarianCroatianEnglishFrenchGermanItalianPortugueseRussianSerbianSpanishTurkish