Katika Kühnreich

“Gamified Control? China’s Social Credit Systems ” mein Vortrag auf dem 34C3 Chaos Communication Congress am 27.12.2017. [Englisch mit verschiedenen Übersetzungen und Untertiteln] , der Vortrag lief danach noch u.a. bei der *re:publica*, der *webinale*, der *bizplay* und der *ML-Conference*.
In 2014 China’s government announced the implementation of big data based social credit systems (SCS). The SCS will rate online and offline behavior to create a score for each user. One of them is planned to become mandatory in 2020. This lecture will review the current state of governmental and private SCS and different aspects of these systems.

Künstliche Intelligenz (KI) ist der Modebegriffe der letzten Jahre: KI macht alles leichter, KI hat alle Lösungen, KI wird uns retten. Was sogenannten KI eigentlich ist, worin sie sich von menschlicher Intelligenz unterscheidet, wie sie uns wohin retten wird & ob wir als Gesellschaft dorthin wollen, ist hingegen selten Thema. Der Vortrag legt die ideologischen Wurzeln von KI frei & betrachtet drei weitere Bereiche: von ihr benötigte Ressourcen, mit ihr zusammenhängende Arbeitsbedingungen sowie gesellschaftliche Auswirkungen & Verschiebungen von Macht, die sich durch diese Technologie ergeben.

Künstliche Intelligenz (KI) wird gerade als Modebegriff oder "Buzzword" eingesetzt und auf nahezu alles geklebt, was nicht bei drei auf den Bäumen ist. Wie von Zauberhand sollen alle Vorgänge durch die Verwendung von KI schneller, einfacher und effektiver werden. Und viel besser, besonders im Vergleich zu ihrer Erledigung durch Menschen. Ein kleine Klick von uns und KI zaubert die Lösung von (Haus-) Aufgaben, das Schreiben von uns aufgeschobener Emails und heizt das Haus perfekt. Und wir oft müssen noch nicht einmal Geld dafür bezahlen! Aber was sieht man, wenn man hinter den Vorhang der KI-Magie schaut? Denn wir sind alle alt genug, um zu wissen, dass Dinge nicht einfach magisch passieren. Und dass man geschenkten Gäulen immer als erstes nach den Zähnen schauen muss. Dieser Vortag lüftet den Vorhang der KI-Magie, indem er den Anwendungen auf unterschiedliche Bereiche hin auf den virtuellen Zahn fühlt. Der erste Teil beschäftigt sich mit der Herkunft der KI. Denn sie ist nicht plötzlich geschlüpft, sondern wurde entwickelt. Hinter dieser Entwicklung stehen Theorien, Geld und Vorstellungen davon, was Menschen und Gesellschaften sind. Und, in diesem Fall, wie sie durch Entwicklungen wie KI verändert werden können. Nach dieser Einleitung wird die KI im Hinblick auf drei Bereiche entzaubert: Im ersten Schritt auf ihren Verbrauch der schwindenden Ressourcen des Planeten, auf die mit ihr zusammenhängenden Arbeitsbedingungen und auf die gesellschaftlichen Veränderungen, die sie und ihre Entwickler:innen auslösen. Computerteile wachsen nicht an Sträuchern, in ihnen stecken viele Ressourcen wie Energie, Rohstoffe und Wasser. Und sehr viel menschliche Arbeit, die oft unter grausamen Bedingungen stattfindet. In diesem Bereich des Vortrags wird auch die Endlichkeitsfrage aufgeworfen, da uns neben dem Faktum des Klimawandels auch die Endlichkeit der Ressourcen des Planeten bewusst sein sollte. Zudem sind (fragile) globale Lieferketten und Abhängigkeiten im Zusammenhang mit der Produktion von sogenannten Supercomputern Teil dieses Abschnitts. Der nächste Teil nimmt den Faden der Arbeitsbedingungen im Zusammenhang mit der KI wieder auf. Denn nicht nur in der Produktion der Hardware, sondern auch im Training der Software sind unzählige Menschen involviert und auch hier oft unter brutalen Bedingungen. Und auch hier zeigen sich wieder globale Tendenzen: Der "Norden" verdient, während der "Süden" schuftet. Zudem ist in den angeblichen KI-Anwendungen nicht alles Gold, was glänzt, und so werden in diesem Teil auch Tricksereien aufgedeckt, bei denen die Magie der KI nur fauler Zauber war. Im letzten Teil des Vortrags werden die Auswirkungen der Entwicklungen auf unsere Gesellschaft angerissen, um dieses Thema dann in die Abschlussdiskussion mitzunehmen. Fragen, die erörtert werden, sind die nach den Auswirkungen, wenn eine Technologie, deren Rechenprozesse so undurchsichtig sind, so viel Macht bekommt und nach der, wer über genug (Computer-) Macht verfügt, um Anwendungen zu entwickeln. Wie verändert es unsere Arbeit, unseren sozialen Austausch mit anderen Menschen und unser politisches Engagement, wenn KI-Werkzeuge eingesetzt werden? Wie verändern sich Gesellschaften, wenn "Tech" und die Eigentümer:innen von Tech-Unternehmen so viel Macht bekommen? Je mehr Macht wir Technologien wie KI und ihren Entwickler:innen geben, desto stärker sollten wir uns fragen, ob wir das, was mit diesen Entwicklungen bewirkt werden soll, wollen.

Das Leben der Menschen in China wird systematisch überwacht. Das Internet bietet dazu umfassende Möglichkeiten: Allgegenwärtige Apps, die von der Bezahlung im digitalen Kaufhaus bis zur Freizeitgestaltung alles abdecken, geben Technologiefirmen und Behörden intime Einblicke in die Privatsphäre der Bürgerinnen und Bürger. Das Netz wird automatisiert durchsucht und zehntausende Kontrolleure verstärken den Überwachungsdruck zusätzlich.

Darüber hinaus kontrolliert und zensiert die sogenannte „Große Firewall“ den Kontakt mit dem Internet außerhalb der Volksrepublik. So werden unliebsame Informationen geblockt. Das Ziel ist, unkontrollierte Kommunikation so weit wie nur möglich zu verhindern. Im politischen System Chinas hat Datenschutz keine Tradition und kaum eine Lobby. Die Bürgerinnen und Bürger leben in einem mehr oder minder ausgeprägten Bewusstsein der permanenten Überwachung nahezu jedes Winkels ihres digitalen Lebens.

Unser Panel diskutiert über die Auswirkungen dieser Überwachung, der Datensammlung und Steuerung.

Wie wir die gamifizierten Ablenkungen abschütteln und nachhaltige Bewegungen aufbauen Während die letzten Ressourcen des Planeten leer geschlürft werden, befinden sich viele zwischen Wut, Panik & Verzweiflung. Ein Dilemma ist, dass wir in einer hyper-vernetzten Welt leben in der nicht nur Vorteile, sondern auch Nachteile vernetzt sind. Während manche Probleme durch Technologien lösbar sind, sind technologische Lösungen aber nicht universell einsetzbar. Manches, wie etwa Elektro-Autos, sind nur Lösung für Industrie, nicht für den Planeten oder es sind digitale Beruhigungsnuggis für Individuen.

Dieser Vortrag begegnet der Klimakrise, indem der Zustand des Planeten in Zusammenhang mit der Wirtschaftsordnung, den politischen Systemen und den daraus resultierenden sozialen Problemen stellt. Es wird die Frage nach Macht und Verantwortlichkeiten gestellt und inwiefern Philosophie und Ethik mit Lösungen verbunden sind. Für eine mögliche Antwort wird aus den Erfahrungen internationaler sozialer Bewegungen geschöpft, um einen Blick auf eine mögliche und nachhaltige Zukunft zu werfen. Die Welt, in der wir leben ist sehr vernetzt auf der wirtschaftlichen Ebene, aber keinesfalls so gut auf der gesellschaftlichen. Verbindungen laufen vor allem über Kabel und Containerschifffe, nicht über die Interaktionen zwischen gesellschaftlichen Gruppen. Und ungeachtet allen Redens über Demokratie und Mitbestimmung fließen Macht und Geld immer noch in die Hände sehr weniger. Und diese wenigen lösen unsere Probleme nicht. Die Herausforderungen, vor denen wir stehen, sind gigantisch. Aber das muss nicht gleichbedeutend mit schrecklich sein – es bedeutet erst einmal, dass es nicht langweilig wird. Und es bedeutet auf gar keinen Fall, dass wir nun unseren Humor verlieren sollten! Dieser Vortrag zielt darauf, Wege aus furchtbar erscheinenden Situationen zu zeigen und euch zugleich zum Lachen zu bringen. Um eine gemeinsame Basis für Überlegungen zu haben, startet der Vortrag mit einer kurzen Analyse der Ursprünge unser jetzigen Situation, unter der Einbeziehung ihrer theoretischen und philosophischen Grundlagen. Dieses gemeinsame Wissen wird dazu genutzt, um im zweiten Schritt vier kurze Matches zu betrachten: Theorien sozialer Bewegungen treten gegen Aufstandsbekämpfungstheorien an, Ethik gegen die Kybernetik, Ideen der Entscheidungsfreiheit gegen Gamifizierung und Meinungsfreiheit gegen Überwachung. Die Ergebnisse werden im letzten Teil dazu genutzt, um sie mit Erfahrungen aus sozialen Bewegungen aus unterschiedlichen Teilen der Welt zu verbinden. In dem den Fäden der Macht gefolgt wird, wird die Frage nach Verantwortung gestellt, um Lösungswege herauszuarbeiten. Denn weder Panik noch Verzweiflung werden den Planeten retten. Aber mit einer guten Bewegung können das.

Digitaler Salon: Score me maybe?

Bewertungssysteme entscheiden schon jetzt über Kreditvergabe. In China geht das sogenannte Social Scoring viel weiter. Trotz aller Kritik, gibt es auch Vorteile? Und welche Freundschaften im Netz kannst du dir demnächst noch leisten?

Bewertungssysteme entscheiden schon jetzt über Kreditvergabe und Versicherungsbeiträge. Doch wie funktionieren diese Systeme, die unser Leben erleichtern und erschweren können? Wie transparent sind diese Entscheidungen? Die Schufa steht beispielsweise als privates Unternehmen in Deutschland in der Kritik. In China geht das sogenannte Social Scoring noch viel weiter: flächendeckend sollen dort vorbildliches Handeln und Fehlverhalten registriert werden, um ein übergreifendes Social Credit System zu erstellen. Trotz aller Kritik – gibt es auch Vorteile? Werden wir durch richtiges „Nudging“ zu besseren BürgerInnen? Welche Dienste können wir demnächst noch nutzen, wenn wir uns einem Belohnungssystem entziehen wollen? Und ganz plakativ gefragt: Welche Freundschaften können wir uns auf Instagram und Co. demnächst noch leisten?

Die Moderatorin Katja Weber (radioeins, Deutschlandfunk Nova) diskutiert mit:

Nicolas Kayser-Bril, Datenjournalist und Reporter bei AlgorithmWatch
Katika Kühnreich, Politikwissenschaftlerin und Sinologin
Nils Zurawski, Herausgeber von surveillance-studies.org, Überwachungsforschung Uni Hamburg

Die Einführung in das Thema übernahm Amélie Heldt, Rechtswissenschaftlerin am Leibniz-Institut für Medienforschung | Hans-Bredow-Institut und assoziierte Forscherin am HIIG.

Digitaler Salon – Score me maybe?
30.10.2019 | 19.00 Uhr | HIIG | Franzö

So wie Farnpflanzen ihre Sporen aus der Kapsel mit bis zu 10m/s heraus in die Welt katapultieren, auf dass sie dort auf fruchtbaren Boden fallen, werden unsere 8 Expert*innen ihr Nerd- und Fach-Wissen weitergeben – spektakulär, wirkungsvoll und unterhaltsam. So bunt wie die besten Slams, so dicht wie die besten Lightning Talks. 8 Mikrokosmen, 8 Expert*innen, jeweils 8 Minuten:

Antina Sander: 100% Erneuerbare – Leitfragen zum Netz

Arne Semsrott: Von Transparenz und anderen Hürden der Demokratie

Benjamin Kees: Automatisierte Videoüberwachung. Von Computern, die auf Menschen starren

Katika Kühnreich: NO FREEDOMS LEFT, GAME OVER? – Das Spiel mit den Social-Credit-Scores

Leon Kaiser: Blockchain isst Vertrauen

Letty: The revolution will be visualized

Silke Helfrich: Alle Hacker auf den Acker – nur gemeinsam sind wir stark!

Constanze Kurz: Facebook zerschlagen, aber wie?

Durchs Sporangium katapultieren euch Juliane & Rainer

Menschen und Unternehmen bekommen noch mehr Macht, Ihr Leben zu zerstören", sagte Katika Kühnreich auf dem Jahreskongress des Chaos Computer Clubs in Leipzig. Die Sinologin erforscht, wie China mit Hilfe von sozialen Punktesystemen spielerisch Anreize schafft, sich regierungstreu zu verhalten. Die Macher orientieren sich an den Anreizsystemen in Computerspielen. Und da im Alltag kaum noch Bargeld verwendet wird, fast alle Geschäfte mit Smartphone-Apps getätigt werden, werden breite Datenspuren zur Auswertung hinterlassen. Schon bevor die Systeme ab 2020 verpflichtend sind, haben geringe Punktwerte negative Folgen. So können Bürger, die Unterhaltszahlungen für ihre Kinder schuldig geblieben sind, keine Fahrten in Hochgeschwindigkeitszügen buchen. Für Katika Kühnreich ist das, was in China passiert, keine exotische Schnapsidee einer Diktatur in Fernost, sondern Ausdruck eines weltweiten Trends. Katika Kühnreich hat Politikwissenschaft und Sinologie studiert und lebte für längere Zeit in China.

In den letzten Monaten kam die Berichterstattung über die Einführung von Digitalen Gesellschaftlichen Bewertungssystemen (Social Credit Systems) in China in Fahrt, leider auch mit mancher Fehlberichterstattung.

Die Politikwissenschaftlerin und Sinologin Katika Kühnreich gibt in ihrem Vortrag eine Übersicht über existierende Systeme und ihre Funktionen. Doch sie bleibt nicht in China stehen, sondern wirft die Frage auf, wie stark die Tendenz zu Überwachung und autoritären Steuerung von Gesellschaften auch in westlichen Ländern existiert. Bei der Erörterung von sozialen und politischen Auswirkungen wird ein Schwerpunkt auf die Rolle der Kybernetik gesetzt.