Der Unfall einer Frau fälschlicherweise als Dieb identifiziert Vom Gesichtserkennungssystem in einem Supermarkt in Neuseeland bin ich nicht überrascht. Wenn die Kette Lebensmittel Nordinsel Während das Unternehmen seine Absicht bekannt gab, diese Technologie zur Bekämpfung der Kriminalität in Geschäften zu testen, haben Technologie- und Datenschutzexperten viele Befürchtungen geäußert. Insbesondere wurde auf die Gefahr der Diskriminierung von Maori-Frauen und farbigen Frauen hingewiesen. Sehr berechtigte Ängste und notwendiges Nachdenken.
Der Nutzungskontext von Supermärkten: jenseits von Algorithmen
Automatisierte Gesichtserkennung wird oft abstrakt diskutiert, als reiner algorithmischer Mustervergleich, mit der Betonung auf Korrektheit und Genauigkeit: Ich erinnere mich noch an die Betonung von „Grab-and-Take-Away“-Läden ohne Kassen. Dies sind zu Recht wichtige Prioritäten für Systeme, die biometrische und Sicherheitsdaten verwalten. Aber bei einem solch entscheidenden Fokus auf die Ergebnisse automatisierter Entscheidungen übersieht man leicht Bedenken hinsichtlich der Art und Weise, wie diese Entscheidungen umgesetzt werden.
Designer verwenden den Begriff „Nutzungskontext“, um die täglichen Arbeitsbedingungen, Aktivitäten und Ziele eines Produkts zu beschreiben. Bei der Gesichtserkennungstechnologie in Supermärkten geht der Einsatzkontext weit über traditionelle Designaspekte wie Ergonomie oder Benutzerfreundlichkeit hinaus. Es muss berücksichtigt werden, wie automatisierte Benachrichtigungen über Verstöße Reaktionen im Geschäft auslösen, welche Protokolle zur Verwaltung dieser Reaktionen gelten und was passiert, wenn etwas schief geht. Dabei handelt es sich um mehr als nur Technologie- oder Datenprobleme. Es sind menschliche, soziale Probleme.
Balancengenauigkeit und Auswirkung von Fehlern
Investitionen in die Verbesserung der Vorhersagegenauigkeit scheinen eine offensichtliche Priorität für Gesichtserkennungssysteme zu sein. Dies muss jedoch in einem breiteren Nutzungskontext gesehen werden Der Schaden, der durch eine kleine Anzahl falscher Vorhersagen verursacht wird, überwiegt die geringfügigen Leistungsverbesserungen an anderer Stelle.
Der Fehler des neuseeländischen Supermarkts ist nur eine kleine Perle in einer Reihe, die dieser Technologie den Garaus machen kann. Und die Antwort des Supermarktunternehmens, es handele sich um einen „echten Fall menschlichen Versagens“, geht nicht auf die tieferen Probleme ein, die mit einem solchen Einsatz von KI und automatisierten Systemen verbunden sind. Suchvorschläge dass Menschliche Entscheidungsträger können Vorurteile von KI-Entscheidungen erben. Kombinieren Sie in Situationen mit hohem Stress und Gewaltrisiko die automatische Gesichtserkennung mit spontanem menschlichem Urteilsvermögen es ist potenziell gefährlich.
Anstatt einzelne Mitarbeiter oder Technologiekomponenten zu isolieren und als einzelne Fehlerquellen verantwortlich zu machen, muss mehr Wert auf Fehlertoleranz im gesamten System gelegt werden. KI-Fehler und menschliche Fehler lassen sich nicht vollständig vermeiden. KI-Sicherheitsprotokolle mit „Menschen auf dem Laufenden“ erfordern sorgfältigere Schutzmaßnahmen, die die Rechte der Kunden respektieren und vor Stereotypen schützen.
Supermarkt, hin zu einer Überwachungskultur?
Der australische Fall ist symbolträchtig. In Neuseeland haben sie auf Einzelhandelskriminalität mit offener technischer Überwachung reagiert: Körperkameras, die den Mitarbeitern zur Verfügung gestellt werden (die jetzt auch von der Woolworths-Kette übernommen werden), digitale Verfolgung der Kundenbewegungen durch Geschäfte, automatische Einkaufswagenschlösser und Ausgangstore, um zu verhindern, dass Menschen das Geschäft ohne Bezahlung verlassen .
Supermärkte könnten der Vorreiter eines technologischen Wandels im Einkaufserlebnis sein. Eine schreckliche Veränderung, die zu einer Überwachungskultur führt, in der jeder Kunde wie ein potenzieller Dieb überwacht wird. Es erinnert mich daran, wie sich die globale Flughafensicherheit seit dem 11. September verändert hat.
Eine auf den Menschen ausgerichtete Designherausforderung
Der neuseeländische Datenschutzbeauftragte wird sich bald zum Gesichtserkennungsversuch von Foodstuffs äußern. Und diese Aussage, glauben Sie mir, ich paraphrasiere Lorenz, ist der klassische Flügelschlag eines Schmetterlings in einem Teil der Welt, der auf der anderen Seite der Welt einen Tornado auslösen kann.
Diebstahl und Gewalt sind ein dringendes Problem, mit dem sich Supermärkte wie andere Unternehmen auseinandersetzen müssen. Doch nun müssen sie beweisen, dass digitale Überwachungssysteme eine verantwortungsvollere, ethischere und effektivere Lösung sind als mögliche alternative Ansätze. Und das bedeutet, zu erkennen, dass Technologie ein menschenzentriertes Design erfordert. Um Missbrauch zu vermeiden, um Vorurteile zu vermeiden. Heilige Götter, um Schaden zu vermeiden.
Wenn diese Zeiten jetzt nicht genutzt werden, um regulatorische Rahmenbedingungen und Standards zu steuern, die öffentliche Debatte über den akzeptablen Einsatz von KI zu informieren und die Entwicklung sichererer automatisierter Systeme zu unterstützen, wann dann? Der Fall Neuseeland ist ein Weckruf für alle, die KI-Systeme in heiklen Kontexten wie dem Einzelhandel entwerfen und implementieren. Nur wenn wir den menschlichen Faktor mit all seinen Komplexitäten und Nuancen in den Mittelpunkt stellen, können wir Technologien entwickeln, die unsere Gesellschaft wirklich verbessern, ohne neue Formen der Diskriminierung und Überwachung zu schaffen.
