Anwendungsbeispiele Vertrauenswürdige KI

Wie lässt sich KI-Technologie kontrolliert und sicher einsetzen? Hier finden Sie Anwendungsbeispiele rund um vertrauenswürdige KI-Lösungen.

Die Nachfrage der Industrie nach KI-Lösungen ist groß. Aber nur, wenn die Anwendungen und Systeme im höchsten Maße verlässlich sind, können sie auch in der Serienproduktion und oder der Qualitätskontrolle eingesetzt werden. Die neuen Möglichkeiten der »Generativen KI« bringen also auch neue Herausforderungen mit sich: Kann ich mich als Anwender*in auf die Auskünfte eines Chatbots verlassen, der mir die Bedienung einer Maschine erklärt? Wie erkenne ich als Entwickler*in oder als Prüfer*in systematische Schwachstellen eines KI-Modells? Wie kann ich garantieren, dass meine Daten sicher aufgehoben sind?

Wir von Fraunhofer haben deshalb Lösungen und Tools für Unternehmen entwickelt, die leistungsstark und gleichzeitig vertrauenswürdig und zuverlässig sind, sowie den europäischen Datenschutzstandards entsprechen.

Sie haben Interesse an einer Zusammenarbeit? Kontaktieren Sie uns!

Die Nachfrage nach KI-Lösungen in der Industrie ist groß – dabei müssen sie leistungsfähig, vertrauenswürdig und sicher sein, um beispielsweise in der Serienproduktion oder Qualitätskontrolle eingesetzt zu werden.

Wie können Unternehmen das sicherstellen? Unser KI-Prüfkatalog und unsere KI-Prüftools sind hierfür zwei zentrale Instrumente.

Vertrauenswürdige KI dank KI-Prüfkatalog: Ein Leitfaden für Unternehmen

Das Fraunhofer IAIS hat einen umfangreichen KI-Prüfkatalog entwickelt, der Unternehmen dabei unterstützt, Anforderungen an die Vertrauenswürdigkeit ihrer KI-Anwendungen zu operationalisieren. Dieser Leitfaden, der bereits in zahlreichen Pilotprojekten erfolgreich getestet wurde, steht Unternehmen kostenfrei zur Verfügung. Unser Ziel ist es, Standards für KI-Prüfungen zu etablieren und den Weg für eine unabhängige KI-Zertifizierung zu ebnen.

Prüftools für vertrauenswürdige KI: Aus Sicht von Unternehmen, Entwickler*innen und Prüfer*innen

Das Fraunhofer IAIS unterstützt Unternehmen im Maschinen- und Anlagenbau dabei, den Einsatz von KI sicher und verlässlich zu gestalten. Unsere KI-Prüftools unterstützen bei der systematischen Qualitätssicherung von KI-Systemen. Sie ermöglichen Unternehmen und Entwickler*innen, Schwachstellen zu identifizieren und zu verbessern. So zeigt zum Beispiel das systematische Testen, ob KI-Modelle Fehler oder Schwächen gelernt haben. Das Auftreten systematischer Schwächen weist auf Verzerrungen hin, welche die Modelle aus den Trainingsdaten gelernt haben – etwa, dass es nur in bestimmten Szenarien eine bestimmte Art von Qualitätsmängeln erkennt. Für den Menschen ist es unmöglich, solche systematischen Fehler ohne technische Unterstützung zu entdecken. Unsere Prüftools bieten hierfür geeignete Werkzeuge und können Entwickler*innen und Prüfer*innen unterstützen. Somit können sie sowohl in Unternehmen bei der Entwicklung von KI-Systemen als auch in Prüfstellen bei der Qualitätsbewertung eingesetzt werden

Ihr Partner für sichere und vertrauenswürdige KI-Technologien

Im KI.NRW-Flagship-Projekt »Zertifizierte KI« arbeitet das Fraunhofer-Institut für Intelligente Analyse- und Informationssysteme IAIS gemeinsam mit renommierten Partnern wie dem Bundesamt für Sicherheit in der Informationstechnik (BSI) und dem Deutschen Institut für Normung (DIN) daran, die Zukunft der Künstlichen Intelligenz KI sicher und vertrauenswürdig zu gestalten.

Weiterführende Links:

• Website »ZERTIFIZIERTE KI«
• KI-Prüfkatalog

Der Umgang mit Unsicherheit spielt in KI-basierten Systemen eine entscheidende Rolle, insbesondere in sicherheitskritischen Bereichen wie der Medizin und dem autonomen Fahren. Unser Ansatz, gekoppelt mit spezieller Werkzeugunterstützung, ermöglicht die Erstellung von Uncertainty Wrappern, die auf spezifische KI-Anwendungen zugeschnitten sind. Diese Wrapper verwenden dieselben Eingaben wie die KI-Komponente sowie relevante Kontextdaten, um jedem Ergebnis einen Unsicherheitswert zuzuweisen. Dadurch wird ein fundiertes Unsicherheitsmanagement in KI-Systemen realisiert.

Ein solches Unsicherheitsmanagement ermöglicht ein genaueres, zuverlässigeres und auch sichereres Verhalten von KI-basierten Systemen, was wiederum die Akzeptanz von und das Vertrauen in KI-Systeme erhöht.

Verlässliche Vorhersagen in der Medizin

In der Medizin kann ein effektives Uncertainty Management dazu beitragen, dass sich KI-Modelle besser an verschiedene Patientengruppen und medizinische Bedingungen anpassen lassen. Zum Beispiel können sie auf Basis von MRT-Bildern Diagnosen stellen oder vorhersagen, wie sich bestimmte Behandlungen auswirken könnten. Allerdings sind solche Vorhersagen immer mit Unsicherheiten verbunden, die von Faktoren wie der Bildqualität oder der Komplexität des Modells beeinflusst werden. Mit Hilfe des Uncertainty Wrappers lassen sich die Unsicherheiten von Diagnosen quantifizieren und die Entscheidungsfindung unterstützen.

Mit Unsicherheiten umgehen beim autonomen Fahren

Im Bereich des autonomen Fahrens hilft der Uncertainty Wrapper zum Beispiel bei der Identifizierung und Bewertung von Unsicherheiten im Zusammenhang mit der Hinderniserkennung und -überwachung. Beispielsweise kann die Sichtbarkeit von Straßenschildern bei ungünstigen Wetterbedingungen sowohl für menschliche Fahrer als auch für KI-Systeme eine Herausforderung darstellen. Hier spielt der Uncertainty Wrapper eine entscheidende Rolle, indem er die mit den KI-basierten Klassifizierungen verbundene Unsicherheit quantifiziert. Dies wiederum ermöglicht eine informierte Entscheidungsfindung bezüglich der KI-induzierten Unsicherheiten und trägt so zur Sicherheit und Vertrauenswürdigkeit bei.

Ihr Partner für sichere und verlässliche KI

Die Vorteile von KI-gestützten Systemen lassen sich nur dann voll erschließen, wenn diese Systeme auch verlässlich sind. Dies gilt insbesondere für kritische Bereiche, in denen die Sicherheit gewährleistet und vielleicht sogar zertifiziert werden muss. Das Fraunhofer IESE verfügt über mehr als zwei Jahrzehnte Erfahrung im Safety- und Security-Engineering und im Bereich Data Science, was zu einer Spezialisierung auf sichere und verlässliche KI-Lösungen geführt hat. Wir bieten ein umfassendes Angebot an Dienstleistungen und Spitzentechnologien über den gesamten Entwicklungszyklus hinweg, um unseren Partnern die Sicherheit und Verlässlichkeit zu gewährleisten, die sie benötigen.

Weiterführende Links:

• Blogeintrag »KI-Vorhersagen auf der Spur – oder: Wie ein gutes Uncertainty Management den Umgang mit KI-Modellen erleichtert«

Die Rolle von Künstlicher Intelligenz (KI) wird in nahezu allen Branchen und Prozessen immer bedeutender. Besonders Modelle der Generativen KI (GenAI) werden zukünftig eine Schlüsselrolle spielen. Nicht nur Sicherheit und Vertrauenswürdigkeit sind dabei entscheidend. Auch Trainingsdaten und Algorithmen werden zu wichtigen Wettbewerbsfaktoren. So sind zum Beispiel in Modellen amerikanischer Anbieter europäische Sprachen unter den Trainingsdaten deutlich unterrepräsentiert.

Open Source KI-Modell

Das vom Bundesministerium für Wirtschaft und Klimaschutz (BMWK) geförderte Konsortialprojekt OpenGPT-X entwickelt unter der Leitung der Fraunhofer-Institute für Intelligente Analyse- und Informationssysteme IAIS und für Integrierte Schaltungen IIS große KI-Sprachmodelle. Im Gegensatz zu den amerikanischen Marktführern berücksichtigt OpenGPT-X eine Vielzahl von europäischen Sprachen, darunter Deutsch, Spanisch und Englisch. OpenGPT-X soll mit offenem Quellcode europäischen Unternehmen zugänglich gemacht werden. Damit trägt es dazu bei, die digitale Souveränität Deutschlands und Europas zu stärken.

Datenhoheit und Datenschutz

Wollen Unternehmen generative KI implementieren, stehen sie vor der Wahl zwischen cloudbasierten und lokal betriebenen Infrastrukturen. Besonders in sensiblen Bereichen wie dem Gesundheitswesen oder der öffentlichen Verwaltung ist es entscheidend, die Datenhoheit zu wahren und Transparenz über den Umgang mit den Daten zu gewährleisten. Durch den Open-Source-Ansatz von OpenGPT-X können Unternehmen die Algorithmen zum einen an ihre spezifischen Bedürfnisse anpassen. Zum anderen behalten sie stets die Kontrolle über ihre Daten.

Anwendungsbeispiele aus dem OpenGPT-X-Projekt

Zur Anwendung kann das KI-Modell zum Beispiel bei der automatisierten Schadenbearbeitung in der Kfz-Versicherung kommen: Durch KI-gestützte Dokumentenanalyse wird die Schadenabwicklung effizienter. Ein digitaler Assistent unterstützt Kunden bei der schnellen und fairen Schadenabwicklung. Auch in der Automobilbranche ermöglicht ein Conversational AI-System es Fahrzeugnutzern, über eine Schnittstelle Fragen zu stellen und Antworten zu erhalten. Dabei werden Large Language Models (LLMs) verwendet, um die Eingaben zu steuern und zu kontrollieren sowie domänenspezifische Informationen bereitzustellen.

Ihr Partner für ein vertrauenswürdiges europäisches KI-Sprachmodell

Als zwei der führenden Forschungseinrichtungen in Europa in den Bereichen Künstliche Intelligenz & Big Data sowie Audio- und Sprachsignalverarbeitung bringen die Fraunhofer-Institute für Intelligente Analyse- und Informationssysteme IAIS und für Integrierte Schaltungen IIS ihre Kompetenzen in OpenGPT-X ein.

Weiterführende Links:

• Website OpenGPT-X

In einer Zeit, in der Fachpersonal knapp ist und Betriebe vermehrt auf unerfahrenes Personal angewiesen sind, steigt die Wahrscheinlichkeit von Bedienfehlern rapide an. Dies führt nicht nur zu einem erhöhten Ausschuss an fehlerhaft produzierten Produkten, sondern auch zu einem unnötigen Anstieg des Material- und Energieverbrauchs. Doch es gibt eine Lösung: Künstliche Intelligenz (KI) kann diese Bedienfehler und Fehler durch Verschleißprozesse frühzeitig erkennen und somit reduzieren – mit Hilfe von Energiedaten.

Föderiertes Lernen

Die KI-Lösung »DigiWeld«, entwickelt vom Fraunhofer-Institut für Produktionstechnik und Automatisierung IPA und der Universität Stuttgart, setzt dabei auf den innovativen Ansatz des föderierten Lernens. Dieser ermöglicht es, Daten von verschiedenen Anwendern aus der Industrie zu nutzen, ohne dass diese zentral gespeichert werden müssen. Erreicht wird dies durch das dezentrale Training einzelner KI-Modelle und die gemeinsame Nutzung der Modellparameter anstelle der realen Daten. So bleiben sensible Produktionsdaten sicher in den Händen der Anwender*innen, während die KI effektiv trainiert wird.

Allein durch die Analyse von Energiedaten, die in der Regel ohne zusätzliche Sensoren erfasst werden, erkennt die KI-Lösung Anomalien in industriellen Abläufen. Wie das funktioniert, zeigen die Expert*innen vom Fraunhofer IPA anhand eines spezifischen Prozesses in der Produktion: dem Lichtbogenschweißen. Nur mit Hilfe von wenigen Daten zu Stromverbrauch, Spannung und Drahtvorschub können dabei Bedienfehler frühzeitig erkannt und vermieden werden. Zudem evaluiert das Forschungsteam kontinuierlich, wie eine ausgewogene Balance zwischen Privatsphäre und Erkennungsrate durch die Parameter des föderierten Lernens erreicht werden kann.

Ihr Partner für KI in der Produktion

Das Fraunhofer IPA hat mit »DigiWeld« eine Lösung entwickelt, die es Maschinen- und Anlagenbauern ermöglicht, die Vorteile Künstlicher Intelligenz zu nutzen, ohne sensible Produktionsdaten ihrer Kunden erfassen zu müssen.

Weiterführende Links:

• Website Fraunhofer IPA »Energiedatenanalyse«
• Website Fraunhofer IPA »Fehler erkennen durch Energiedaten«
• Presseinfo Fraunhofer IPA »Fehler beim Schweißen automatisch erkennen«

Die Verbreitung von Desinformationen und Fake News in Bezug auf Ereignisse wie die Corona-Pandemie oder die Kriege in Nahost und der Ukraine stellt eine ernsthafte Herausforderung dar. Ungeprüft weitergeleitet und geteilt, können sich falsche Nachrichten auf Social-Media-Plattformen rasend schnell verbreiten. Die Folgen sind Verunsicherung und Vertrauensverlust in der Gesellschaft.

Forschende am Nationalen Forschungszentrum für angewandte Cybersicherheit | Fraunhofer SIT sind im Projekt DisCo (Disinformation and Corona) dieser Herausforderung aus der Perspektive der »Textforensik« und der »Multimedia-Forensik« begegnet. Sie haben zunächst umfassend die aktuelle Fake-News-Landschaft in Texten und Bildern analysiert. Dabei untersuchten sie vor allem typische Methoden und Techniken, mit denen Falschnachrichten im Kontext aktueller Krisen produziert wurden.

Ihr Partner im Kampf gegen Desinformation

Ein zentraler Fokus lag auf der Entwicklung eines Demonstrators, der aufzeigt, wie KI-Techniken beispielsweise Journalist*innen helfen können, prüfwürdige Textstellen automatisch zu erkennen und im Text hervorzuheben. Hierzu wurden maschinelle Lernmethoden erforscht, die vorhersagen, welche Sätze für die Faktenprüfung priorisiert werden sollten. Es wurden aber auch Werkzeuge wie die inversen Bildersuchen verschiedener Suchmaschinen auf ihre Wirksamkeit und Leistungsfähigkeit hin getestet. Diese ermöglichen es, Bilder zu identifizieren, die aus ihrem ursprünglichen Kontext gerissen wurden, was ein häufiges Merkmal von Fake News ist.

Menschliche Komponente im Kampf gegen Fake News

Trotz modernster technologischer Lösungen ist immer noch das menschliche Urteilsvermögen erforderlich, um die Wahrheit von Fake News zu unterscheiden. Die Forschenden arbeiteten im DisCo-Projekt daher eng mit Factchecking-Seiten zusammen, um sicherzustellen, dass die Ergebnisse der technologischen Analyse von qualifizierten Fachleuten bewertet wurden. Letztendlich liegt es immer noch in der Verantwortung der Journalist*innen und Faktenprüfer, zu entscheiden, was wahr und was falsch ist.

Weiterführende Links:

• Podcast »Deepfakes«
• »Fake News im Netz automatisch erkennen«
• Projekt DisCO auf der Website Forschungszentrum ATHENE

Je bedeutender die Rolle von Künstlicher Intelligenz (KI) in unserer Welt wird, desto dringender der Bedarf, menschzentrierte und ethische Fragestellungen bei der Entwicklung und dem Einsatz von KI-Systemen zu berücksichtigen. Unternehmen müssen heute nicht nur den wirtschaftlichen Nutzen von KI erkennen, sondern auch sicherstellen, dass Lösungen entwickelt und genutzt werden, die den Menschen mit seinen Anforderungen und Bedürfnissen in den Mittelpunkt stellen. Der menschzentrierten Betrachtung von KI widmet sich die Kompetenzsäule »Human AI« des ADA Lovelace Center by Fraunhofer IIS.

Akzeptanz von KI in der Gesundheitsversorgung

Während andere ihren Fokus vor allem auf wirtschaftliche oder technologische Möglichkeiten von KI legen, konzentriert sich diese Säule des Projekts (ADA Lovelace Center) auf menschzentrierte KI-Forschung. Unter dem Schlagwort «Human AI» beleuchten die Forschenden die individuelle und gesellschaftliche Rolle von KI sowie die ethischen Grundsätze, die bei ihrer Entwicklung und Nutzung gelten sollten. Durch einen sozial- und verhaltenswissenschaftlichen Zugang soll insbesondere erklärt werden, warum Menschen KI akzeptieren (oder auch nicht) und welche Folgen die Nutzung für den Einzelnen mit sich bringt.

Vor allem im Gesundheitsbereich hat KI ein riesiges Potenzial: von Vitalwertanalysen in der Prävention, über Bilderkennung und Big Data-Analysen in Diagnostik und Therapie bis hin zum Pflegeroboter. Doch zugleich gilt es in dieser Branche wie in kaum einer anderen, die Menschen mit einzubeziehen, ihre Bedenken zu adressieren und sensibel mit ihren Daten umzugehen.

Nutzerzentrierte Handlungsempfehlungen

Die Forschung der Säule «Human AI» findet beispielsweise im Projekt «KI-BA: Künstliche Intelligenz in der Versorgung – Bedingungen der Akzeptanz von Versicherten, Ärzten und Ärztinnen« Anwendung, das vom Innovationsausschuss beim Gemeinsamen Bundesausschuss gefördert wird. Im Rahmen des Projekts werden individuelle und kontextuelle Faktoren identifiziert, die die Akzeptanz und Nutzung von KI-Anwendungen in verschiedenen Versorgungsbereichen beeinflussen. Das können beispielsweise Bildung, Einkommen und Geschlecht, aber auch Technikaffinität, Persönlichkeit, die Versorgungs- und Wohnsituation sowie das persönliche Netzwerk sein.

Ziel der Akzeptanzstudie mit 500 Ärzt*innen und 1.500 Versicherten ist es, deren Akzeptanzfaktoren zu verstehen und darauf basierend praktische und nutzerzentrierte Handlungsempfehlungen für den Einsatz von KI in der Versorgung abzuleiten. Diese sollen auch Patient*innen, Angehörigen, Ärzt*innen, Kliniken, Krankenkassen, Versicherungen und Behörden zur Verfügung stehen. Durch die Zusammenarbeit mit verschiedenen Stakeholdern sollen konkrete Handlungsempfehlungen entstehen, um den identifizierten Akzeptanzrisiken zu begegnen und eine ethische und menschenzentrierte Nutzung von KI in der Gesundheitsversorgung zu gewährleisten.

Ihr Partner für menschzentrierte KI

Das ADA Lovelace Center for Analytics, Data, Applications des Fraunhofer-Instituts für Integrierte Schaltungen IIS wird mit der Forschung im Bereich »Human AI« die Zukunft der KI in Richtung einer menschzentrierten Gestaltung vorantreiben. Ziel ist es, KI nicht nur effektiv, sondern auch verantwortungs- und vertrauensvoll einzusetzen.

Weiterführende Links:

• KI-BA: Künstliche Intelligenz (KI) in der Versorgung
• www.ada-lovelace-center.de