Ziele, Methoden und Metriken für automatisierte/semi-automatisierte Laufzeitüberwachung von KI-Systemen gegenüber nicht-adversen Leistungsdegradationen
Kurzreferat
Dieses Thema liegt derzeit als Anfrage zur Erarbeitung einer DIN SPEC nach dem PAS-Verfahren vor. DIN SPEC werden durch DIN-SPEC-Konsortien (temporäre Gremien) erarbeitet. Im anliegenden Geschäftsplan finden Sie detaillierte Informationen zu dem geplanten Projekt als auch konkrete Fristen für die Kommentierung des Geschäftsplans (vierwöchige Kommentierungsphase) und zur Anmeldung zur Kick-off-Sitzung. Die Erarbeitung und Verabschiedung des Dokuments wird durch die im Geschäftsplan genannten Verfasser erfolgen. Dieses Dokument definiert Methoden und Metriken, die es ermöglichen, Leistungseinbußen und Gesundheitsbeeinträchtigungen von KI-basierte Systeme zu messen sowie deren Betriebsanomalien zu erkennen. Es enthält Leitfäden zu folgenden Themen: - Anwendbarkeit der Methode oder Metrik für eine bestimmte KI-Komponente eines Systems. - Eignung der Methode oder Metrik in Bezug auf eine erwartete Art der Degradation. - Beispielhafte Implementierungen der Methoden und Metriken für einige ausgewählte Anwendungsfälle. - Sachliche Hintergrundinformationen über statistische Maßnahmen und ihre Merkmale Überwachung im Zusammenhang mit Cybersicherheit ist nicht im Umfang dieser Spezifikation enthalten und wird auf zukünftige Arbeiten verschoben. Dieses Dokument richtet sich an "KI-Entwickler", "KI-Tester" und "KI-Prüfer".
Beginn
2024-10-15
Geplante Dokumentnummer
DIN SPEC 91527
Projektnummer
62022049