Die Leistungsbewertung von Large Language Models (LLM) ist in vielen Disziplinen zu einem zentralen Forschungsfeld geworden. In der Medizin existiert bereits eine Vielzahl spezialisierter Benchmarks, die unterschiedliche Aufgabentypen abdecken – von klassischen Prüfungsfragen bis hin zu kliniknahen Szenarien. Diese Entwicklungen zeigen, wie entscheidend standardisierte Testverfahren für die Bewertung von LLM in sicherheitskritischen Bereichen sind.
Für die Pflegewissenschaft hingegen existieren bislang keine etablierten Benchmarks. Insbesondere im deutschsprachigen Raum fehlen sowohl Datensätze als auch offene Plattformen, die eine systematische und reproduzierbare Evaluierung ermöglichen würden. Zwar liegen erste internationale Ansätze wie MedNurse-QA (Dicheva et al., 2025) und NurValues (Yao et al., 2025) vor, diese stammen jedoch aus dem US-amerikanischen und asiatischen Kontext und sind nicht auf die spezifischen Anforderungen der deutschen Pflege übertragbar.
Damit zeigt sich eine grundlegende Forschungslücke: Ohne sprach- und kontextadäquate Benchmarks bleibt unklar, wie zuverlässig LLM pflegerisches Wissen, Entscheidungen und Werteorientierungen abbilden können. Der hier vorgestellte Proof of Concept (PoC) adressiert diese Lücke, indem er eine erste methodische Grundlage für ein pflegespezifisches Benchmarking-Framework in Deutschland schafft.
Die Entwicklung und Bewertung von Large Language Models (LLM) erfordert spezifische Verfahren, um Leistungsfähigkeit, Grenzen und Risiken systematisch zu erfassen. In der Informatik und den Sprachwissenschaften haben sich dafür in den letzten Jahren zahlreiche Benchmarks etabliert. Beispiele wie MMLU (Massive Multitask Language Understanding) (Hendrycks et al., 2020) oder BIG-bench (Srivastava et al., 2023) prüfen Modelle über eine Vielzahl von Wissensdomänen hinweg und erlauben standardisierte Leistungsvergleiche. Solche Benchmarks sind methodisch bedeutsam, da sie Aufgaben reproduzierbar operationalisieren und so eine Vergleichbarkeit von Modellen ermöglichen.
In der Medizin wurde dieses Prinzip konsequent aufgegriffen und an domänenspezifische Anforderungen angepasst. Klassische Datensätze wie MedQA (Jin et al., 2020), PubMedQA (Jin et al., 2019) oder MedMCQA (Pal et al., 2022) bilden Fachwissen in Prüfungsformaten ab. Mit MultiMedQA (Singhal et al., 2023) entstand eine integrierte Suite, die verschiedene Aufgaben zusammenführt und unter anderem für die Evaluation von Med-PaLM genutzt wurde. Neuere Ansätze wie ClinicalBench (Chen et al., 2024) oder EHRNoteQA (Kweon et al., 2024) gehen über Faktenwissen hinaus und orientieren sich stärker an klinischen Entscheidungssituationen sowie patientenbezogenen Daten. Damit entsteht in der Medizin ein umfassendes Ökosystem, das Wissensbestände, klinische Prozesse und zunehmend auch ethische Aspekte berücksichtigt.
Für die Pflegewissenschaft existieren bislang nur erste internationale Pilotansätze. Mit MedNurse-QA (Dicheva et al., 2025) wurde ein großer, frei zugänglicher Datensatz mit mehr als 21.000 Frage-Antwort-Paaren aus US-amerikanischen Lehrbüchern geschaffen. NurValues (Yao et al., 2025) wiederum rückt pflegeethische Dimensionen wie Altruismus, Würde, Integrität, Gerechtigkeit und Professionalität in den Mittelpunkt. Beide Initiativen markieren wichtige Fortschritte, beruhen jedoch auf englisch- oder chinesischsprachigen Quellen und lassen sich nicht ohne Weiteres auf die deutsche Pflegepraxis übertragen.
Für den Proof of Concept wurde ein pflegespezifisches Benchmarking-Framework entwickelt, das zwei grundlegende Aufgabenformate abbildet: Multiple Choice (MC) und Natural Language Inference (NLI). Beide Formate sind in der Leistungsbewertung von LLM etabliert und ermöglichen eine standardisierte Analyse sprachlicher und semantischer Kompetenz im pflegerischen Kontext.
Im Multiple-Choice-Format werden Fachfragen aus pflegewissenschaftlichen Lehrtexten extrahiert und als strukturierte JSON-Einträge abgelegt. Dieses Format erlaubt eine automatisierte Überprüfung der Antwortauswahl durch LLM.
{
"id": "MC_001",
"question": "Welche Aussage beschreibt das Prinzip der aktivierenden Pflege am besten?",
"options": {
"A": "Die Pflegeperson übernimmt alle Aufgaben für die betreute Person.",
"B": "Die betreute Person wird in die Pflegetätigkeiten aktiv einbezogen.",
"C": "Die Pflege erfolgt ausschließlich auf ärztliche Anweisung.",
"D": "Die Pflege dient in erster Linie der medizinischen Behandlung."
},
"correct_answer": "B",
"explanation": "Aktivierende Pflege bedeutet, Ressourcen der betreuten Person zu fördern und sie aktiv einzubeziehen."
}
Das NLI-Format (Natural Language Inference) dient der semantischen Bewertung von Schlussfolgerungen. Hier wird überprüft, ob ein Modell aus einer pflegerischen Aussage eine logische Beziehung zu einer Hypothese korrekt erkennen kann.
{
"id": "NLI_001",
"premise": "Die Pflegefachkraft misst regelmäßig die Vitalzeichen des Patienten.",
"hypothesis": "Die Pflegefachkraft überwacht den Gesundheitszustand des Patienten.",
"label": "entailment"
}
Durch die Kombination beider Formate – MC und NLI – entsteht ein valides Framework, das sowohl faktisches Wissen als auch kontextuelle Schlussfolgerungsfähigkeit abbilden kann. Damit bildet die Methode die Grundlage für die spätere Entwicklung eines vollwertigen Pflege-Benchmarks, der Sprachmodelle domänenspezifisch evaluierbar macht.
Die initiale Testreihe erfolgte mit drei Large Language Models unterschiedlicher Architektur und Trainingsgröße. Ziel war es, die Leistungsfähigkeit der Modelle im Hinblick auf pflegespezifische Wissensabfragen und Schlussfolgerungsaufgaben zu bewerten. Dabei kamen die zuvor beschriebenen Aufgabenformate Multiple Choice (MC) und Natural Language Inference (NLI) zum Einsatz.
In den Multiple-Choice-Aufgaben zeigte sich, dass Modelle mit größerem Parameterumfang tendenziell höhere Genauigkeiten erzielen, jedoch teils Schwierigkeiten mit kontextabhängigen oder werteorientierten Fragen hatten. Besonders Aufgaben, die ethische Aspekte oder interprofessionelle Kommunikation betrafen, führten zu heterogenen Ergebnissen.
In der NLI-Komponente, die das semantische Verständnis und die logische Schlussfolgerungsfähigkeit der Modelle überprüft, erreichten die getesteten Systeme deutlich variablere Resultate. Besonders bei impliziten Relationen – etwa zwischen Pflegetätigkeit und Pflegeziel – traten Fehlklassifikationen auf. Hier zeigte sich der Einfluss sprachlicher Feinheiten und kultureller Kontextabhängigkeit deutlich.
Abbildung 2: Ergebnisdarstellung der Natural Language Inference (NLI)-Bewertung.
Die Auswertung zeigt, dass aktuelle LLM über beachtliche Wissensbestände im Bereich der Pflege verfügen, jedoch Grenzen in der kontextsensitiven Anwendung und Wertedifferenzierung aufweisen. Damit wird die Notwendigkeit eines domänenspezifischen Trainings deutlich, das Pflegekonzepte, Werte und Fachsprache gezielt integriert.
Diese Ergebnisse bilden die Grundlage für die Weiterentwicklung eines vollständigen Pflege-Benchmarks, der sowohl sprachliche Präzision als auch pflegerische Werteorientierung berücksichtigt.
Die Ergebnisse zeigen, dass ein systematisches Benchmarking domänenspezifische Stärken und Schwächen großer Sprachmodelle in der Pflege sichtbar macht. Für die weitere Entwicklung ist entscheidend, pflegewissenschaftliche Inhalte, Werte und Kontexte gezielt in Training und Evaluation zu integrieren.
Mit NurseLLM liegt das erste spezialisierte Large Language Model für die Pflege vor. Das Modell adressiert pflegespezifische Multiple-Choice-Aufgaben und führt neue Benchmarks für die Pflege ein. Damit entsteht ein Referenzpunkt für Forschung und Anwendung, insbesondere für Ausbildung, Entscheidungsunterstützung und qualitätsgesicherte Wissensabfragen. (Khondaker, Harrington & Shehata, 2025)
Auf dieser Basis kann ein pflegespezifisches KI-Ökosystem wachsen, das sowohl wissenschaftliche Qualität als auch praktische Anwendbarkeit sicherstellt. Der vorgestellte Benchmarking-Ansatz liefert dafür das methodische Fundament.
Warum ich die Pflege verlassen habe – und was Künstliche Intelligenz damit zu tun hat Ich habe mich bewusst entschieden, der Pflege den Rücken zu kehren – nicht aus Frust, sondern aus Überzeugung. Nach meinem Studium der Gerontologie wurde mir immer klarer: Pflege, so...
Willkommen in der Welt von Hume AI: Emotionale Intelligenz für Ihre Anwendungen KI hat in den letzten Jahren große Fortschritte gemacht. Ein Bereich wird in der KI Entwicklung zunehmend mehr integriert, Empathie oder besser gesagt die künstliche Empathie. Hume AI ist...
GenAI und ihre Auswirkungen auf den Arbeitsmarkt: Eine wissenschaftliche Perspektive Die Einführung von Generativer Künstlicher Intelligenz (GenAI) und großen Sprachmodellen (LLMs) wie GPT-4 bringt weitreichende Veränderungen für den Arbeitsmarkt mit sich. Laut der...
Sie müssen den Inhalt von reCAPTCHA laden, um das Formular abzuschicken. Bitte beachten Sie, dass dabei Daten mit Drittanbietern ausgetauscht werden.
Mehr Informationen
0 Kommentare