AI-Modelle mit Schwächen enthüllt: Apples schockierende Studie

Apples Forschung, die auf arXiv veröffentlicht wurde, bewertet die mathematischen Fähigkeiten führender Sprachmodelle von OpenAI, Meta und anderen Anbietern. Schon kleine Änderungen in der Fragestellung führten zu erheblichen Leistungsunterschieden, was das Vertrauen in die logische Konsistenz dieser Modelle mindert.

Ein zentrales Ergebnis der Studie ist das Mustererkennungsproblem, auf das Apples Forschende hinweisen. Dabei neigen Sprachmodelle dazu, mehr nach Mustern als mit echtem logischen Denken zu operieren. Ein Test zeigte, dass irrelevante Details zu Fragen, die die mathematische Lösung nicht beeinflussen dürften, den Output der Modelle signifikant verändern.

Ein bemerkenswertes Beispiel aus der Studie betraf ein einfaches mathematisches Problem, bei dem die Menge gesammelter Kiwis berechnet werden sollte. Die Einführung irrelevanter Details, wie die Größe der Kiwis, führte bei Modellen wie OpenAI's o1 und Meta's Llama zu falschen Ergebnissen.

Apples Forscher fanden keinerlei Anzeichen für formal-logisches Denken in den Modellen. Die "vernünftige Übereinstimmung mit Mustern" erklärt ihr Verhalten eher—so empfindlich, dass selbst Namensänderungen die Ergebnisse um rund zehn Prozent beeinflussen können.

Lesetipps

Apple Intelligence lässt deutsche Nutzer auch 2025 außen vor

Auf dem It's Glowtime-Event hat Apple kurz auch die Ausbaupläne für Apple Intelligence angesprochen - und eine große Enttäuschung erzeugt. mehr

Wayback Machine wegen Sicherheitslücke geschlossen

Die Wayback Machine, ein digitaler Archivdienst des Internet Archive, hat Berichten zufolge aufgrund einer Sicherheitslücke den Dienst vorläufig... mehr

Die Folgerung aus diesen Erkenntnissen lautet, dass diese Modelle nicht mit authentischer Logik arbeiten, sondern auf erlernte Mustererkennung angewiesen sind. Diese Schwäche könnte problematisch für zukünftige KI-Anwendungen sein, die präzises und konsistentes Denken erfordern.

Die Studie zeigt auch, dass alle getesteten Modelle, von Open-Source-Varianten wie Llama bis hin zu proprietären Modellen wie OpenAI's GPT-4o, erhebliche Leistungseinbußen bei minimalen Veränderungen der Eingabedaten aufwiesen. Apple empfiehlt, KI mit traditioneller, symbolbasierter Logik zu kombinieren, um genauere Entscheidungs- und Problemlösungsfähigkeiten zu erzielen.