Fünf Monate ist es her, da testete Loup Ventures das letzte Mal Apples Sprachassistenten. Zu diesem Zeitpunkt auf dem HomePod mit musikspezifischeren Fragen. Doch im April 2017 prüfte das Unternehmen schon einmal eine Reihe Sprachassistenten (Google Assistant, Siri, Cortan und Alexa von Amazon) auf Ihr „Wissen“.
Siri ist klüger geworden
Seinerzeit wurden die Assistenten mit insgesamt 800 Fragen aus unterschiedlichen Wissensgebieten auf einem Smartphone geprüft. Diesen Test wiederholte Loup Ventures nun und verglich die Ergebnisse mit denen aus April 2017.
Apples KI-Helfer verstand im neuen Test 99 Prozent der Anfragen, konnte davon aber nur 78,5 Prozent beantworten. Das ist eine Verbesserung gegenüber dem vorhergehenden Test. Seinerzeit konnte Siri nämlich nur 66,1 Prozent von 800 Fragen richtig beantworten.
Ergebnisse mit HomePod nicht vergleichbar
Loup Ventures betont, dass ein ähnlicher Test mit Smartspeakern keinen Sinn macht. Diese würde in der Regel schlechter abschneiden, weil sie in ganz anderen Nutzungszenarien verwendet werden. Siri kann auf dem HomePod manche Fragen sehr gut beantworten, andere wiederum überhaupt nicht, und zwar auch schlechter als der Sprachassistent auf dem iPhone.
IQ-Test für Sprachassistenten?
Doch zurück zum aktuellen Test(verfahren). Loup Ventures bewertet jeden digitalen Assistenten in zwei Kategorien. Zum einen geht es darum, ob die KI den Sprecher versteht, zum anderen, ob es eine korrekte Antwort auf die Frage liefert.
Die Fragen stammen dabei aus fünf Themenbereichen. Dies sind ortsbasierte Fragen, wie beispielsweise „Wo ist das nächste Café?“. Weiterhin gehören dazu Fragen aus dem Bereich Kommerz wie „Kannst du mir mehr Papierhandtücher bestellen?“, Navigation („Wie komme ich mit dem Bus nach Uptown?“), Information („Gegen wen spielen die Twins heute Abend?“) und Befehle wie „Erinnere mich daran, Steve heute um 14 Uhr anzurufen.“
Die Fragen wurden Siri auf einem iPhone mit iOS 11.4 gestellt. Den Google Assistant befragte man auf einem Pixel XL, Alexa und Cortana jeweils in der iOS-App.
Apples Siri kann vor allem beim Erledigen von Befehlen glänzen (90 Prozent der Fragen wurden richtig beantwortet). Apples Sprachassistent war besser als alle anderen Produkte, wenn es darum ging, das iPhone, Smart-Home-Produkte, Apple Music und mehr zu „kontrollieren“. Ortsbasiert Fragen beantwortete Siri zu 87 Prozent, Fragen bezüglich der Navigation zu 83 Prozent. Bei Informationen schwächelt Siri mit 70 Prozent richtiger Antworten und in Bezug auf Handel konnte es nur 60 Prozent richtig beantworten.
Google Assistant hat fast überall die Nase vorn
Der Google Assistant hat in beinahe jeder Kategorie die Nase vorn. Nur bei den Befehlen muss er sich Siri geschlagen geben.
Siri ist insofern im Vorteil, als es in das Betriebssystem des Telefons eingebettet ist und nicht in einer Drittanbieter-App (wie Cortana und Alexa). Siri könne hilfreicher und vielseitiger auf eine flexiblere Sprache reagieren, wenn es um die Bedienung von Telefon, Smart Home, Musik usw. geht.
Insgesamt beantwortete der Google Assistant 85,5 Prozent der 800 Fragen korrekt. Bei 11 der 800 Fragen kam es zu Missverständnissen. Alexa beantwortete lediglich 61,4 Prozent richtig und verstand 13 falsch, während Cortana nur 52,4 Prozent korrekt beantwortete und 19 missverstand.
Im April gab es schon einmal einen vergleichbaren Test von ROAST.
Diskutiere mit!
Hier kannst du den Artikel "IQ-Test für Sprachassistenten: Siri ist klüger geworden" kommentieren. Melde dich einfach mit deinem maclife.de-Account an oder fülle die unten stehenden Felder aus.
Df
Siri ist dumm wie Brot. Ich benutzte diese Funktion nur noch zum Anwählen von gespeicherten Kontakten.