Neun Teams wurden für die fünfte Ausgabe der Alexa Prize SocialBot Grand Challenge ausgewählt. Wird es einem von ihnen in diesem Jahr gelingen, die 1 Million US-Dollar einzufordern, die für den ersten Social Bot angeboten werden, der in der Lage ist, eine ansprechende und zusammenhängende Konversation von 20 Minuten zu führen?
Das übergeordnete Ziel von Amazon bei der Einführung des Alexa-Preises im Jahr 2016 war es, Fortschritte in der Konversations-KI zu erzielen. Dazu forderte es Teams von Universitätsstudenten auf, einen „Socialbot“ auf Alexa zu bauen, um sich mit Menschen über beliebte Themen und Nachrichtenereignisse zu unterhalten. Das ultimative Ziel für teilnehmende Teams ist es, die Grand Challenge zu bestehen: eine Punktzahl von 4,0 oder höher (von 5) von einer Jury und eine kohärente und ansprechende Unterhaltung für 20 Minuten zu führen. Das erste Team, das dies erreicht, gewinnt a 1 Million US-Dollar Forschungsstipendium für ihre Universität, aber die Preise gehen auch an die drei besten Teams in jeder Iteration des Wettbewerbs.
Jedes für die Herausforderung ausgewählte Team erhält nicht nur ein Forschungsstipendium von bis zu 250.000 US-Dollar, sondern auch Alexa-fähige Geräte, AWS-Dienste und Unterstützung von Alexa Science. Mit fortschreitendem Wettbewerb haben sich auch die den Teams zur Verfügung gestellten Tools für automatisierte Spracherkennung, neuronale Erkennung und Generierungsmodelle entwickelt, was bedeutet, dass die Teams bei jedem Lauf der Herausforderung weiter auf dem Weg zum Erfolg beginnen.
Die neun für die SocialBot Grand Challenge 5 (SGC 5) angekündigten Teams umfassen Teams von fünf Universitäten, die zuvor teilgenommen haben, sowie vier neue Universitäten. Unter den zurückkehrenden Teams ist Alquist von der Tschechischen Technischen Universität Prag, der 2021 Gewinner von SGC4 war und bei allen vorherigen Wettbewerben unter den Finalisten war. Chirpy Cardinal von der Stanford University, der 2021 Zweiter wurde, nimmt zum dritten Mal teil. Die anderen drei zurückkehrenden Teams kommen von der University of California, Santa Cruz; Universidad Politécnica de Madrid und Carnegie Mellon University. Alle vier neuen Universitäten sind in den USA ansässig – University of Illinois, Urbana-Champaign; Universität von Kalifornien, Santa Barbara; Virginia Tech und Stevens Institute of Technology.
Wie in Alexa Prize SocialBot Grand Challenge 5 berichtet, werden die Teams dieses Jahr um zwei Kategorien von Auszeichnungen konkurrieren – für die Gesamtleistung und eine neue Kategorie für wissenschaftliche Wirkung, die eine lohnende Innovation zu sein scheint:
Bei früheren Herausforderungen haben die teilnehmenden Teams den Stand der Technik für Open-Domain-Dialogsysteme verbessert, indem sie verbesserte Systeme zum Verstehen natürlicher Sprache (NLU), Modelle zur Generierung neuronaler Antworten, Modellierung von gesundem Menschenverstand und Dialogrichtlinien entwickelt haben, die zu reibungsloseren und ansprechenderen Gesprächen führen .
Die andere neue Funktion, die in die diesjährige Herausforderung eingeführt wurde, besteht darin, dass Kunden mit Echo-Bildschirmgeräten oder einem Fire TV zusätzlich zu verbalen Gesprächen Bilder oder Text auf dem Bildschirm angezeigt werden können, die das Gesprächserlebnis verbessern. Dies gibt Teams die Möglichkeit, zusätzlichen Text und Bilder einzufügen, die vielfältigere und aussagekräftigere Informationen liefern.
Ob diese Funktion tatsächlich dazu beiträgt, eine nachhaltig sinnvolle Gesprächszeit zu führen, wird sich zeigen. Dass dies jedoch schwierig ist, zeigt sich in den bisherigen vier Contests immer deutlicher, was sich daran zeigt, dass im vergangenen Jahr Alquist, das Siegerteam und das Finalistenteam aller bisherigen SocialBot-Challenges nur eine durchschnittliche Bewertung von 3,28 von hatten Alexa-Kunden und die durchschnittliche Interaktionsdauer mit den Richtern während des Finales betrug nur 14 Minuten und 14 Sekunden.
Schaut man sich das Video des Finales an, passiert es oft, dass Alexa mit einer Frage ein Gespräch einleitet, dann aber den Faden nicht überzeugend weiterführen kann und stattdessen abrupt zu einem anderen der vorbereiteten Themen wechselt. Trotz der Nachsicht der Richter, den Chatbot in die Auswahl von Filmen, Musik oder Sport einzubeziehen, scheint dies ziemlich künstlich zu sein. Liegt das an den Einschränkungen der Challenge oder an der begrenzten Gesprächserfahrung der jungen Hochschulteams?
Als Alexa-Benutzer finde ich „sie“ ziemlich gut informiert über eine breite Palette von Themen, die mich interessieren. Wenn ich zum Beispiel sage „Alexa, was weißt du über Picasso/Andy Warhol/Strawinsky/Joni Mitchell/Charles Dickens/Hilary Mantel „Die unmittelbaren Antworten sind sowohl korrekt als auch informativ – es ist eine erstaunliche Kombination aus Google-Suche und Text-to-Speech. Folgefragen können weitere Informationen hervorbringen und ich frage Alexa immer häufiger, wenn ich auf ein Thema stoße, über das ich mehr wissen möchte. Aber das ist kein Gespräch, denn es fehlt das Geben und Nehmen eines Austauschs zwischen Sprecher und Zuhörer, die diese Rollen in einem Prozess tauschen, der weit davon entfernt sein kann, wo er begonnen hat. Wir beziehen uns manchmal auf die „Kunst“ der Konversation und weisen darauf hin, dass dies etwas ist, das Geschick und Übung erfordert.
Die Schwierigkeit wird von Reza Ghanadan, Senior Principal Scientist bei Alexa AI und Leiter des Alexa Prize, anerkannt, der zugegeben hat:
„Die Entwicklung einer sozial versierten KI ist ein schwieriges Problem. Dies liegt daran, dass menschenähnliche soziale Konversation bemerkenswert heikel und komplex ist und die Open-Domain-Natur der SocialBot-Dialoge sie zu einer extremen Herausforderung macht. Sie müssen relevante und tiefgründige Antworten auf eine Vielzahl von Themen geben, die Benutzer möglicherweise stellen, einen natürlichen und kohärenten Austausch während eines möglicherweise langen Gesprächs aufrechterhalten und die Absicht des Benutzers genau interpretieren, indem Sie Namen, Themen, Orte und Produkte richtig aufgreifen unter Berücksichtigung des Kontexts jeder Gesprächsrunde. Sie müssen auch die Interaktionen mit den Benutzern lebendig und ansprechend gestalten, was angesichts dessen eine Herausforderung darstellt die Vielfalt der Themen und Benutzer, die mit Alexa interagieren.“
Wenn Sie daran interessiert sind, wie sich die Teams von 2023 schlagen, können Alexa-Kunden ab März mit ihren Socialbots ins Gespräch kommen, indem sie sagen: „Alexa, lass uns chatten.“
Mehr Informationen
Alexa Prize SocialBot Große Herausforderung
Verwandte Artikel
Alexa Prize SocialBot Große Herausforderung 5
Noch kein ultimativer Gewinner für den Alexa-Preis