In der Chatbot Arena können Nutzer einen Prompt eingeben und die Ergebnisse zweier Chatbots direkt miteinander vergleichen. Das kann man in verschiedenen Varianten ausprobieren. Im Modus „Arena battle“ wählt das System aus einer langen Liste zwei Chatbots aus und präsentiert mir deren Ergebnisse. Ich bin dann aufgefordert zu melden, welches Ergebnis mir besser gefällt, bevor mir angezeigt wird, welche Chatbots gegeneinander angetreten sind.

Im Modus „Arena (side-by-side)“ kann ich die Chatbots, die gegeneinander antreten sollen, selbst auswählen. Und auf dem „Leaderboard“ werden die Bewertungen der Nutzer zusammengefasst, und ich sehe, welche Chatbots bis heute am besten abgeschnitten haben. Der hier verlinkte Beitrag auf wb-web beschreibt noch weitere Möglichkeiten der Plattform. Dort heißt es einordnend:

„Die Chatbot Arena eignet sich für Erwachsenenbildner*innen, sich selbst im Umgang mit KI zu schulen und sensibel für die Art und Weise zu werden, wie Chatbots Antworten und Ergebnissen generieren. Gleichermaßen trainiert sie das Formulieren eigner Prompts, da Sie durch die Ausgabe von jeweils zwei Ergebnissen direkt bemerken, was in Ihrer Eingabe missverständlich oder unvollständig formuliert ist.

Ebenso können Sie mit einer entsprechenden Sicherheitsbelehrung (siehe nachfolgenden Absatz) die Chatbot Arena auch im Kurs einsetzen. Denn auch Ihre Teilnehmenden werden so am eigenen Leib erfahren, wie unterschiedlich Ergebnisse ausgespielt werden, wie schnell die KI bei einem professionellen Eindruck falsche Informationen liefert und welche Fähigkeiten im Umgang mit KI trainiert werden sollten, um diese positiv und produktiv nutzen zu können.“

Abschließend: „Chatbot Arena is an open platform for crowdsourced AI benchmarking, developed by researchers at UC Berkeley SkyLab and LMArena.“
Christina Bliss, wb-web, 16. Januar 2025