Deep Blue, Mad Genius of Poker, rivalisierende Universitäten, Cepheus, World Series of Robots, Libratus und Phil Laak. Dies sind Schlüsselelemente der Entwicklung der künstlichen Intelligenz im Bereich Poker. Wir werfen heute einen Blick auf die seltsame Reise hin zum fast perfekten Pokerbot.
Anfang des Monats hat erstmals ein Pokerbot namens Libratus ein Team aus menschlichen Pros geschlagen. Jason Les, Dong Kim, Daniel McAulay und Jimmy Chou hatten keine Chance gegen das neuartige Programm und kassierten eine vernichtende Niederlage.
Es war ein Meilenstein in der Entwicklung der künstlichen Intelligenz. Seit den frühen Tagen des Computerzeitalters wird nach einer Software gesucht, die Poker spielen kann.
Das aber nicht so einfach, schließlich ist Poker ein Spiel der unvollständigen Information. Im Gegensatz zu Schach oder Mühle gibt es Variablen, wie z. B. die Karten, die man bekommt, die man vorher nicht kennt.
Computerspezialisten glauben, dass die informationstechnische Lösung des Spiels Poker viele Anwendungen in den Bereichen Verhandlungstechnik, Gesundheitsvorsorge und mehr haben kann. Wir werfen einen Blick auf die lange, seltsame Reise bis hin zu Libratus.
1984 – Mike Caro präsentiert eine rudimentäre Poker Software
Der berühmt-berüchtigte Poker-Coach schrieb schon im Jahr 1984 ein Computerprogramm Namens "Orac", das bei der WSOP 1984 gegen diverse Gegner spielte. Caro entwickelte das Programm in zwei Jahren auf dem Apple II.
Verglichen mit heutigen Programmen war Orac sehr simpel, trotzdem besiegte es in einem Match sogar Poker-Legende Doyle Brunson.
Interessanterweise las das Programm Barcodes auf den Spielkarten, das Spiel selbst fand nicht auf dem Computer statt.
Im Gegensatz zum Match von Brunson kassierte das Programm aber eine vernichtende Niederlage gegen Bob Stupak, Orac floppte Trips aber irgendjemand zog den Stecker heraus und das Programm musste neu gestartet werden. Irgendwie seltsam.
1991 – Die Universität von Alberta nimmt die Arbeit auf
Die University of Alberta Computer Research Group, die später zu einem der größten Entwickler von Poker A. I. werden sollte, begann im Jahr 1991 mit der Arbeit.
In dieser Gruppe waren die verschiedensten Charaktere zu finden. Es gab Spieltheoretiker und Teilzeit-Spieler wie Darse Billings, Denis Richard Pap, Jonathan Schaeffer, Duane Szafron, Michael Bradley Johanson und Neil Burch.
Michael Bowling kann später dazu und sollte ein führender Kopf im Bereich der Poker A.I. werden.
1996 – Deep Blue schlägt Garry Kasparov
Das Schachprogramm "Deep Blue" von IBM spielte gegen Weltmeister Garry Kasparov und gewann später. Dies löste auch regelrechten Boom im Bereich der Computerprogramme bei Spielen wie Go oder Poker aus.
Poker ist allerdings signifikant anders als Schach, wie oben schon erwähnt, es ist ein Spiel der unvollständigen Information, dass von Computerprogrammen schwerer gemeistert werden kann.
Interessanterweise begann das Projekt "Deep Blue" an der Carnegie Universität und wurde von Feng-hsiung Hsu geleitet. An dieser Universität sollten später die Programme geschrieben werden, die letztlich zum Erfolg führten.
1997 – Die University of Alberta präsentiert funktionierende Poker-A.I.
Die University of Alberta Computer Research Group stellt "Loki" vor und nutzt bei der Recherche vor allem das legendäre Rec.Gambling Poker Forum.
Der Spieltheoretiker und Teilzeit-Poker-Pro Darse Billings hat zusammen mit zwei Studenten das Programm entwickelt. Das Ganze passiert unter der Leitung von Jonathan Schaeffer und Duane Szafron.
Loki ist erschaffen worden, um an einen vollen Tisch mit neun Spielern zu bestehen. Bis heute ist dieses Problem von den Entwicklern immer noch nicht gelöst.
Wie die meisten frühen K. I.s wurde Limit Poker gespielt und nicht die populäre No-Limit-Variante. Zu Beginn wollte das Team, dass das Programm irgendwann weit genug sein würde, um bei der WSOP anzutreten.
Die WSOP-Veranstalter änderten aber die Regeln und erlaubten keine Bots. Im gleichen Jahr versuchte ein Unternehmen, einen Affen in die WSOP einzukaufen, auch das half nicht.
Trotzdem hatte Loki großen Einfluss auf alle Programme die noch kommen würden. Zusammenfassend kann man feststellen, dass sich das Programm schon auf dem Level eines durchschnittlichen menschlichen Spielers bewegte.
1999 – Aus Loki wird Poki
Das Team der University of Alberta entschließt sich dazu, den Fokus auf Heads-Up zu legen, hier gibt es weniger Variablen. Das neu erschaffene Programm "Loki" kann Poker auf dem Level eines normalen Spielers spielen.
Viele dieser früheren Bots drehen sich um das Konzept des Nash Equilibriums, das, vereinfacht gesagt, darauf abzielt, immer die bestmögliche Entscheidung zu treffen und dabei auch die Entscheidung des Gegners zu berücksichtigen.
Das Programm wurde für das Computerspiel "Stacked" lizenziert, bei dem auch Daniel Negreanu mitmachte.
2002 – PsOpti und Sparbot trumpfen auf
Die University of Alberta programmiert weitere Bots, unter anderem PsOpti und Sparbot. Diese Programme konzentrieren sich vor allem auf Limit Heads-Up-Poker. Trotz ermutigender Resultate war die Spielstärke eher als durchschnittlich zu bewerten.
Das Team ließ die Programme gegen den Poker Pro Gautam “thecount” Rao antreten und der vertrat damals folgende Meinung:
"Ihr habt ein sehr starkes Programm. Wenn ihr da noch 'Opponent Modeling' hinzufügt, wird es nahezu jeden schlagen können."
Das Team der Universität verbrachte also die nächsten Jahre damit, ihren Programm beizubringen, wie man den Gegner richtig einschätzt.
2003 – Entwickler haben nicht mehr die großen Schachprogramme zum Vorbild
Das Jahr 2003 war ein Schlüsseljahr in der Entwicklung der Poker- K.I., die Entwickler verabschiedeten sich vom zuvor benutzten Modell, das auch bei Schachprogrammen wie "Deep Blue" zum Einsatz kam.
Zu erwähnen ist auch, dass Michael Bowling, der seinen Doktor an der Carnegie Mellon Universität gemacht hat, zur treibenden Kraft für die nächsten zehn Jahre wurde.
2004 – Tuomas Sandholm betritt die Bühne
Professor Tuomas Sandholm, der eigentliche Kopf hinter der neuartigen Libratus-K.I., betritt die Bühne und beginnt an der Carnegie Mellon Universität die Arbeit an neuen Pokerprogrammen. Auch Sam Ganzfried und Noam Brown sollten maßgeblichen Einfluss haben.
Dazu wurde ein Pokerturnier veranstaltet, in dem verschiedene Pokerbots gegeneinander antreten können.
2005 – World Series of Poker Robots
Der Pokerboom ist in vollem Gange und das Golden Palace hostet ein Promo-Event im Binions mit einem Hauptpreis in Höhe von 100.000 Euro. Es gab insgesamt sechs Teilnehmer.
PokerProbot, ein Programm, das von einem 37-jährigen Autoverkäufer aus Indiana geschaffen wurde, wurde zum Sieger. PokerProbot schlug knapp Poki-X, eine hastig zusammengestellte Version von Poki.
Der menschliche Pro Phil Laak besiegte dazu PokerProbot in einem öffentlichen Match während der Competition. Der Softwareentwickler Kenneth "The Clone" Jones prophezeite damals: "In 3-5 Jahren werden die Programme gewinnen"
2007 – Polaris tritt gegen Phil Laak an
Die University of Alberta stellt erstmals das Programm "Polaris" vor, das später durch ein Match gegen Phil Laak Berühmtheit erlangen sollte. Das Programm verlor – wenn auch sehr knapp.
Polaris ist im Grunde eine Kombination aus mehreren Programmen, unter anderem Hyperborean08. Der Bot hatte mehrere Strategien zur Auswahl und konnte während eines Matches zwischen diesen wechseln.
Interessanterweise brauchte das Programm gar nicht mal viel Rechenpower, es konnte auch auf Heimcomputern laufen. Auch Polaris spielte nur Heads-Up.
2008 – Polaris schlägt sechs menschliche Spieler in einer Testrunde
Im Rahmen der Gaming Life Expo spielte das Programm Polaris rein informell und fuhr drei Siege, zwei Niederlagen und ein Unentschieden ein. Das Programm war seit dem Match gegen Phil Laak etwas abgewandelt worden.
2009 – University of Auckland präsentiert Sartre
die Universität von Auckland beginnt mit der Arbeit an Sartre, die Abkürzung für Similarity Assessment Reasoning for Texas Hold'em via Recall of Experience.
Sartre sollte zu einem der führenden Programme werden und hat sich in nachfolgenden Wettkämpfen mehr als gut geschlagen. Es ist eins der wenigen Programme, die nicht von der Carnegie Mellon oder der University of Alberta stammen. Hier kann man gegen Sartre online spielen.
2011 – PokerStars und Full Tilt ergreifen Maßnahmen gegen Bots
Jahrelang waren die Pokerprogramme einfach nicht gut genug, um gegen menschliche Gegner im Online Poker anzutreten. Die verbesserten Algorithmen sagten jedoch dafür, dass die Programme den lukrativen Markt betraten.
2008 gab es erste Gerüchte, dass Bots auf verschiedenen Seiten unterwegs seien. 2011 gab es einen großen Knall, PokerStars und Full Tilt nahmen das Problem erstmals ernst und ergriffen Maßnahmen.
Wird ein Spieler als Bot identifiziert, wird sein Account sofort gesperrt und die Gelder eingezogen.
Da sich parallel mit der Entwicklung der Pokerprogramme auch die Programme zur Identifizierung von nicht-menschlichen Spielern verbessert haben, sind Bots zum Glück heute kein großes Problem mehr.
2014 – Tom Dwan macht Riesengewinn gegen Heads-Up-Automat
Angeblich hat Tom Dwan eine riesige Summe dadurch gewonnen, dass er einen Pokerautomat namens Texas Hold ‘Em Heads Up Poker geschlagen hat.
Der Hersteller war ein Unternehmen namens IGT, normalerweise stellt die Firma Spielautomaten her.
Angeblich benutzt die Maschine ein neuronales Netz, um neue Strategien zu erlernen. Die Software wurde von Fredrik Dahl von der Universität Oslo entwickelt.
2015 – Cepheus 'löst' Limit Hold'em
Nach Jahren der Entwicklung an der Universität von Alberta wird letztlich ein Programm entwickelt, das im Winter 2015 die Spielvariante Limit Hold'em 'löst'. Das Programm hat gelernt, in dem es zwei Monate lang nur gegen sich selbst gespielt hat.
Natürlich hat es auch berühmte Vorgänger, zum Beispiel Loki, Poki, Vexbot, Hyperborean, Polaris und noch mehr.
Dies war ein absoluter Meilenstein in der Entwicklung der künstlichen Intelligenz, erstmals wurde ein wichtiges Spiel mit unvollständiger Information durch ein Computerprogramm dauerhaft gelöst.
Zu der Zeit galt Cepheus als unschlagbar, auch wenn das Programm vielleicht kurzfristig verliert kann, wird es über längere Zeit mit Sicherheit gewinnen. Die Variante No-Limit war damals allerdings immer noch zu schwer und von Programmen nicht zu schlagen. Hier kann man gegen Cepheus antreten.
2015 – Claudico verliert bei der ersten Brains vs. A.I. Challenge
Im Sommer 2015 brachte das Team der Carnegie Mellon die weiterentwickelte Software Claudico heraus. Der große Unterschied zu Cepheus ist, dass das Programm erstmals auch die Variante No-Limit spielt.
Das Team der Universität veranstaltete eine Challenge, bei der es 100.000 $ zu gewinnen gab. Die vier Pros Doug Polk, Jason Les, Bjorn Li und Dong Kim nahmen die Herausforderung an und spielten 20.000 Hände gegen die Maschine.
Am Ende siegte das menschliche Team. Sie erwirtschafteten einen Profit in Höhe von über 700.000 $, der Bot hatte anscheinend noch Probleme mit der richtigen Wetthöhe. Damals verriet Jason Les, dass es wohl nur noch eine Frage der Zeit sei, bevor die Ports gewinnen.
2016 – University of Alberta programmiert Libratus
Das Team der Universität von Alberta begann 2016 mit der Arbeit an einer Veröffentlichung über das neue Projekt in Sachen Poker K.I. Dieses Programm sollte erstmals menschliche Pokerpros im Heads-Up-No-Limit-Hold'em schlagen.
Mit der Entwicklung von "DeepStack" schuf das Team erstmals einen selbstlernenden Algorithmus, der Parallelen zur AlphaGo AI aufwies, die im Jahr zuvor erstmals das komplexe Spiel Go geschlagen hat.
DeepStack nutzt neuronale Netze, um menschliche Intuition zu imitieren und sich rasant schnell an seine Gegner anzupassen.
Bei der Arbeit an dem Programm wirken dutzende Pokerspieler mit und absolvierten insgesamt 40.000 Hände.
2017 – Libratus schägt menschliche Gegner vernichtend im No-limit
Im Januar 2017 erteilte das Programm der Menschheit eine Lektion in Sachen Poker, in der Neuauflage der Challenge, wie sie auch gegen Claudico ausgetragen wurde, gewann das Programm haushoch.
Dieses Mal wurden 120.000 Hände gespielt, vier menschliche Gegner liegen danach über 1,7 Millionen $ hinten. Das menschliche Team bestand aus der Crème de la Crème der Heads-Up-Spieler, es waren Dong Kim, Dan McAulay, Jimmy Chou und Jason Les.
Kim, der noch die besten Ergebnisse gegen das Programm erzielte, sagte hinterher, dass das Programm ihn oft regelrecht ausgespielt habe:
"Es fühlte sich an, als ob ich gegen jemand spielen würde, der betrügt. Es war, als hätte das Programm meine Karten gekannt. Ich mache keine ernsthaften Betrugsvorwürfe, es fühlte sich so aber so an. Das Programm war einfach gut."
Auch wenn "Libratus", zu Deutsch "ausbalanciert", als Nachfolger von Claudico gilt, wurde das Programm von Grund auf neu geschrieben. Es wurde keine fixe Strategie benutzt, vielmehr setzen die Entwickler auf einen Algorithmus, der für jeden Moment die passende Strategie berechnet.
Die menschlichen Spieler nahmen jeden Tag Veränderungen in der Spielweise wahr, was damit zu tun hatte, dass das Programm jede Nacht sein eigenes Spiel analysierte und Fehler verbesserte.
Die menschlichen Spieler können sich immer noch damit trösten, dass Libratus die Rechenpower von einem Supercomputer benötigt der rund 7.000 mal schneller ist als ein durchschnittlicher Laptop.
Dazu ist es immer noch so, dass das Programm nur gegen einen menschlichen Gegner besteht. Schon gegen zwei Gegner hätte es wohl große Schwierigkeiten. Allerdings sehen viele Kenner der Szene es nur noch als eine Frage der Zeit an, bis derartige Programme auch einem vollen Tisch bestehen können.
Übersicht über die wichtigsten Pokerbots
University of Alberta
- Loki
- Poki
- PsOpti/Sparbot
- Vexbot
- Hyperborean
- Polaris
- Cepheus
Carnegie Mellon University
- Tartanian
- Claudico
- Libratus
University of Auckland
- Casper
- Sartre
Independent - Fredrik Dahl
- Texas Hold'Em Heads-Up Poker
Dieser Artikel erschien auf PokerOlymp am 07.02.2017.
