Die Poker-Bots sind unter uns

Wie gut waren die letzte Woche bei Full Tilt aufgeflogenen Bots wirklich? Können Bots menschlichen Spielern das Wasser reichen? Welche Gefahr geht von Bots aus? Letzte Woche hat Full Tilt 1.200 Accounts wegen Benutzung von Bots gesperrt. Aus diesem Anlass will ich in diesem Artikel einiges Wissenswertes über diese speziellen Bots und über Bots im Allgemeinen aufzeigen.

Mensch gegen Maschine

Im Jahr 2008 fand ein bemerkenswerter Wettkampf statt: Mensch gegen Maschine, gespielt wurde Poker. Bemerkenswert war dieser Wettkampf vor allem deshalb, weil die Maschine am Ende gewann.

Angetreten waren der Poker-Bot “Polaris”, entwickelt von der University of Alberta und sechs durchaus namhafte menschliche Gegner unter anderem Nick “Stoxtrader” Grudzien und Kyle Hendon. Gespielt wurden insgesamt 6.000 Hände Heads-Up Limit-Hold’em, wobei jede Partei nach 500 Händen die Starthände des Gegners erhielt, um den Glücksfaktor zu minimieren. Unterm Strich lag Polaris am Ende fast 100 Big Bets vor seinen menschlichen Gegnern.

Heißt das nun, dass dem Poker damit schon 2008 das gleiche Schicksal wie dem Schach widerfahren ist, dass der Computer besser ist als menschliche Spieler?

Können Bots Menschen schlagen?

Um die Frage, wie gut Bots pokern, zu beantworten, betrachten wir zunächst die Herkunft des Polaris Bots. Entwickelt wurde dieser Bot von der Computer Poker Reserach Group der University of Alberta. Dort sitzt ein ganzer Lehrstuhl einer Universität, der sich mit Pokerbots beschäftigt und sich dem Problem eines guten Bots sowohl mit einer mathematischen-, einer spieltheoretischen- als auch einer neuroinformatischen Betrachtung nähert.

Ein guter Einstieg für angehende Bot-Schreiber ist sicherlich die Master Thesis von Michael J. Johanson, die in Kapitel 2 viele Konzepte eines guten Bots erklärt.

Dass eine ganze Reihe von Wissenschaftlern notwendig ist, um einen Bot zu schreiben, der einen menschlichen Spieler schlägt, zeigt zumindest eines: Nicht jeder dahergelaufene Hacker kann einen guten Bot produzieren und in die Entwicklung der bisher besten Bots sind seit Jahren Millionen an Forschungsgeldern geflossen.

Was gute Bots nicht können

Als nächstes möchte ich darauf hinweisen, dass diese Bots bisher ausschließlich bei nicht zu lange andauernden Heads-Up Limit-Hold’em Partien eine Chance gegen gute Gegner haben. Fügt man weitere Gegner hinzu oder spielt man No Limit, wird das Spiel für den Bot zu komplex, als dass er in realistischer Zeit optimale Entscheidungen treffen kann. Schon bei einfachen Heads-Up Partien nutzt der Bot in der Regel seine Bedenkzeit immer maximal aus. Und spielt der Bot eine zu lange Session, können sich gute menschliche Gegner weit besser auf den Bot einstellen als der Bot auf den Menschen.

Poker ist verdammt komplex

Der letzte Punkt, der nicht unerwähnt bleiben sollte: Es gibt insgesamt 52! (= 52 × 51 × 50 × … × 1, das Ausrufezeichen wird in dem Zusammenhang mathematisch verwendet und bedeutet Fakultät) Möglichkeiten, ein Kartendeck anzuordnen, beziehungsweise zu mischen. Diese Zahl ist ziemlich groß: ungefähr 8 * 10 ^ 67. Beschränkt man sich auf die Verteilung der Startkarten und das Board bei Texas Hold’em kommt man bei einem Tisch mit zehn Mitspielern auf ca. 2 * 10 ^ 28 verschiedene Verteilungen. Nur zum Vergleich: diese Zahl ist größer als die Anzahl der Atome, aus denen nach aktuellen Schätzungen der menschliche Körper zusammengesetzt ist.

Die Anzahl der möglichen Spielverläufe ist von einer noch wesentlich höheren Größenordnung. Bezieht man mit ein, dass es zusätzlich verschiedene Gegnertypen und verschiedene allgemeine Partieverläufe gibt, übertrifft die Anzahl der unterscheidbaren Pokerpartien die Anzahl der verschiedenen Schachpositionen um ein Vielfaches.

Mit einfachen Worten: Poker ist, abgesehen von einigen speziellen Varianten, im Moment zu komplex um von einer Maschine auf hohem Niveau gespielt zu werden.

Was können handelsübliche Bots überhaupt?

In den letzten Tagen kam die Firma Shanky Technologies in den Blickpunkt der pokerspielenden Öffentlichkeit, bieten diese doch sehr unverhohlen Bots zum Kauf an, die nach eigenen Aussagen Poker spielen können. Das können sie tatsächlich! Sie beherrschen die Regeln von Texas Hold’em und sogar Omaha und können recht autark am Tisch agieren, ohne dass ein Mensch eingreifen muss.

Nun kostet so ein Poker-Bot der Firma Shanky grade mal 129 Dollar. Verglichen mit dem Aufwand, der hinter den Bots der University of Alberta steckt, ist das ein wahrlich lächerlicher Betrag.

Entsprechend können diese handelsüblichen Bots nicht sonderlich viel mehr, als die simplem Pokerregeln korrekt zu befolgen und sich an eine Reihe von Zusatzanweisungen zu halten. Sie können nicht mehr, als der Mensch ihnen vorher direkt eingegeben hat. Sie funktionieren nach einer sehr simplen Routine: In einer Konfigurationsdatei wird dem Bot einfach gesagt, was er in welcher Situation machen soll. Da steht dann zum Beispiel in der Sit-and-Go Konfiguration unter anderem folgende Zeile:

Übersetzt heißt das: Wenn du vor dem Flop AKs hast, wenigstens ein Raise vor dir war und dein Reraise mehr als 20% deines Stacks ausmacht, geh All-In.

Von diesen situationsabhängigen Befehlszeilen gibt es allerhand, unter anderem auch diese – recht unterhaltsame – hier:

Die besagt: Wenn du auf dem River kein Paar oder besser hast, check/folde unter allen Umständen.

Ein solcher Bot foldet zum Beispiel auf einem Board gegen eine minimale Bet, selbst wenn der Pot seinen halben Stack ausmacht.

Schon dieses Beispiel zeigt, dass diese Bots nicht sonderlich intelligent spielen können. Sie können sich nicht auf Gegner einstellen und sie können keine Lehren aus bisherigen Händen ziehen. Sie können nur stur abarbeiten, was man ihnen vorher in einer langen Konfiguration vorgegeben hat.

Es ist recht offensichtlich, dass solche Bots nur gegen die schlechtesten aller Gegner erfolgreich operieren können. Es ist möglich, diesen Bots die lange Zeit vor allem von Pokerstrategy unterrichtete SSS (Short Stack Strategy) beizubringen, da diese recht wenigen Regeln unterworfen ist und vor allem aus dem kleinen Stack und nicht einer besonders tiefgreifenden Strategie ihren Vorteil bezieht. Aber auf den meisten Pokerseiten gehören die SSS’ler inzwischen der Vergangenheit an, da die Seiten das minimale Buy-In bei No-Limit-Holdem inzwischen soweit angehoben haben, dass SSS nicht mehr praktikabel ist.

So bleibt den von Shanky Technologies entwickelten Bots nur eines übrig: Sie müssen auf den niedrigsten Limits spielen, auf denen die Gegner zu schlecht sind, um aus ihnen Kapital schlagen zu können.

Aber an dieser Stelle kommt der große Vorteil der Bots ins Spiel: Sie sind unermüdlich und können eine Unzahl an Händen runterreißen. Man muss nur den Bot einschalten und kann schlafen, arbeiten oder ins Kino gehen und dieser spielt munter 2c/5c Hold’em oder 25c Sit-and-Gos bis man ihn abstellt. Der Bot macht sogar “Pinkelpausen”, damit er nicht zu verdächtig für seine Gegner aussieht. Da die schwachen Gegner auf diesen Limits dem Bot nicht gefährlich werden können, macht er zumindest keinen Verlust während er spielt. Um signifikanten Gewinn zu machen, ist der Bot zu spielschwach, aber das macht auch gar nichts. Denn am Ende gibt es für das gespielte Volumen eine ansehnliche Menge Geld durch Rake- oder Cashback-Programme. Nicht umsonst hat Shanky diese Dinger “Bonus Bots” genannt.

Warum Bots ein Problem für die Pokerökonomie sind

Die handelsüblichen Bots stellen keine Gefahr dar, weil menschliche Spieler ihnen überlegen sind. Wer von einem Shanky-Bot auf lange Sicht geschlagen wird, spielt so schlecht, dass er es nicht anders verdient hat.

Die Gefahr kommt zum einen daher, dass diese Bots kontinuierlich Geld aus dem System nehmen. Sie produzieren Rake, welche ohne sie noch an den Tischen wäre, um von anderen Spielern zum Spielen genutzt zu werden. So liegt diese Rake nun beim Pokeranbieter und wartet darauf am Monatsende an den Besitzer des Bots durch Boni und Rakeback zurückgegeben zu werden.

Zum anderen kommt die Gefahr von Bots daher, dass sie alte Vorurteile bestätigen und Ängste schüren. “Beim Internetpoker wird eh nur betrogen” und “Die Seiten sind alle rigged” – Kommentare dieser Natur verirren sich fast täglich unter die Artikel von PokerOlymp. Es ist dem Ansehen und der Glaubwürdigkeit von Online-Poker sicherlich nicht zuträglich, wenn man Spieler ungefragt gegen Bots spielen lässt. Insbesondere wenn diese Bots in Scharen auf die niedrigsten Limits losgelassen werden, auf denen das Misstrauen in das System noch am größten ist, schadet dies dem Ansehen der Pokerseite, dem Online-Poker im Allgemeinen und leistet obigen Kommentaren Vorschub.

Die Bots auf Full Tilt und Shankys Sichtweise

Der konkrete Anlass zu diesem Artikel ist, dass Full Tilt vorige Woche ca. 1.200 Bots von ihrer Seite entfernt hat. Die zugehörigen Konten wurden konfisziert und es wurde angekündigt, die durch die Bots betrogenen Spieler zu entschädigen. Etwas abenteuerlich wirkt die Erklärung der Firma Shanky Technologies an, die diese Bots zum Verkauf anbietet. So heißt es dort zum Beispiel:

To be certain, the use of such software has always been against their “official” terms of service. We all knew that. But for the past few years that part of their agreement was always perceived as being given with a wink. There are hundreds of us who have been active there on a daily basis and the overwhelming majority of us have never heard so much as a peep out of them.

Übersetzt: “Um genau zu sein, die Benutzung solcher Software [Bots] war immer gegen ihre [Full Tilts] ‘offiziellen’ Nutzungsbedingungen. Wir alle wussten das. Aber in den letzten Jahren wurde dieser Teil der Bedingungen immer eher mit einem Augenzwinkern verstanden. Es gibt hunderte von uns, die dort täglich aktiv waren und die überwältigende Mehrheit hat keinen Mucks von ihnen gehört.”

Shanky zeichnet in ihrer Erklärung das Bild, dass Full Tilt die Bots bis zuletzt nicht verfolgt hat und es keine Anzeichen dafür gab, dass den Nutzern wegen des Verstoßes gegen die Nutzungsbedingungen Gefahr drohte.

Unverständlich ist diese Strategie von Shanky nicht, schließlich haben sie ihren zahlenden Kunden zugesichert, dass ihre Software bei Full Tilt sicher sei. Diese Zusicherung muss nun auch nach der Katastrophe für Shanky gerechtfertigt werden.

Eine näherliegende Sichtweise

Warum diese Bots so lange bei Full Tilt spielen konnten, ohne dass etwas gegen sie unternommen wurde, sehe ich persönlich – anders als Shanky – in verschiedenen Punkten begründet:

1. Die Bots lösen keinen automatischen Alarm bei den Sicherheitschecks aus. Das heißt, sie gewinnen nicht überdurchschnittlich viel und sie zeigen auch sonst kein auffälliges Verhalten, das andere Sicherheitsmechanismen in Gang setzt.

2. Auf den Mikro-Limits bei Full Tilt tummeln sich abertausende Spieler. So sind in den Abendstunden über 25.000 Echtgeldspieler bei Full Tilt online. Die große Mehrheit dieser Spieler spielt Limits unterhalb von 10c/25c. In einer so großen Gruppe können sich Bots problemlos lange verstecken, ohne dass irgendjemand Notiz von ihnen nimmt.

3. Bots im Allgemeinen wird keine große Bedeutung beigemessen, da sie im durchschnittlichen Spielniveau noch nicht einmal ansatzweise an halbwegs gesunde Spieler heranreichen.

Meiner Meinung nach liegt die Erklärung, dass Full Tilt diese Bots schlicht nicht gesehen hat, wesentlich näher als die von Shanky propagierte Erklärung, dass Full Tilt diese Bots wissentlich agieren gelassen hat.

Hinzu kommt, dass ein solcher Bot Full Tilt auf lange Sicht eher Geld kostet, obwohl er eine Menge Rake produziert. Ein Bot, der auf FT in den Mikro-Limits jeden Monat genügend Rake für die Iron Man Promotion macht, bekommt zum Beispiel ab dem 7. Monat zwischen 40 und 50 Prozent der Rake zurück. Ließe man den Bot außen vor und die Rake auf den Tischen, würde diese schlussendlich mehrheitlich von den eher schwachen Spielern umgesetzt werden, die zumeist weder Rakeback erhalten, noch genügend Rake für irgendwelche Promotions generieren und das Geld bliebe größtenteils zur Gänze auf dem Konto von Full Tilt.

Dass Fult Tilt diese Bots nicht eher erkannt hat und entsprechend agiert hat, ist jedoch eine Nachlässigkeit, die der Seite angelastet werden muss. Hier ist zu wünschen, dass an den Sicherheitschecks mit Nachdruck gearbeitet wird.

Was bleibt?

Zum Schluss bleibt zunächst festzustellen, dass es die Firma Shanky immer noch gibt und sie weiter Bots zum Verkauf anbieten. Zur Zeit wird das Bot-Whoring auf Ultimate Bet propagiert. Es wundert mich keineswegs, dass eine Seite mit einer derart dubiosen Geschichte wie UB jetzt von einer so dubiosen Firma wie Shanky lanciert wird.

Ferner bleibt für mich die Gewissheit, dass halbwegs geistesgegenwärtige Spieler zur Zeit keine Angst vor Poker-Bots haben müssen. Jeder, der auch nur einen auf PokerOlymp zahlreich erschienenen Texte von Ed Miller gelesen und auch nur ansatzweise verstanden hat, kann einen Bot schlagen, der so simpel aufgebaut ist wie die Shanky-Bots es sind.

Aber natürlich sollte man sich hier auch nichts vormachen. Es ist nur eine Frage der Zeit, bis Bots besser werden. Durch weitere Forschung und schlicht durch mehr Rechenleistung wird der Computer irgendwann zu einem formidablen Pokerspieler werden und auch Varianten außerhalb von Heads-Up Limit-Hold’em meistern. Ob es dann wirklich dazu ausreicht, um einem guten menschlichen Spieler überlegen zu sein, ist jedoch eine Frage, die ich nicht beantworten kann.

Falls jemand Interesse hat, sich mit einem echten Poker-Bot zu messen, dem sei der Bluffbot 4.0 ans Herz gelegt. Dieser durchaus intelligente Bot musste sich bei dem jährlichen Computer Poker Wettkampf 2009 im Heads-Up No-Limit Hold’em nur den Bots der University of Alberta geschlagen geben und steht als Gegner online jederzeit bereit.

Die abgebildeten Roboter stammen von Nerdbots und sind zur Adoption freigegeben.

Auch Martin Voigt hat sich vor geraumer Zeit zu dem Thema Bots geäußert. Interessierten Lesern kann ich diesen Artikel nur ans Herz legen.