El desarrollo de la Inteligencia Artificial en el poker ha servido para que hagamos una perspectiva para conocer el desarrollo de las máquinas inteligentes.
A principios de mes, Libratus, una máquina de Inteligencia Artificial para el poker, consiguió batir a un equipo de profesionales humanos de los “Heads-up”, formado por Jason Les, Dong Kim, Daniel McAulay y Jimmy Chou.
Pero este resultado es el primer culmen de lo logrado por los desarrolladores de las máquinas inteligentes, que han ido desarrollando software y programas cada vez más perfectos hasta hacer que la máquina venza al humano en poker, algo muy discutido durante las últimas semanas.
El poker es un auténtico desafío para los desarrolladores de inteligencia artificial, ya que, como juego, es incompleto. Algo que lo diferencia de otros juegos completos como, por ejemplo, el ajedrez.
Entonces, ¿por qué los científicos del mundo ponen todas sus horas de trabajo en ello?. La respuesta puede estar más allá del poker, ya que los científicos e informáticos creen que la solución del poker podría aplicarse a más cuestiones de la vida real, como negocios, salud y otros.
Echemos un vistazo al largo desarrollo que ha tenido la inteligencia artificial durante más de veinte años. Y es que Libratus es solo el principio…
1984 – Mike Caro y su rudimentario software de Poker
El jugador de poker, Mike Caro, consiguió diseñar un programa de ordenador al que llamó Orac, y que compitió contra varios profesionales en las World Series of Poker de 1984.
Caro pasó dos años desarrollando Orac (que es Caro, pero al revés) en un, ya glorificado, Apple II. Orac era sencillo para los estándares de la Inteligencia Artificial de hoy en día, pero uno de sus logros fue vencer en una partida al mismísimo Doyle Brunson.
Curiosamente, Orac tenía que escanear, mediante códigos de barras, sus cartas, por lo que no se puede decir que fuera independiente de los humanos al cien por cien.
Orac también se enfrentó a Bob Stupak en el Stratosphere en una partida de promoción y recibió una derrota bastante preocupante. De hecho, en su primera partida al mejor de tres, Orac sufrió un episodio bastante oscuro, ya que alguien la desenchufó y tuvo que ser reiniciada de nuevo.
1991 – La Universidad de Alberta comienza su trabajo
El Grupo de Investigación en Ordenadores de la Universidad de Alberta, el cual sería en el futuro uno de los mayores desarrolladores de la inteligencia artificial en el poker, comenzó a trabajar en sus robots de poker en 1991.
El grupo contó con un elenco de caras que iban cambiando, incluyendo al experto en juegos y semi-profesional del poker, Darse Billings, además de Denis Richard Pap, Jonathn Schaeffer, Duane Szafron, Michael Bradley Johanson, Neil Burch y otros muchos. Michale Bowling se uniría a este equipo más adelante, convirtiéndose posteriormente en un grandísimo equipo para la Inteligencia Artificial en el poker en todo el mundo.
1996 – Deep Blue derrota a Kary Kasparov
La máquina de IBM, Deep Blue, jugó contra el campeón del mundo de ajedrez, Gary Kasparov. Y lo derrotó.
Este hecho provocó un enorme revuelto dentro de las investigaciones sobre inteligencia artificial, ya que pronto las máquinas comenzarían a imponerse a los humanos en juegos como el Go, además del Ajedrez.
El poker es muy diferente del ajedrez, ya que es un juego de información incompleta, algo que supone una dificultad añadida para los ordenadores.
Curiosamente, el proyecto Deep Blue (originalmente llamado Deep Thought) comenzó en la Universidad de Carnegie Mellon por Feng-hsiung Hsu. Esta sería la primera vez que esta universidad formaba parte de la historia de la Inteligencia Artificial.
1997 – Uni. de Alberta lanza Loki
El Grupo de Investigación en Ordenadores de la Universidad de Alberta presentó Loki, y lo usa en un foro de apuestas y poker como fruto de su investigación. Darse Billings y dos estudiantes más desarrollaron Loki bajo la dirección de los científicos informáticos Jonathan Schaeffer y Duane Szafron.
Loki está diseñado para jugar en una completa de poker (nueve jugadores), algo que aún no ha sido resuelto por la inteligencia artificial. Al igual que los primeros ordenadores con inteligencia artificial, Loki también se centró en el Limit Hold’em en lugar de la popular variación No-Limit.
Inicialmente, el equipo tenía la esperanza de que Loki fuera lo suficientemente avanzado como para competir en las World Series of Poker, pero Caesars finalmente cambió las reglas para que solo fueran humanos los que se disputaran el título de campeón del mundo.
Loki fue, sin duda, el primero de una larga lista de ordenadores con inteligencia artificial con un gran impacto en el mundo del poker. Su nivel de poker estaba ligeramente por debajo de un jugador de poker promedio.
1999 – Loki se convierte en Poki en videojuegos
Los chicos de la Universidad de Alberta deciden renombrar a Loki como Poki, un robot que cambia las variables de poker para jugar mano a mano al Texas Hold’em, el cual tiene menos variables.
Poki puede jugar al nivel de un jugador promedio. Muchos de estos primeros robots de inteligencia artificial (y posteriores también) se basan en el concepto de Equilibrio de Nash, que, simplemente consiste en tomar la mejor decisión posible en base a la decisión tomada por otro jugador.
Poki conseguiría también la licencia para el videojuego Stacked, que también tuvo la imagen de Daniel Negreanu.
2002 – Sparbot muestra su potencial en la Universidad
La Universidad de Alberta desarrolló entonces una colección de robots con inteligencia artificial como PsOpti y Sparbot, los cuáles intentaban resolver los límites del poker en el mano a mano.
A pesar de los resultados alentadores, ninguno de ellos consiguió superar a jugadores intermedios de poker. El equipo usó al profesional Gautam “thecount” Rao como oponente para la máquina de IA. “Tenéis un programa muy fuerte. Una vez que añadan el modelo de oponente, podrá ganar a todo el mundo”, señaló por entonces.
La Universidad de Alberta siguió trabajando durante los siguientes años para mejorar su máquina de inteligencia artificial.
2003 – Los desarrolladores se alejan del modelo del ajedrez
Este fue un año crucial para el desarrollo de la inteligencia artificial en el poker, ya que los investigadores comenzaron a cambiar su enfoque metodológico que llevó al éxito de Deep Blue como IA en el Ajedrez.
A destacar también que Michael Bowling, quien realizó su doctorado en la Carnegie Mellon University, se traslada a trabajar a la Universidad de Alberta, donde será el que impulse el ordenador de inteligencia artificial durante los diez siguientes años.
2004 – Toumas Sandholm comienza su trabajo en la Carnegie Mellon
La Universidad Carnegie Mellon y el profesor Toumas Sandholm fuero la fuerza detrás del reciente éxito de Libratus frente a los jugadores profesionales. Con los años, Sam Ganzfried y Noam Brown también hicieron sus aportaciones al programa.
En otras noticias, el ICCM Poker Bot Challenge acogió un torneo para varios bots con inteligencia artificial de poker en todo el mundo. Ace Gruber, de la Universidad de Toronto, fue el ganador.
2005 – Las World Series of Poker Robots
El boom del poker se encuentra en pleno apogeo y el Golden Palace de Las Vegas acogió un evento promocional en el Binions Casino, con un premio de $100.000 para el ganador. Hubo seis entradas diferentes.
PokerProbot, diseñado por un vendedor de coches de 37 años de edad, Hilton Givens, fue el que consiguió la victoria. PokerProbot derrotó a Poki-X, que fue una versión del famoso bot de la Universidad de Alberta, Poki (una actualización de Loki).
Phil Laak también consiguió ganar a PokerProbot en una partida mano a mano de exibición durante la competición. “En tres o cinco años van a ganar”, afirmó por entonces Kenneth “The Clone” Jones, un profesional del poker y, de vez en cuando, ingeniero informático.
2006 – Comienza la Annual Computer Poker Competition
Comienza el Annual Computer Poker Competition (ACPC o ACM, como fue conocido). Los equipos pesos pesados de esta competición eran la Universidad de Alberta y la Carnegie Mellon University, quienes continuaron compitiendo y ganando varios premios. Además, había algunas universidades menos conocidas e independientes.
2007 – Polaris, cerca de derrotar a Phil Laak
La Universidad de Alberta estrena Polaris, que se convierte en uno de los mayores bots de poker del mundo gracias a un mano a mano contra Phil Laak, el cual perdió por muy poco.
Polaris es, realmente, un programa que se compone de un número de bots que trabajan juntos (incluyendo el promocionado Hyperborean08). El programa contiene una serie de estrategias fijas y elige entre ellas durante la partida.
2008 – Polaris vence informalmente a los humanos
Polaris compite contra seis jugadores humanos durante la Gaming Life Expo y publica su registro de tres victorias, dos derrotas y un empate.
Para 2008, la edición del bot fue mejorada significativamente con respecto a su predecesor, que compitió en 2007 contra Phil Laak, pero que cayó derrotado.
2009 – La Universidad de Auckland presenta a Sartre
La Universidad de Auckland comienza a trabajar en Sartre (Similarity Assessment Reasoning for Texas Hold'em via Recall of Experience). Este pasaría a ser un importante competidor dentro del mundo de la inteligencia artificial, y se situaría bien en las competiciones a lo largo de los próximos años.
Fue una de las máquinas de inteligencia artificial que raramente no procedían de la Universidad de Alberta o de la Carnegie Mellon. Aún puedes competir contra Sartre online aquí.
2011 – Mano dura de PokerStars y FullTilt a los bots
Durante varios años, los bots con inteligencia artificial de poker no eran lo suficientemente buenos para competir contra los humanos jugando al poker online, pero la IA mejoró de tal manera que era cuestión de tiempo que la situación cambiase y los programadores oportunistas sacaran tajada de ello en el mercado.
Alrededor de 2008, los rumores comenzaron a circular sobre la actividad de bots en varias salas de poker. Darse Billings, de la Universidad de Alberta, afirmó que la mayoría de los robots de poker eran muy malos y que seguro que más del 90% perderían dinero.
Eso no impidió que empresas como Shanky Technologies vendieran abiertamente programas para competir en partidas de Texas Hold’em y PLO.
Esto llegó a tal punto que, en 2011, operadores de peso como PokerStars o Full Tilt Poker hicieron un gran esfuerzo para eliminar a los bots de sus salas por completo. Cuando un jugador es identificado como un bot, son inmediatamente eliminados y sus fondos son confiscados.
Los bots ya no son un problema importante, ya que la mayoría de salas de poker tienen un avanzado sistema de reconocimiento humano.
2014 – Tom Dwan vence a Limit Heads-Up Machine
El jugador profesional, Tom Dwan, venció y ganó una gran suma millonaria al vencer a la máquina de poker con inteligencia artificial, Limit Heads-Up.
Esta fue diseñada por IGT, un fabricante de máquinas tragaperras y máquinas de vídeo poker. Supuestamente la máquina utiliza una red neutra para aprender nuevas estrategias. El programa usado para Texas Hold’em fue diseñado por Fredrik Dahl, de la Universidad de Oslo.
Phil Hellmuth y Johnny Chan recibieron cada uno un modelo de la máquina, pero nunca consiguió que tuviera éxito, al menos en comparación con las tragaperras tradicionales. El Bellagio de Las Vegas aún tiene una de las máquinas de Hellmuth.
2015 – Cepheus resuelve el Limit Hold’em
Después de años de desarrollo, como hemos podido leer, la Universidad de Alberta finalmente lanzó un bot de poker con inteligencia artificial que consiguió resolver el Limit Hold’em en mano a mano. Esto fue en invierno de 2015.
Cepheus dominó el Limit Hold’em jugando contra sí mismo durante dos meses. Por supuesto, el pedigrí de esta máquina venía precedido por el éxito de sus predecesores, incluyendo a Loki, Poki, Vexbot, Hyperborean, Polaris y el resto de científicos de la Universidad de Alberta.
Esto significó un punto de referencia importante para el poker dentro de la inteligencia artificial, ya que el Limit Hold’em era el juego de información más grande esecialmente “resuelto”. Erróneamente, Cepheus recibió la catalogación de imbatible. De hecho, es posible que Cepheus pierda dinero, aunque poco probable que esa cantidad sea muy grande.
A pesar de que Cepheus tenía un firme control sobre el Limit Hold’em, la versión No-Limit sigue sin resolverse y algunos científicos creen que podría ser así por los próximos años a la naturaleza impredecible del juego.
El objetivo detrás de Cepheus y otras máquinas de inteligencia artificial similares no era otro que usarlo para aplicaciones de ayuda a los gobiernos en materia de seguridad o negociado de tácticas. Ayudar a médicos a modificar tratamientos para sus pacientes.
Podéis probar el Cepheus accediendo a la web de la Universidad de Alberta.
Claudico, por su parte, pierde contra los humanos en su desafío.
Para no ser superada por la Universidad de Alberta, Tuomas Sandholm, en la Carnegie Mellon, lanza su propio bot de poker de inteligencia artificial, Claudico, en el verano de 2015.
La gran diferencia entre Claudico y Cepheus es que el primero juega No-Limit Hold’em, que es mucho más difícil de dominar.
El equipo de la Carnegie desafía públicamente por $100.000 a un grupo de profesionales donde se encontraban Doug Polk, Jason Les, Bjorn Li y Dong Kim, para competir contra Claudico en un total de 200.000 manos por jugador durante un periodo de 13 días en el Rivers Casino.
Al final, el equipo humano se llevó el desafío. Terminaron con un beneficio figurado de $732.713 sobre la máquina de inteligencia artificial. Pese a la victoria, Jason Les ya preveía por aquel entonces que era cuestión de tiempo que cayeran derrotados por las máquinas. Parece que no se equivocó.
2017 – Lanzamiento de DeepStack AI
os expertos siguen esperando para su discusión. En este sentido, Tuomas Sandholm, de la Carnegie Mellon, afirmó a Wired Magazine que el estudio de la Universidad de Alberta no resuelve el problema, ya que DeepStack jugó contra jugadores normales, no contra grandes como Claudico/Libratus.
Libratus aplasta a los jugadores humanos
En Enero de 2017, Libratus finalmente dio el mayor golpe de la historia al vencer a un equipo de humanos. Literalmente, los aniquiló. El desafío duró 20 días, 120.000 manos, y en el momento en el que la última mano se disputó, Libratus tenía un asombro número de ganancias de $ 1.766.250.
El equipo humano estaba compuesto por los mejores jugadores de mano a mano en el poker del mundo en No-Limit Hold’em, Dong Kim, Dan McAulay, Jimmy Chou y Jason Les.
Kim, que fue el que menos perdió de los cuatro (solo $85.649) admitió que se sintió fuera de toda posibilidad. "Sentía que estaba jugando contra alguien que estaba haciendo trampas, como si pudiera ver mis cartas. No lo estoy acusando de hacer trampas. Era bueno”, señaló a Wired Magazine.
Aunque Libratus, que en Latin significa “Equilibrio”, era el sucesor de Claudico, realmente hubo que empezar desde cero para armarlo. Libratus no tenía una estrategia fija incorporada, sino que en su lugar se basó en un algoritmo que calculaba la estrategia.
Los jugadores notaron varios cambios a la hora de jugar contra Libratus, ya que la máquina de inteligencia artificial analizaba su propio juego y todas las noches corregía por sí solo sus errores. Para ello, la máquina de inteligencia artificial necesitaba estar impulsada por el Pittsburgh Super Computer, que es aproximadamente 7.250 veces más rápido que un ordenador convencional.
Además, Libratus es el mejor en mano a mano, pero habría que ver si es capaz de jugar contra más de un oponente, lo que es una tarea completamente diferente. Sandholm espera, mientras tanto, que esta tecnología tras libratus tenga muchas aplicaciones en la vida real.
Estos han sido las máquinas de inteligencia artificial del poker creadas:
Universidad de Alberta
- Loki
- Poki
- PsOpti/Sparbot
- Vexbot
- Hyperborean
- Polaris
- Cepheus
Carnegie Mellon University
- Tartanian
- Claudico
- Libratus
Universidad de Auckland
- Casper
- Sartre
Independiente - Fredrik Dahl
- Texas Hold'Em Heads-Up Poker
