Leela Chess Zero bei der WCCC

[Asmodis]

Tja, die World Computer Chess Championship in Stockholm beginnt am Freitag und das erst "richtige" Neuronale Netzwerk, Leela, wird in der allgemeinen Klasse (keine Hardwarebeschränkung) dabei sein. Soviel ich weiss wird das Programm mit 5 parallel geschalteten Titan V Grafikkarten starten, also dem besten was es auf dem Workstationsektor an Grafikkarten gibt. (Zur Erinnerung, Leela ist auf GPUs und nicht auf CPUs ausgerichtet, wie gewöhnliche Schachprogramme)

By the Way: In einem Testwettkampf auf dem TCEC-Server hat sie sich mit 2 parallelen GTX 1080 TI-Karten gegen das Programm Andscacs (immerhin auf einem XEON-Dualboard mit 43 Kernen) ganz annehmbar geschlagen. Der Wettkampf ging zwar insgesamt mit 14:10 verloren, aber die Leistung ist schon ganz anständig, wenn man bedenkt dass der Gegner immerhin auf 43 Kernen lief. Mit allein einer GTI 1080 TI (Preis um die 600 EUR) dürfte Leela etwa so stark sein, wie Komodo oder Houdini auf einem guten 6-Kern- oder 8-Kern-Prozessor. Ich bin gespannt, wie Leela nun bei der WCCC abschneidet zumal mich die Spielweise schon sehr begeistert...

[kweber]

Wollte zu diesem Beitrag eine kurze Stellungnahme abgeben. Aber ich hab' immer noch kleine Schwierigkeiten.

[Asmodis]

Hm... ich weiss ja nicht was für Schwierigkeiten Du jetzt hattest, aber bevor deine Stellungnahme kommt, will ich mal meinen Post noch etwas korrigieren. Die Aussage dass Leela bei der WCCC mit 5 V100 laufen wird, ist schon wieder kalter Kaffee und entstammte einer Diskussion im gitHub-Forum. Zwischenzeitlich hat sich das präzisiert: Es werden sogar 8 V100 sein. Also schon eine Menge Holz. Immerhin kostet diese Hardwareausstattung stolze 64000 $.

Allerdings geizt gerade in der offenen Klasse, in der es keine Hardwarebeschränkungen gibt, auch die Konkurrenz nicht. Kommodo ist dabei noch einigermaßen normal geblieben und läuft auf 64 cores. Gingko wird wohl auf einem Cluster mit 200 cores starten. Johnny setzt bei den Kernen noch eine 0 drauf (2000 Kerne).

Insofern ist Leela zwar nahe an der Hardwareleistung, die auch AlphaZero in dem Wettkampf gegen Stockfish 8 hatte, jedoch ist die Gegnerschaft (vor allem Gingko und Johnny) hardwareseitig weit besser aufgestellt, als der damalige Stockfish. Zudem kann das Leela-Team im Gegensatz zum AlphaZero-Team hier nicht bestimmen, wie der Gegner konfiguriert ist und muss auch damit leben, dass die Gegner PermanentBrain benutzen können, was bei Leela derzeit nicht implementiert ist. Ich schätze mal, dass da ein paar sehr interessante Partien auf uns zukommen werden...

Ich bin jedenfalls gespannt wie sich das Projekt weiterentwickelt und vor allem wie sich Leela mit bezahlbarer Hardware weiterentwickeln wird. (Mit bezahlbar meine ich z.B. auf einem durchschnittlichen Gaming-PC, der normal eine vernünftige GPU aber auch eine vernünftige CPU-Ausstattung hat).

Quelle der Info

https://www.chess.com/forum/view/genera ... -tournment

Hartmut

[kweber]

1) Ich wollte nur anmerken, dass diese Art von Beiträgen mich am meisten interessiert
und 2) dass ich erst wieder lernen musste, wie man einen Beitrag öffnet und dann beantwortet!
Aber wie Du siehst schaff ich inzwischen beides.

[Asmodis]

Als kleinen Ergebnis-Dienst...

Kommodo 12 ist im Blitzwettbewerb und in der Softwaregruppe Sieger geblieben. In beiden Events konnte Leela natürlich nicht antreten, da hier die Hardware vorgegeben und Leela auf GPUs (vorzugsweise NVidia-GPUs) optimiert ist.

Heute startet nun die eigentliche WCCC bei der die Teilnehmer die Hardware selbst bestimmen, wie ich im Eingangspost ja schon vermerkt habe. Nach dem offiziellen Terminplan soll es um 9 Uhr losgehen. Da der Terminplan allerdings auf 12 Teilnehmer ausgelegt war und sich letztlich nur 8 Programme gefunden haben, kann sich da durchaus noch was ändern. Am besten mal die Seite icga.org aufrufen und nachsehen ob es etwas neues gibt.

Für diejenigen unter Euch die Zeit haben: Die Spiele können live auf beobachtet werden unter http://view.livechesscloud.com/7c104c94-c119-441e-a444-b0f22a1880d0

[JoergFuchs]

Danke für den Link zum Nachspielen der Partien. Gibt es aber auch einen Link, wo man die Partien als PGN herunterladen kann? Das Nachspielen wäre dann viel einfacher und komfortabler!

Gruß
Jörg

[Asmodis]

Ja, den gibt es. Musst einfach mal auf die ICGA-Hauptseite schauen.

https://icga.org/?p=2572

dort ist ein Link wo Du die Livegames runterladen kannst. Ich nehme an, das wird aber noch komfortabler, wenn ein paar Runden gespielt sind. Im Notfall kann ich am Ende des Turniers die komplette pgn mit allen Partien hochladen.

Kleiner Nachtrag zur ersten Runde. Leela hatte es mit Komodo zu tun und kam in eine aussichtsreiche Position, die dann allerdings ins Remis verflachte. Dummerweise läuft es bei der WCCC etwas anders als in anderen Turnieren und die Partien werden nicht - wie überall - über die UCI-Schnittstelle gespielt sondern es sind wirklich für jede Engine Operatoren da, die die Züge ausführen. Erschwerend kam hinzu, dass Leela noch keine Unterstützung für Tablebases integriert hat und dadurch in vermeintlich etwas besserer Stellung immer wieder versucht hat, das Zuschlagen der 50-Züge-Regel zu vermeiden. Ein Remisangebot des Leela-Operators (bereits in einer Tablebase-Remisstellung) wurde vom Komodo-Team abgelehnt. Es kam wie es kommen musste. Leela verlor die Partie auf Zeit, weil in einer solchen Phase eben der Operator schnell handeln muss. Peinlich. Da hat man 133 Züge lang gegen Komodo gut gekämpft und dann sowas... Schade. Aber die Spielweise von Leela war während der ganzen Partie durchaus überzeugend und Komodo hatte während der ganzen Partie keinerlei Chance auf einen regulären Sieg am Brett.

Die 2. Partie läuft bereits. Diesmal gegen Booot und hoffentlich mit weniger Turnierpech...

[Asmodis]

So, die 2. Runde ist auch gelaufen und Leela hatte ein Remis gegen Booot. Die Ergebnisse der beiden ersten Runden bisher:

Code: Alles auswählen

Pairing of round 1 of World Computer Chess Championship 2018
16/07/2018 09:00

Table White               - Black                      Results
------------------------------------------------------ round 1
  1   Leela Zero Chess    - Komodo             1-  8    0-1   
  2   Booot               - Jonny              2-  7    ½-½   
  3   GridGinkgo          - The Baron          3-  6    1-0   
  4   Chiron              - Shredder           4-  5    ½-½   


Pairing of round 2 of World Computer Chess Championship 2018
16/07/2018 14:00
Table White               - Black                      Results
------------------------------------------------------ round 2
  1   Komodo              - Shredder           8-  5    ½-½     
  2   The Baron           - Chiron             6-  4    ½-½     
  3   Jonny               - GridGinkgo         7-  3    ½-½   
  4   Leela Zero Chess    - Booot              1-  2    ½-½     



Damit führen derzeit Komodo und GridGingko mit 1,5 Punkten vor Booot, Jonny, Chiron und Shredder mit 1,0 Punkten. Leela und The Baron sind derzeit abgeschlagen mit 0,5 Punkten am Tabellenende. Nach dem Verlauf des Wettkampfes Komodo-Leela hätte es eigentlich anders aussehen müssen, GridGingko wäre da alleiniger erster und Baron alleiniger Letzter. Aber naja. Warten wir ab. 5 Runden sind noch zu spielen und die Toten werden am Schluß gezählt. Morgen ab 9 Uhr geht es weiter.

[Asmodis]

Tja, nachdem die Mutter des Operators von Leela einen Unfall hatte musste dieser überraschend abreisen. Er wurde zwar durch einen neuen Operator ersetzt aber nun stehen leider nur noch 2 NVidia GTX 1080TI Grafikkarten zur Verfügung was Leela empfindlich schwächer machte. Da ist sie im Turnier nun praktisch chancenlos. Ensprechend ging auch in Runde 3 Das Spiel verloren, in Runde 4 Remis. Das wars dann. Die 5. Runde gegen Shredder endete allerdings auch in einer Tablebase-Remisstellung in die sich Shredder (mit 2 Bauern weniger) gerade noch so retten konnte. Insgesamt macht das Lust auf mehr und zeigt durchaus (auch auf schlechterer Hardware) die Qualitäten der Engine. Man darf da gespannt sein, wie sich das Projekt noch entwickelt. Shredder ist zwar kein Stockfish aber immerhin ja auch eine hochklassige Engine.

[Horst S]

Hallo!
bei mir hat LzO (NVIDIA Geforce GTX 1070) ungefähr die Stärke von Stockfish 7 mit 2Cpu ... ist besser als Komodo 8 unter gleichen Bedingungen.
Grüße Horst

[Asmodis]

Hallo Horst

Wobei es natürlich immer darauf ankommt, welches Netz man testet. Leela entwickelt sich ja rasant weiter. Im jetzigen TCEC-Turnier ist sie jedenfalls in der Division 4 erstmal Turniersieger geworden und muss sich nun in der Div 3 beweisen.

http://tcec.chessdom.com/season13/live.php

Während die "normalen" Engines mit 43 (echten) Cores antreten läuft Leela auf einem Server mit 2 GTX 1080TI. Die Hardwarekonfiguration der "normalen Engines:

CPUs: 44 Cores -> 2 x Intel Xeon E5 2699 v4 @ 2.8 GHz
Motherboard: Supermicro X10DRL-i
RAM: 64 GB DDR4 ECC
SSD: Crucial CT250M500 240 GB
Chassis: Supermicro
OS: Windows Server 2012 R2

http://www.chessdom.com/tcec-season-13- ... f-the-nns/

Der Endstand in Div4 war wie folgt:
1. LCZero 20
2. Deus X 18,5
3. Wasp 3.2 18

Die restlichen Engines Rodent III, Senpai 2.0, Chess22k, Tucano und Ivanhoe wurden mit Punktzahlen zwischen 9.5 und 12.5 gnadenlos abgeschlachtet.
Deus X ist übrigens auch eine LCZero-Variante, wurde aber nicht durch Spiele gegen sich selbst sondern durch Meisterpartien aus der Chessbase Megabase trainiert. Ein wenig leid tut es mir schon um die Engine Wasp 3.2 des Altmeisters John Stanback (Man erinnert sich vielleicht an das Programm Socrates aus den 90ern...) welches als einziges beiden neuronalen Netzwerken gefährlich werden konnte
Wasp - LCZero +1 =2 -1
Wasp - Deus X +2 =1 -1
aber dann gegen die anderen Engines leider 1-2mal zu oft patzte und somit den Aufstieg knapp verfehlte.

Aufgestiegen in Div3 sind damit also beide Neuralen Netzwerke (LCZero und Deus X), Die Startaufstellung für Div 3 lautet somit:

1. Hannibal
2. Arasan
3. Pedone
4. Ethereal
5. Bobcat
6. Nemorino
7. LCZero
8. Deus X

Die beiden Erstplazierten steigen in Div 2 auf wo dann mit Gull, Texel, Xiphos, ChessBrainVB, Nirvana und Vajolet nochmal eine stärkere Gegnerschaft wartet. Ist also noch ein langer Weg bis die großen 3 (Stockfish, Komodo und Houdini) gefordert werden können. Warten wir ab und freuen wir uns (so wir vor lauter Fernschachanalysen Zeit dafür haben) auf spannende Partien.