Leela Chess im Finale von TCEC 14

[Asmodis]

Nachdem Leela im 13. TCEC-Turnier noch in Division 3 gescheitert ist, hat sich in den letzten 4 Monaten eine ganze Menge getan. Nachdem sie im vorhergehenden Turnier bis Division 3 gekommen war, ging es auch in diesem Turnier in Division 3 weiter. Diesmal mit einem besseren Ergebnis:

Code: Alles auswählen

1:    LCZero v19-TP-11248    22.5 / 28     283.00     XXXX    =1=1    0=11    11==    =1=1    1111    11=1    =111   (+18 -1 =9)

2:    KomodoMCTS 2210.00     20.0 / 28     238.00     =0=0    XXXX    11==    11=1    =1=1    =11=    =1==    1111   (+14 -2 =12)

3:    Arasan CCC3            13.5 / 28     171.75     1=00    00==    XXXX    0==1    10==    ====    ====    1==1   (+5 -6 =17)

4:    Pedone 191118          13.5 / 28     158.75     00==    00=0    1==0    XXXX    ===1    =0=0    1110    1=11   (+8 -9 =11)

5:    rofChade 1.023T        12.5 / 28     158.00     =0=0    =0=0    01==    ===0    XXXX    =100    ==11    =1==   (+5 -8 =15)

6:    Vajolet2 2.6.1         12.5 / 28     151.00     0000    =00=    ====    =1=1    =011    XXXX    =0==    ==1=   (+5 -8 =15)

7:    Nemorino 5.05          11.5 / 28     143.50     00=0    =0==    ====    0001    ==00    =1==    XXXX    1011   (+5 -10 =13)

8:    Hannibal 20181202      6.0 / 28     80.50     =000    0000    0==0    0=00    =0==    ==0=    0100    XXXX   (+1 -17 =10)

Und auch die stärkere Gegnerschaft der Division 2 schien sie kaum zu beeindrucken

Code: Alles auswählen

 Place   Player                   Score       (Tie)     LCZe    Komo    Xiph    Booo    Nirv    Ches    Gull    Texe      +/-/=

1:    LCZero v19.1-RC2-11248    20.0 / 28     260.50     XXXX    =1==    =11=    110=    1=1=    1=1=    =11=    1=1=   (+13 -1 =14)

2:    KomodoMCTS 2217.00        17.0 / 28     216.75     =0==    XXXX    ====    ====    1===    =1==    1==1    11=1   (+7 -1 =20)

3:    Xiphos 0.4.14             16.0 / 28     207.00     =00=    ====    XXXX    ====    11==    ==11    ===1    ===1   (+6 -2 =20)

4:    Booot 6.3.1               14.0 / 28     188.50     001=    ====    ====    XXXX    ====    0===    0=1=    =1=1   (+4 -4 =20)

5:    Nirvana 2.4               13.0 / 28     169.25     0=0=    0===    00==    ====    XXXX    01==    =11=    ==1=   (+4 -6 =18)

6:    ChessBrainVB 3.72         12.0 / 28     164.00     0=0=    =0==    ==00    1===    10==    XXXX    11=0    ==0=   (+4 -8 =16)

7:    Gull 180521               11.5 / 28     149.75     =00=    0==0    ===0    1=0=    =00=    00=1    XXXX    111=   (+5 -10 =13)

8:    Texel 1.08a13             8.5 / 28     121.75     0=0=    00=0    ===0    =0=0    ==0=    ==1=    000=    XXXX   (+1 -12 =15)

Dann kam Division 1 und auch dort gab es kaum Probleme, wenn man von einer Verlustpartie gegen Komodo absieht.

Code: Alles auswählen

  Place   Player                   Score       (Tie)     LCZe    Komo    Fizb    Chir    Gink    Lase    Jonn    Frit      +/-/=

1:    LCZero v19.1-11248    20.0 / 28     256.25     XXXX    ====    ==11    11=0    ==11    1=11    ==1=    11=1   (+13 -1 =14)

2:    KomodoMCTS 2221.00    17.5 / 28     229.75     ====    XXXX    ==10    =1==    ==11    ===1    ===1    11==   (+8 -1 =19)

3:    Fizbo 2               14.5 / 28     194.50     ==00    ==01    XXXX    1===    110=    ==10    ==1=    ====   (+6 -5 =17)

4:    Chiron S14            13.5 / 28     176.25     00=1    =0==    0===    XXXX    10=0    ====    =10=    1=11   (+6 -7 =15)

5:    Ginkgo 2.18b          13.5 / 28     175.00     ==00    ==00    001=    01=1    XXXX    ====    1==1    =1==   (+6 -7 =15)

6:    Laser 181205          13.0 / 28     169.25     0=00    ===0    ==01    ====    ====    XXXX    =1==    1===   (+3 -5 =20)

7:    Jonny 8.1             12.0 / 28     162.00     ==0=    ===0    ==0=    =01=    0==0    =0==    XXXX    =1=1   (+3 -7 =18)

8:    Fritz 16.10           8.0 / 28     115.00     00=0    00==    ====    0=00    =0==    0===    =0=0    XXXX   (+0 -12 =16)

Erst in der Premier-Division in der dann letztlich auch Stockfish mitspielte wurde es etwas schwieriger. 3 Verlustpartien gegen Stockfish, Komodo und Fire waren eine bittere Pille. Aber hier half dann Kollege Zufall etwas mit. Eigentlich war Leela von Komodo überholt worden, jedoch wurde Komodo MCTS, die MonteCarlo Version von Komodo wegen 3maligem Absturz disqualifiziert und sämtliche Punkte der Programme die gegen KMCTS erspielt wurden, wurden annuliert. Dadurch rückte die "Drama-Queen" unter den Schachprogrammen dann auf Platz 2 auf (dicht vor Komodo und Houdini) und trifft jetzt im Finale auf Stockfish. Man darf gespannt sein.

Hier noch die Platzierungen aus der Premier Division:

Code: Alles auswählen

 Place   Player                   Score       (Tie)     Stockf    LCZero    Komodo    Houdin    Fire 7    Ethere    Andsca      +/-/=

1:    Stockfish 181224       25.0 / 36     416.75     XXXXXX    ===1==    ==1=11    =1=1==    1=====    1==1=1    111=1=   (+14 -0 =22)

2:    LCZero v20rc2-32194    20.0 / 36     338.00     ===0==    XXXXXX    ====0=    ======    =1=101    ===1==    =111==   (+7 -3 =26)

3:    Komodo 2227.00         19.5 / 36     328.25     ==0=00    ====1=    XXXXXX    ======    =1=1=1    ===1==    =====1   (+6 -3 =27)

4:    Houdini 6.03           19.0 / 36     324.00     =0=0==    ======    ======    XXXXXX    1=====    ===1==    1==1==   (+4 -2 =30)

5:    Fire 7.1               15.0 / 36     268.75     0=====    =0=010    =0=0=0    0=====    XXXXXX    1=====    ======   (+2 -8 =26)

6:    Ethereal 11.14         14.0 / 36     255.00     0==0=0    ===0==    ===0==    ===0==    0=====    XXXXXX    ==0===   (+0 -8 =28)

7:    Andscacs 095           13.5 / 36     235.75     000=0=    =000==    =====0    0==0==    ======    ==1===    XXXXXX   (+1 -10 =25)

Ich hoffe die Tabellen sind einigermaßen lesbar. So viel geben die Formatierungsmöglichkeiten des Forums leider nicht her...

[Schachhai]

Bis zum Start des Superfinales wird es noch etwas dauern
Zur Zeit läuft ein Pokalturnier der 32 besten Engines

[Asmodis]

Ja, soweit ich weiss sind da 15-20 Tage angepeilt... Aber wer es beobachten will... auch da ist Leela dabei. Letztes Mal kam sie immerhin bis zum Viertelfinale und hatte da das Pech auf Stockfish zu treffen. Zwischenzeitlich haben beide "dazugelernt". Mal sehen wo es hinführt... Nach dem Pokal startet dann das Superfinale, also irgendwann zwischen dem 4. und 10 Februar, wenn ich richtig gerechnet habe.

[Schachhai]

Das Erstrundenmatch von LcO im Pokal wird hezte Mittag starten (8 Partien)
https://tcec.chessdom.com/live.html

[Asmodis]

...und endete mit einem grandiosen 8:0 für Leela. Wobei der Gegner Tucano allerdings das Problem hatte, dass der Entwickler wohl noch keine Tablebase-Unterstützung eingebaut hatte. Das Programm ist mit geschätzten Elo von 2850 auch noch vergleichsweise schwach. Die Partien wurden allerdings alle nicht im Endspiel gewonnen sondern im frühen Mittelspiel. Der nächste Gegner wird wohl Xiphos, der in der CCRL-Liste mit einer Computer Elo von 3252 auf Platz 11 steht und damit bedeutend stärker ist. Der Wettkampf wird mit Sicherheit nicht so einseitig verlaufen. Vor Sonntagabend ist allerdings mit dem Wettkampf nicht zu rechnen, wenn ich mir die Liste der Paarungen so ansehe, ich würde sogar eher auf Montag vormittag tippen.

[Schachhai]

Das Superfinale Stockfish – LcO startet heute um 15:00h MESZ
Gespielt werden 100 Partien mit der Zeitkontrolle 120m+15s

https://tcec.chessdom.com/live.html

Nach dem Sieg im Cup-Finale vs Houdini sind die Erwartungen sehr hoch – LcO verlor keine einzige Partie !!

[Asmodis]

Naja, gegen Stockfish wird es vermutlich nicht ganz so glatt laufen. Aber die beiden spielen meiner Meinung nach durchaus auf Augenhöhe. Das einzige Manko das ich bei Leela sehe, ist die Tatsache dass sie aufgrund geringerer Rechentiefe viel später als ihr Gegner auf die Tablebases zugreifen kann. Das war auch beim Finale gegen Houdini bzw. beim Halbfinale gegen Komodo das Problem. Ohne Tablebases wären beide Programme viel schneller eingegangen, weil sie in schlechterer Stellung (und die hatten sie mehr als einmal) die Rettungswege nicht gesehen hätten.

Die Stärke von Stockfish, schnell in die Tiefe zu kommen ist zugleich allerdings auch seine Schwäche. Er ist - zumindest noch - die stärkste konventionelle Schachengine, aber leider dumm wie Brot, was seine positionellen Bewertungsroutinen betrifft (anders käme er auch kaum so schnell in diese Rechentiefen). Gegen andere konventionelle Engines wie Houdini und Komodo geht diese Rechnung in der Regel auf (wenngleich gerade der Halbfinalkampf gegen Houdini gezeigt hat, dass es nicht immer funktiniert... Interessant war hier vor allem die Situation in der er eine von Houdini aufgebaute Verteidigungsmauer nicht erkannt und mit einer Bewertung von über +7 vom Sieg geträumt hat, letztlich aber bei dieser Traumbewertung dann doch das Remis zugestehen musste).

Insofern wird es sicherlich ein sehr interessanter Kampf werden. Ich bin gespannt, welches Konzept sich hier letztlich durchsetzen kann.

[Asmodis]

Wow... so wie das Finale bisher läuft können die Schöpfer von Leela zufrieden sein. Bisher Gleichstand nach 48 Partien. Leela kam anfangs in Nachteil und Stockfish führte mit 2 Punkten und man dachte: "Alles wie gewohnt". Pustekuchen. Leela glich in den folgenden Partien aus. Dasselbe nochmal, diesmal mit einem Stockfish Vorsprung von 3 Partien in Folge. Und wieder der Ausgleich. Nun in der 49. Partie hat Leela erstmals die Chance auf Führung. Ein so spannendes Finale gab es meines Wissens bei den TCEC-Turnieren noch nie. Bedenkt man jetzt noch, dass mindestens 2 Verlustpartien Leelas auf "Löcher" im Training des neuronalen Netzes beruhen (das waren Patzer die ein Bezirksligaspieler nicht gemacht hätte) und diese mit dem Training der nächsten Netze ausgeräumt werden sollen, dann ist Leela bisher unbestreitbar die dominierende Engine.

Ich glaube da ist noch ein Zusatzkapitel für die Fernschachpost fällig...

[Asmodis]

Tja, knapp verpasst war der Sieg im FInale. Aber mit der kürzest möglichen Distanz von nur einem Punkt. Da dürfte es den Machern von Stockfish zeitweise doch ziemlich mau im Magen geworden sein. Das Fazit: Leela hat nach wie vor taktisch ihre Swchwächen, kann aber in positionellen Stellungen auch gegen einen Gegner wie Stockfish punkten. Und die Entwicklung - oder sollte ich besser sagen das Training? - gehen weiter und zwischenzeitlich ist TCEC 15 gestartet. Diesmal mit einer neuen Engine. Ein Hybrid aus konventioneller Engine und einem neuronalen Netzwerk namen Leelenstein (basierend auf Leela aber mit einer eigenen Engine und eigenem trainierten neuronalen Netz). Man darf gespannt sein, wie es weitergeht.

In wichtigen Turnieren benutze ich Leela derzeit noch nicht (bzw. nur in bestimmten Stellungtypen), habe sie aber als Haupt-Analyse-Engine in der Fernschachvereinsmeisterschaft von Berolina im Einsatz um einfach mal die Möglichkeiten zu testen. Im Moment habe ich leider wenig Zeit und viele Partien so dass ich mir einen längeren Bericht zum Superfinale von TCEC 14 erstmal spare. Aber vielleicht schreibe ich ja noch was dazu. Nun verfolge ich aber erstmal TCEC 15 weiter...

[wasserandy]

Danke Hartmut für deine Berichte. Ich finde sie sehr interessant, auch wenn ich von der Materie nicht viel verstehe...