TCEC 15 Finale Leela Chess Zero - Stockfish

Informationen, Hilfestellung und Diskussion zu Engines
Asmodis
Beiträge: 609
Registriert: So 24. Jun 2018, 15:18

TCEC 15 Finale Leela Chess Zero - Stockfish

Beitragvon Asmodis » Mi 15. Mai 2019, 23:53

Und es ist mal wieder soweit. Die nächste Runde ist eingeläutet. Und wieder treffen Stockfish und Leela aufeinander. Mit einem Unterschied. Leela hat dazugelernt. Waren die beiden Programme im 14. TCEC-Finale noch gleichauf wobei Stockfish mit dem knappest möglichen Vorsprung gewann, so zeichnet sich jetzt für das lange Zeit beste Programm ein Desaster ab.

Das Finale (mit Bedenkzeit von 120 Min + 10 Sekunden Inkrement pro Zug) ist auf 100 Partien angesetzt (wobei 50 Eröffnungsstellungen vorgegeben werden, die jeder einmal mit Weiss und einmal mit Schwarz spielen muss). Davon sind zum Zeitpunkt dieses Posts 28 Partien gespielt. Stand derzeit 16 : 12... für Leela, wobei Leela 5 Gewinnpartien verbuchen kann. Eine Partie gewann Stockfish, 22 Remis. Ein bisher ziemlich beeindruckendes Ergebnis gegen einen Stockfish, der auf dem TCEC-Server immerhin durchschnittlich 55 Millionen Stellungen in der Sekunde berechnet...

Die Hardware ist unverändert wie beim 14. TCEC-Turnier. Leela läuft mit 2 Grafikkarten (1x RTX 2080 TI + 1 x RTX 2080) und Stockfish auf einem Server mit 44 echten Kernen (sowas hätt ich hier auch gern mal stehen). Aber softwaremäßig konnte Leela deutlich mehr zulegen als das Stockfishteam.

Klar, so eine Hardwarekonstellation stellt sich natürlich keiner einfach mal aus dem Handgelenk hin. Aber zum Vergleich. Ich habe derzeit einen Intel i7 3770 (4 Kerne, 3,4 GHz) mit einer GTX 970-Grafikkarte hier stehen und auch bei mir ist der Wettkampf Leela gegen Stockfish ein sehr einseitiges Vregnügen. Wenn Leela nicht gerade in ein taktisches Loch fällt (ja das passiert bei einem selektiv arbeitenden Programm ab und an) wird Stockfish ebenso wie sein etwas schnellerer Bruder ASM-Fish einfach positionell zusammengeschoben. Schade, dass wir keinen PGN-Viewer hier auf der Seite haben, sonst würde ich ein paar Partien posten. Wer das Event aber verfolgen will, kann das hier tun:

https://tcec.chessdom.com/live.html#/

und wer sich gezielt die schon gespielten Partien ansehen will, der sei auf das Partienarchiv der Seite verwiesen.

https://cd.tcecbeta.club/archive.html
Liebe Grüße

Hartmut Hering

Schachhai
Beiträge: 206
Registriert: Mo 21. Jan 2019, 22:46

Re: TCEC 15 Finale Leela Chess Zero - Stockfish

Beitragvon Schachhai » So 19. Mai 2019, 09:21

Nun ist fast Halbzeit - nach 46 Partien hat sich das Ganze etwas relativiert
LCO führt mit 8:5 Siegen !! (sieht schon besser aus als 5:1)
Erstaunlich oder gar sensationell ist dieser Zwischenstand trotzdem
Das Flagschiff der AB-Engines ist leck und beginnt zu sinken.
Die NN´s übernehmen das Ruder mit LCO

Für die Fernschachanalyse sehe ich aber noch Vorteile bei den Stockfischderivaten
Man darf gespannt sein was die Zukunft bringt
VG
H Krauß

Asmodis
Beiträge: 609
Registriert: So 24. Jun 2018, 15:18

Re: TCEC 15 Finale Leela Chess Zero - Stockfish

Beitragvon Asmodis » So 19. Mai 2019, 11:35

Jup, die Eröffnungen des 2. Viertels haben für Stockfish mehr getan als die des ersten. Mal sehen mit welchen Varianten die 2. Hälfte aufwartet. Man merkt auf jeden Fall, dass das aktuelle Leela Net im Endspiel stark zugelegt hat.

Betrachtet man die Ergebnisse, so sieht man allerdings auch die Stärken und Schwächen beider Programme. Stellungen die in ein Läuferfianchetto führen scheinen Stockfish nicht wirklich gut zu liegen. So scheiterte Stockfish vor allem in der Robatsch-Verteidigung und im Königsinder. Aber auch Damenindisch war nicht gerade eine Erfolgsstory. Und das es meist keine gute Idee ist gegen Leela Französisch zu spielen ist auch kein Geheimnis (wenngleich... einmal hat es dank eines Patzers geklappt, nämlich in der 12. Partie des Wettkampfs durch den bösen Patzer 67. Kf3 anstelle des sicher zum Remis führenden Td1).

Womit ich schon beim Thema bin, deine Ansicht zu relativieren. Klar, die Stockfishderivate haben für die Fernschachanalyse durchaus ihre Vorteile.. zumindest in bestimmten Stellungstypen. In anderen würde ich persönlich Leela den Vorzug geben. Warum? Ganz einfach. Schauen wir mal vom reinen Punktestand weg uns sehen uns an wer seine Punkte wie gewonnen (oder auch verloren) hat. Die Remispartien lasse ich jetzt mal außen vor (wenngleich auch hier einige Partien vergeben wurden, meist von Leela, die den Sack an entsprechender Stelle nicht zugemacht hat).

Über Partie 10 kann man den Mantel des Schweigens hüllen. Ben-Oni im Fernschach wäre ein Desaster, zumindest wenn man mit Stockfish analysiert. Leela sah sich von Anfang an in Vorteil, während Stockfish die Stellung als += beurteilte. In der Folge wurde er regelrecht ausgeweidet (mit Weiss hingegen konnte er Leelas Verteidigung in gleicher Eröffnung nicht durchbrechen)

Partie 12 habe ich schon erwähnt. Mit Weiss konnte Stockfish in Partie 11 die Verteidigung nicht durchbrechen. Aber auch Leela konnte in dieser speziellen Variantenvorgabe kaum mehr als ein Remis erreichen. Dann allerdings der oben erwähnte Fehler. Die typische Schwäche rein selektiver Programme sind die taktischen Löcher, die sich ab und an auftun. Von einem herausgearbeiteten Sieg kann man hier allerdings kaum reden.

Partie 16 zeigt die typische Schwäche von Stockfish in geschlossen angelegten Fianchetto-Eröffnungen. Während in Partie 15 Leela mit Schwarz locker vom Hocker verteidigen konnte (Stockfish träumte noch von +- als Leelas Bewertung sich schon lange in Richtung Gleichstand bewegte) konnte sie mit Weiss den guten Stockfish genüsslich zusammenschieben. Während Stockfish lange Zeit auf Bewertungen von +0.62 für Weiß verharrte und die Stellung absolut nicht verstand, stieg Leelas Bewertung ständig an. Erst in bereits definitiv gewonnener Stellung hatte man den Eindruck dass der Sieg Leelas schneller hätte kommen können. Oder war das vielleicht eine sadistische Anwandlung, den Gegner so lange zu quälen... grins

Partie 18: Während in der vorherigen Partie Stockfish lange an eine für ihn bessere Stellung glaubte, erwies sich in der Folge, dass man mit Glaubenssätzen und einer Bewertung über 1.5 noch keine Partie gewinnt. Leela verteidigte gekonnt und rettete die Stellung ins Remis. Mit Schwarz kam Stockfish dann aber weniger gut weg. Leela spielte ihre Vorteile sehr gut heraus und diesmal war es dann witzigerweise das Takti´ckmonster Stockfish, der mit 40. ...Dxd5 patzte.

Partie 24: Sehr schön herausgespielte italienische Eröffnung. Witzigerweise gerade in einer offenen Partie, die naturgemäß Stockfish besser liegt, spielte sich Leela einen Vorteil nach dem anderen heraus. Stockfish mit Weiss schaffte dies in Partie 23 jedoch nicht.

Partie 26: Im Dameninder wieder eine gut angelegte Partie in der sich Leela die Vorteile schön herausspielte. Auch hier gelang es Stockfish in Partie 25 nicht, ähnliches zu leisten.

Partie 35 und 36. Die Stellung im vorgegebenen Sizilianer scheint Weiss deutlich zu bevorzugen. Jedoch, so einfach ist es nun auch wieder nicht. In Partie 35 verteidigte sich Leela eigentlich recht gut und griff erst im 111. Zug mit Ke7 daneben. In einer Phase, als quasi nur noch geblitzt wurde. Und da zeigt sich natürlich der Vorteil einer taktisch starken Engine wie Stockfish. Blitzen kann er einfach besser. Umgekehrt in Partie 36 die nicht so lange dauern sollte. Leela nutzte Raumvorteile und schnürte Stockfish systematisch ein. Stockfish konnte die Stellung zwar lange verteidigungsfähig halten, verbrauchte dabei aber zuviel Zeit. Und es hilft eben nicht ein taktisches Blitzmonster zu sein, wenn der Gegner noch über eine halbe Stunde auf der Uhr hat.

Partie 38. Englische Eröffnung. Scheint SF auch nicht so zu liegen. Mit Weiss kam er zu keiner Zeit übers Remis hinaus, und mit Schwarz... Naja. Leela spielte sich auch hier einen Vorteil nach dem anderen heraus und Stockfish verstand die Stellung einfach nicht. Leelas Bewertung lag um den 50. Zug herum bereits lange Zeit bei über +5 während Stockfish zwar mit etwas über +2 zwar eine schwierige aber noch lange nicht verlorene Stellung erkannt. Leela behielt allerdings recht...

Über Partie 39 und 40 schweigt des Sängers Höflichkeit. Die vorgegebene Stellung mit Weiss nicht zu gewinnen, wäre wahrscheinlich eine höhere Kunst, als sie zum Gewinn zu führen, was beiden Programmen auch mühelos gelang.

Partie 43. Im vorgegebenen Zweispringerspiel wählt Stockfish mit dem Springereinschlag auf f7 eine sehr aggressive Fortsetzung. Nichtsdestotrotz dümpelt aus weisser Sicht die Bewertung lange Zeit zwischen +1,3 und etwas über +2 hin und her. Und daran ändert sich auch zwischem dem 20. und 78. Zug nichts. Man kann jetzt vorzüglich darüber streiten, ob es einfach eines von Leelas berüchtigten taktischen Löchern oder die Zeitnot war, die zu dem Patzer 78. ...Lc3 führten (78. ...Dc1+ hätte Remis gehalten, aber Leela hatte nur noch 40 Sekunden auf der Uhr, Stockfish hingegen über 20 Minuten). Fakt ist, auch hier entschied ein Patzer und nicht etwa Stockfishs Können.

Partie 45: Im Dameninder ein ähnliches Scenario wie in Partie 35. Nahezu mühelos konnte Leela die für Schwarz schwierige Stellung im Gleichgewicht halten, bis dann der Zeitnotteufel zuschlug. Man kann vieles gegen Stockfish ins Feld führen, aber im Blitz ist er einfach besser. Und das bekam Leela dann auch deutlich zu spüren.

Ich will jetzt gar nicht auf die unzähligen Remispartien eingehen. Aber auch hier war es meist dann die Zeitnot oder ein taktisches Loch, die eine für Leela bessere Stellung dann zugunsten von Stockfish drehen konnte. So wären die Partien 28 und 46 Mit Sicherheit Gewinne für Leela gewesen, wenn hier nicht der Blitzteufel zugeschlagen hätte.

Sieht man sich die Ergebnisse unter der Prämisse an, dass man eine Analyseengine fürs Fernschach sucht, dann sehe ich (entsprechende Hardware vorausgesetzt) Leela hier durchaus im Vorteil, da genau die Probleme, die Leela im TCEC-Turnier hat, hier kaum eine Rolle spielen. Die wenigen verbliebenen taktischen Löcher kann man durch Gegenprüfung mit Stockfish relativ schnell stopfen und die weit häufiger aufgetretenen Zeitnotfehler spielen im Fernschach absolut keine Rolle (zumindest wenn man der Engine auch mal ein paar Minuten Zeit einräumt). Es kommt natürlich immer drauf an, welche Hardware man zur Verfügung hat. Mein i7 mit 4 Kernen mit Stockfish und ASM Fish kann gegen die eingebaute GTX 970 (und das ist nun wirklich nicht gerade das schnellste, aber am Gebrauchtmarkt günstig zu kriegen) kaum mehr mithalten. Er kann Remis halten, ja. Er kann vielleicht mal gewinnen, wenn ich Partien mit kurzen Bedenkzeiten spiele. Aber bereits im Turnierschach wirds schon eng. Hat man einen entsprechenden PC mit einem guten Netzteil stehen, dann ist eine günstige RTX-Grafikkarte (es muss nicht gleich die RTX 2080TI sein) der vorhandenen CPU in der Regel überlegen (nicht jeder hat ja eine Turniermaschine mit 44 Kernen wie die Jungs bei TCEC). Aber da muss man einfach im Ernstfall vergleichen, was man an Hardwareressourcen hat um einen wirklichen Vergleich machen zu können. In der Regel dürfte es aber günstiger sein, sich in den vorhandenen Rechner eine neue GPU einzubauen als einen Hochleistungsrechner für mehrere 1000 Euronen zu kaufen.

Der Vergleich des TCEC-Turniers täuscht natürlich über die Tatsache hinweg, dass die Hardwareausstattung die Stockfish hier zur Verfügung hat, ein Vielfaches dessen kostet, was man für die beiden GPUs ausgeben müsste, die Leela zur Verfügung stehen.

Wer meine Ausführungen gerne nachprüfen will... Sämtliche bisher gespielten Partien zum Nachspielen findet man übrigens hier: https://cd.tcecbeta.club/archive.html?s ... =sf&game=1
Liebe Grüße

Hartmut Hering

Asmodis
Beiträge: 609
Registriert: So 24. Jun 2018, 15:18

Re: TCEC 15 Finale Leela Chess Zero - Stockfish

Beitragvon Asmodis » Mi 22. Mai 2019, 10:31

Nach 2 weiteren Gewinnpartien führt Leela nun nach insgesamt 64 Partien mit 5 Punkten Vorsprung. Sehr aussagekräftig sind die Partien 61 und 62. Zugegeben, die gewählte Variante des Trompowski-Angriffs ist nicht gerade eines der wirklich populären Abspiele. Aber das ist nicht ausschlaggebend. Fakt ist, dass eigentlich die Stellung nach dem 7. Zug den Weissen etwas bevorzugt, zumal Leela mit 7. ...d6 eine etwas seltener gespielte Fortsetzung wählt (populärer ist 7. ...e6, was von Stockfish in der Rückpartie gespielt wird). Allein... In Partie 61 wählt Stockfish 9. Sge2 eine Fortsetzung, die zwar auch Nakamura einmal gespielt hat, in der aber der Gegner kräftig mitgeholfen hatte. Nur weil ein Nakamura etwas spielt ist es eben noch nicht gut. Mit 9. ...Se8 wählt nun Leela die richtige Fortsetzung. In der Folge leitet Stockfish mit 13. h4 gefolgt von g4 einen Angriff am Königsflügel ein, der jedoch komplett verpufft. Sehenswert die Stellung nach dem 18. Zug. Stockfish sieht sich bei Tiefe 42 mit +0,75 in Vorteil. Leela bewertet die Stellung hingegen aus weisser Sicht mit -1,25. In der Folge zeigt sich einerseits, dass Leela recht hat, andererseits dass es Bauernstrukturen gibt, mit denen Stockfish absolut gar nicht zurecht kommt und die auch komplett falsch bewertet werden. Bis zum 27. Zug (!!) glaubt Stockfish noch an Vorteil, bis zum 32.zumindest noch an Ausgleich. Zwischenzeitlich ist die Bewertung von Leela schon fast bei -4 aus weisser Sicht. Danach gab es dann Bratfisch ala Trompovski...

In der 62. Partie zeigt Stockfish wie schon erwähnt die populärere Fortsetzung 7. ...e6. Die Chessbase-Datenbank zeigt bei mir etwa 62% Gewinnwahrscheinlichlkeit für Weiss an. Aber was heisst das schon... Bis zum 12. Zug ist die Stellung noch bei Chessbase zu finden. Mit 13. Sfd7 betritt Stockfish jedoch Neuland. Während Stockfish bis zum 18. Zug an Ausgleich glaubt, steigt die Bewertung bei Leela immer weiter nach oben. Wieder versteht Stockfish die entstandene Bauernstruktr nicht. (Ein Hinweis vielleicht darauf, welche Bauernstrukturen man bei der Analyse mit Stockfish meiden sollte). Hatte Stockfish bereits in der 1. Partie zur falschen Seite rochiert so bewegte er sich auch jetzt mit seinem König (diesmal als "künstliche" Rochade) genau auf den Flügel, auf dem der König am meisten gefährdet ist. Zwar dauert es etwas, aber Leela zeigt erneut eindrucksvoll, wie man mit solchen Bauernstrukturen umgeht. Schon eindrucksvoll, was hier gezeigt wird. Ich hab ja in meinen Fernschachanalysen und auch in Engineturnieren schon einiges gesehen, aber wie Stockfish gerade in diesen beiden Partien zerlegt wird ist schon eindrucksvoll.

Die beiden Partien als pgn im Anhang
Du hast keine ausreichende Berechtigung, um die Dateianhänge dieses Beitrags anzusehen.
Liebe Grüße

Hartmut Hering

wasserandy
Beiträge: 88
Registriert: Mi 11. Jul 2018, 14:34

Re: TCEC 15 Finale Leela Chess Zero - Stockfish

Beitragvon wasserandy » Mi 22. Mai 2019, 13:31

Interessant und eindrucksvoll!
Grüße vom Harz, Andreas Hartwich

Schachhai
Beiträge: 206
Registriert: Mo 21. Jan 2019, 22:46

Re: TCEC 15 Finale Leela Chess Zero - Stockfish

Beitragvon Schachhai » Mi 22. Mai 2019, 16:04

Nach diesem Sieg mit den schwarzen Steinen müsste schon viel schief gehen bei Leela
Der Drops ist wohl gelutscht
VG
H Krauß

Schachhai
Beiträge: 206
Registriert: Mo 21. Jan 2019, 22:46

Re: TCEC 15 Finale Leela Chess Zero - Stockfish

Beitragvon Schachhai » Mo 27. Mai 2019, 12:50

Le roi est mort, vive le roi
LCO führt 14:7 bei noch 6 ausstehenden Spielen
der Sieger im TCEC Finale ist LEELA CHESS ZERO
VG
H Krauß

Asmodis
Beiträge: 609
Registriert: So 24. Jun 2018, 15:18

Re: TCEC 15 Finale Leela Chess Zero - Stockfish

Beitragvon Asmodis » Mo 27. Mai 2019, 13:55

Ja, nachdem das Stockfish Team im letzten Finale (bei gleicher Hardwarevoraussetzung) noch knapp vorne lag, haben sie jetzt mit 14-7 ganz gewaltig auf die Mütze bekommen.

Ich habe auch meine Zweifel, dass man mit dem Festhalten an den bisherigen Suchalgorithmen die Krone wieder zurückholen kann. Allenfalls könnte man noch an hybrid-Engines (Minimax gepaart mit einem Neuronalen Netzwert) glauben. Und da die Fortschritte bei den Geschwindigkeiten der der normalen CPUs im Moment eher stagnieren, während bei GPUs noch eine ganze Menge Luft nach oben zu sein scheint wage ich mal die Prognose dass die Zeiten von Stockfish und Co wohl zuende sein dürften. Zumindest, solang sich hier entwicklungsmäßig nicht deutlich mehr tut.

Die einzigen wirklichen Schwachstellen findet man allenfalls noch bei geringen Bedenkzeiten. Da kann Stockfish noch besser punkten. Aber das ist für uns Fernschachspieler ja kein Entscheidungskriterium für eine Engine.
Liebe Grüße

Hartmut Hering


Zurück zu „Engines“

Wer ist online?

Mitglieder in diesem Forum: 0 Mitglieder und 1 Gast