Komodo 12

[kweber]

Vielen Dank für dein Angebot. Aber ich habe jetzt bei Komodo Chess im Internet den Punkt "How to run" gefunden, 10 Seiten, und das werde ich jetzt durcharbeiten.
Gute Woche! Karlheinz

[kweber]

Es gibt Komodo 12.3.3
Zur Qualität kann ich nichts sagen.
K.W.

[Asmodis]

Es gibt Komodo 12.3.3
Zur Qualität kann ich nichts sagen.
K.W.

Naja, solche Updates von 12.3.2 auf 12.3.3 sind meistens nur sehr kleine Verbesserungen. Selbst auf der Webseite der Hersteller findet sich derzeit noch nichts über die 12.3.3. Man kann daher davon ausgehen, dass hier allenfalls kleine Verbesserungen in Verbindung mit der Stabilität der MCTS-Version vorgenommen wurden (in der derzeit laufenden Premier Devision des TCEC-Turniers gab es 2 Punkteverluste weil die Engine abgeschmiert ist). Eventuell wurden auch kleine Verbesserungen in der Bewertungsfunktion vorgenommen (derzeit liegt die "normale" Komodo-Engine einen halben Punkt hinter Leela auf dem 3. Platz, dürfte also ein spannendes Rennen um den Platz im "Superfinale" werden). Größere Sprünge erwarte ich von der 12.3.3 jedoch nicht.

Hartmut

[kweber]

Ein kleines Familienturnier (ziemlich schnell) eben beendet:
1. 12.3.3 7 Punkte
2. 12.2.2 5,5
3. 12.1.1 2,5
Das ist schon sehr deutlich.

[Asmodis]

Wobei ein Turnier über so wenige Partien und bei schneller Bedenkzeit eigentlich gar nichts aussagt. Das ist ja das Problem bei Enginetests. Testet man mit kurzen Bedenkzeiten (wie es die Entwickler übrigens auch machen) dann sieht man die Fortschritte. Oder besser gesagt, es bleiben die Veränderungen in einer Enginerelease drin, die bei kurzen Bedenkzeiten Fortschritte zeigen. Einfach weil man keine Zeit für lange Tests hat. Für den Fernschachspieler ist es aber gerade interessant ob eine Analyse über eine längere Zeit mit der neuen Engine besser läuft. Und da hab ich in der Richtung schon Pferde kotzen sehen.

Leider hast Du wenig zu dem Testturnier geschrieben. Wieviel Runden, welche Bedenkzeit, welche Eröffnungsbibliothek, etc. Eventuell kannst Du die Partien ja auch mal hochladen (über die Funktion Dateianhänge)

Grundsätzlich ist es immer sinnvoll, dass man für solche Testturniere eine ausgewogene Eröffnungsbibliothek hernimmt und dass man z.B. bei doppelrundigen Turnieren die Engines im Rückspiel mit derselben Eröffnung quält, die sie schon im Hinspiel hatten. Erst dann gewinnt so ein Turnier etwas an Aussagekraft. Da Du jetzt erstmal nur die Ergebnisse gepostet hast, mag das zwar ein kleiner Hinweis sein, da die neueren Versionen jeweils die besseren Ergebnisse hatten, eine definitive Aussagekraft hat es jedoch nicht, da hier noch zu viele statistische Ungereimtheiten vorliegen (siehe meine obigen Ausführungen)

Liebe Grüße und ein schönes WE mit hoffentlich weiteren aussagefähigen Tests

Hartmut

[kweber]

Ja, das ist das Problem von meinen Tests. Aber was Einstellungen anbelangt, so bin ich halt ein gnadenloser Laie. Für mich habe ich nur folgende Erkenntnisse gewonnen: 12.1.1 ist wahnsinnig langsam und zwar so langsam, dass ich bei meinen ersten Vergleichen mit 12.2.2 gesagt habe "da stimmt doch etwas nicht" und 12.2.2 misstraute. Und jetzt sehe ich nur, dass 12.3.3 nochmal schneller ist als 12.2.2. Aber über die Qualität trau ich mir kein Urteil abgeben. Da warte ich lieber auf dich!

[Asmodis]

OK, zu sinnvollen Testmöglichkeiten schreib ich morgen auch noch was...

Bis dahin schönes WE

Hartmut

[kweber]

Ich werde deine Anleitungen gerne anwenden!

[Asmodis]

Da ich hier etwas ausführlicher schreiben will, verzögert sich das Ganze noch etwas. Montag mit Zahnschmerzen aufgewacht, Heute als ich zum ZA sollte dann Migräne.. und morgen muss der Zahn aller voraussicht nach raus. Das Jahr fängt gut an. Gib mir also noch ein oder zwei Tage... ich antworte auf Deine Posts auf jeden Fall noch.

Hartmut

[kweber]

Gute Besserung!
P.S.: Wenn ich so viel Geld wie Zeit hätte!

[Asmodis]

Ich hab von beidem grundsätzlich immer zu wenig...

[Asmodis]

Den Thread hätte ich jetzt beinahe vergessen...

OK, wenn Du Engines vernünftig testen willst kommt es immer auf die Zielsetzung an:

Willst Du einfach nur Engines gegeneinander spielen lassen um zu sehen wie sie sich verhalten? Willst Du sehen, was die Engines im Fernschach leisten können?

Im ersten Fall kann man natürlich alles mögliche machen. Engineturniere mit den verschiedensten Bedenkzeiten und Büchern sind da normal.

Für wirklich sinnvolle Tests sollte man 3 Dinge vermeiden:

1. kurze Bedenkzeiten (z.B. 2min + 1s pro Zug) und
2. wenige Partien
3. verschiedene Eröffnungsbücher bzw. zufällige Bücher

zu 1: Engines sind sehr verschieden. Während Stockfish z.B. ein unheimlich starker Taktiker ist, ist z.B. Komodo eher auf positionelles Spiel ausgelegt (über die MCTS-Version kann ich hier mangels eigener Erfahrungen noch wenig sagen, was die Spielweise betrifft). Kurze Bedenkzeiten kommen einem Taktiker wie Stockfish entgegen, während eine positionelle Bewertung meist mehr Zeit braucht. Aber auch bei Stockfish sind zu kurze Bedenkzeiten einfach zu wenig um seine wirklichen Stärken sehen zu können, da gerade in den ersten Sekunden einer Analyse die Kandidatenzüge sich öfter mal ändern, sprich: hätte er statt 2 Sekunden z.B. 5 Sekunden oder 10 Sekunden würde er oftmals ganz anders spielen. Bei höheren Bedenkzeiten sind die Änderungen in der Zugausgabe meist nicht so gravierend (wenngleich sie auch da natürlich vorkommen können). Zudem ist bei den meisten Engines die Spielstärke auf so geringen Einstellungen nicht wirklich groß. Ich traue mir durchaus mit einen Stockfish oder Komodo der "nur" 2 Sekunden pro Zug Zug Zeit hat mitzuhalten wenn ich normale Turnierbedenkzeit (40 Züge in 2 Stunden) bekomme und der Rechner meine Bedenkzeit nicht nutzen darf (also Ponder off). Bei höheren Bedenkzeiten (sagen wir mal 5 Sekunden / Zug) schiebt er mich hingegen zusammen. Der Spielstärkeunterschied ist hier schon deutlich spürbar. Daher würde ich Bedenkzeiten unter 5 Sekunden hier meiden wie der Teufel das Weihwasser. Hinzu kommt: Werden neue Routinen in ein Programm eingebaut, dann kosten die meist zusätzliche Rechenzeit. Insofern sind kurze Bedenkzeiten eher kontraproduktiv. Zwar reichen solche Kurztests für eine erste Einschätzung, aber wenn man die Engines schon mit so kurzen Bedenkzeiten rechnen lässt, dann sollte man sie auch verschiedene Eröffnungen und entsprechend viele Partien spielen lassen, womit ich zum 2. Punkt komme

2. Wenige Partien sagen nichts oder zumindest nur wenig über die Qualität einer Engine aus. Gerade als Fernschachspieler trifft man auf die verschiedenesten Eröffnungsvarianten, mit denen man sich auseinandersetzen muss. Will man nun z.B. 2 oder 3 Engines testen, dann reicht es nicht aus jeder gegen jeden 4 Partien spielen zu lassen, weil dadurch bei weitem nicht die Eröffnungssysteme und die daraus entstehenden Stellungstypen abgedeckt werden. Um ein Beispiel zu nennen. Wählen die Engines z.B. hier nur Eröffnungen in denen beide Seiten auf den Königsflügel rochieren, dann weiss ich deshalb noch lange nicht, wie sie sich in einer schönen ngriffspartie mit heterogenen Rochaden verhalten. Die Wahrscheinlichkeit dass aber sowas passiert ist bei einer geringen Partienanzahl sehr hoch, womit wir schon beim 3. Thema wären...

3. Verschiedene Eröffnungsbücher oder zufällige Bücher sollte man meiden. Bei manchen Komplettpaketen werden oftmals Eröffnungsbücher mitgeliefert, die auf die Spielweise des Programms zugeschnitten sind (oder sein sollen... nicht immer passt es wirklich). Es sollen aber die Engines an sich und nicht die Eröffnungsbücher getestet werden. Bei zufällig ausgespielten Eröffnungen kommt noch erschwerend hinzu, wie die Oberfläche bzw. die Engine die Eröffnungen auswählt. Geht sie nach statistischen Erwägungen (Erfolgsquote) vor? Dann haben wir ein Problem, da manche Eröffnungen oft, manche weniger oft, andere selten und wieder andere gar nicht aktiv ausgespiel werden. Das verfälscht dann das Ergebnis. Zudem kommt hinzu dass in manchen Eröffnungsbibliotheken teilweise Varianten gespeichert sind, die bis zum 20. oder gar 26. Zug gehen (Chessbase Powerbooks). Kaum wird der erste Zug wirklich berechnet wird bereits massiv auf die Endspieldatenbanken zugegriffen. Viel Eigenleistung der Engines ist hier nicht mehr dabei. Ich habe im Fernschach schon Partien gesehen, da wurde das Remis schon vereinbart, als meine Eröffnungsdatenbank noch Fortsetzungen anzeigte und man das Ganze auch gänzlich ohne Engines hinbekommen hätte. Das ist natürlich nicht Sinn der Sache.

Ich empfehle daher Eröffnungsbücher mit nur kurzen Varianten (maximal 5-8 Züge) sowie eine Einstellung dass in der Rückrunde die Engines dieselbe Eröffnung mit umgekehrten Farben spielen müssen (geht meist über die GUI wenn ich ein Turnier starte, zumindest bei Arena. Sollte aber auch bei Chessbase-Oberflächen möglich sein). Damit werden statistische Ungenauigkeiten (eine bestimmte Eröffnung ist vielleicht für Weiss aussichtsreicher als für Schwarz) bewusst vermieden weil jede Engine einmal die stärkere, einmal die schwächere Seite spielen muss. Welche Art von Eröffnungsbüchern man hier nimmt ist etwas Geschschmackssache. Gute Bücher für solche Tests findet man hier:

https://www.sp-cc.de/downloads--links.htm

die HERT-Openings von Zipproth beinhalten meist ausgeglichene Positionen, während die Drawkiller-Openings meistens Stellungen beinhalten, in denen (wie der Name schon sagt) ausgeglichene Stellungstypen vermieden werden, so dass sich die Engines sowohl in Angriff als auch in Verteidigung bewähren müssen.

Daneben gibt es noch die SALC-Openings, zu finden hier: https://www.sp-cc.de/salc-openings.htm

SALC steht für Short And Long Castling. Man hat es also hauptsächlich mit heterogenen Rochaden zu tun, was natürlich zu schönen Angriffspartien führt.

Spielt man diese Eröffnungspüositionen komplett durch, dann kann man ruhig auch kurze Partien (2min + 1s oder 1min + 1s) spielen. Da sorgt dann allein die Menge der Partien für eine gute statistische Genauigkeit.

By the way: Bei allen Engineturnieren in denen auf einem einzelnen Rechner gespielt wird, macht es Sinn "Ponder off" einzustellen, damit die gegnerische Bedenkzeit nicht genutzt wird. Ansonsten ist nicht garantiert, dass beide Engines auch wirklich die Hälfte der Rechenpower bekommen, was für einen seriösen Test eigentlich unabdingbar ist

Hoffe das hilft ein wenig.