Grosse diférence dans les benchs

[OlivierL]

Salutations,

J'aurais besoin de vos lumières. Je regarde souvent les dernières mises à jours de la "Morue" et je constate des différences au niveau de la dernière ligne appelé "Bench".

Comment savoir si la dernière "MAJ" est plus performante que celle d'avant ?

Donc nous avons ceci :

Author: Stéphane Nicolet
Date: Sat May 28 14:57:58 2016 +0200
Timestamp: 1464440278

Pins or discovered attacks on the opponent's queen

Bonus for pins or discovered attacks on the opponent's queen

STC:
LLR: 2.96 (-2.94,2.94) [0.00,5.00]
Total: 32020 W: 5914 L: 5652 D: 20454

LTC:
LLR: 2.97 (-2.94,2.94) [0.00,5.00]
Total: 10946 W: 1530 L: 1375 D: 8041

Bench: 7031649

Et là je vois cela :

Author: joergoster
Date: Fri Jun 3 07:39:27 2016 +0200
Timestamp: 1464932367

Tuned values for piece check and attack unit factors

A middle ground patch of two successful tuning patches,
one at STC, the other at LTC, which now passed both.

LLR: 2.95 (-2.94,2.94) [0.00,4.00]
Total: 67893 W: 12777 L: 12384 D: 42732

LLR: 2.95 (-2.94,2.94) [0.00,4.00]
Total: 30165 W: 4189 L: 3960 D: 22016

bench: 9209507

[Invité]

Simple référence à un banc de test connu des développeurs inscrits sur github et qui n'est pas dans une progression arithmétique
Il faut distinguer le produit fini immédiatement exécutable (.exe) proposé dans le lien du portail et les fichiers source (src) à monter (compiler) soi-même quand on est compétent.
Je ne suis pas compétent, je ne connais pas bien l'anglais, je n'adhère pas au groupe.
Donc je m'occupe en utilisateur de la dernière version déjà compilée.
La dernière version est-elle la meilleure ? Pas forcément. Elle est la meilleure sur le cas évoqué mais pas en général.
[Vous devez être inscrit et connecté pour voir cette image]

Je reviendrai plus tard sur le mythe du moteur d'analyses (écrit au pluriel exprès !) plus fort que les autres (du top 10) en cadence normale de correspondance, à plus forte raison dans la même famille stockfish 7.

[photophore]

Perso , à tort ou à raison , je me méfie des versions de développeurs inconnus , et fais plutôt confiance à Marco Costalba , qui a fait ses preuves : j'utilise actuellement ( peut-être est-ce pure superstition )  une version sortie le jour de mon anniversaire , et qui me donne satisfaction

[Invité]

[Vous devez être inscrit et connecté pour voir ce lien]

L'exemple donné dans ce fil se retrouve dans celui-ci

[Vous devez être inscrit et connecté pour voir ce lien]

partie 2 où j'ai les noirs. Les blancs ont bien joué 3.h3.

Mais l'important n'est pas là. L'important c'est qu'en véritable cadence de correspondance n'importe quel logiciel du top 10 donne autant d'idées que les autres même s'il ne les classe pas pareil, et surtout il est apte à les vérifier. Le véritable élagage est l’œuvre du jpciste.

[Invité]

je constate des différences au niveau de la dernière ligne appelé "Bench".

complément de réponse.
Tous les classeurs src ont un fichier benchmark.cpp. Le dernier:

[Vous devez être inscrit et connecté pour voir ce lien]

D'où j'ai isolé cette copie d'écran :
[Vous devez être inscrit et connecté pour voir cette image]

comme cette autre issue d'une autre contribution
[Vous devez être inscrit et connecté pour voir cette image]

En gros, les FEN et leurs évaluations je suppose que c'est la référence bench de la dernière ligne. Bien une suite de tests FEN+temps de résolution classée dans une nomenclature à 7 chiffres, incluant peut-être une date.

[Invité]

ligne 69 1er tableau ci-dessus ça donne ceci :

[Vous devez être inscrit et connecté pour voir cette image]

[Invité]

ligne 52 ça donne ça :

[Vous devez être inscrit et connecté pour voir cette image]

ligne 76 ça correspond bien :

[Vous devez être inscrit et connecté pour voir cette image]

[OlivierL]

Pourquoi diable n'ai-je pas la même vision. Sur le dernier tableau je ne vois pas les # !!!!

Serait il possible de me dire ce que tu  place dans tes options des tablebases . A moins que ça soit la visu sur une autre option.

[Vous devez être inscrit et connecté pour voir cette image]



Edit: à quoi correspond ce petit "z" =>> 64 POPCNTz

[Invité]

Le z est la conséquence du message "le moteur doit être modifié" quand j'ai précisé le chemin des tb et le nombre de threads. C'est un ajout personnel. Des fois je mets d ou s.
Mes tb c'est les syzygy 731 fichiers 149 go sur un disque externe.

Que tu ne voies pas les # mais des +- ?! Je ne sais pas. Peut-être ton dossier tb n'est-il pas le même, ton système n'est-il pas w10, ton interface n'est-elle pas F12 ? @+

[Invité]

Et pour compliquer encore (à mon grand désespoir !) j'ai pris le même moteur que toi mais là c'est une question de hashtables ! Plein (sur 2048 MB alloués) fait à 2%

[Vous devez être inscrit et connecté pour voir cette image]

[Invité]

Judas est un traître !

[Vous devez être inscrit et connecté pour voir cette image]

[Invité]

La dernière version 030616 de VoyagerOne est la seule qui ne donne qu'une variante nulle à prof 66. Peut-être est-ce justement qu'elle correspond le plus exactement au Bench: 8450534 (benchmark.cpp dans le dossier source de la contribution)

[Christophe 2]

Le z est la conséquence du message "le moteur doit être modifié" quand j'ai précisé le chemin des tb et le nombre de threads. C'est un ajout personnel. Des fois je mets d ou s.
Mes tb c'est les syzygy 731 fichiers 149 go sur un disque externe.

Que tu ne voies pas les # mais des +- ?! Je ne sais pas. Peut-être ton dossier tb n'est-il pas le même, ton système n'est-il pas w10, ton interface n'est-elle pas F12 ? @+

C'est la même chose pour moi:

Chessbase 13
Windows 7
syzygy (508 fichiers .rtbw) (68,2g)

Peut-être dû au fait de na pas avoir les .rtbz ?? Mystère...

[OlivierL]

Je ne connaissais pas Judas PrO

J'ai cette configuration :

[Vous devez être inscrit et connecté pour voir cette image]

Peu être que ma config est mal faite . . .

[Christophe 2]

Mais l'important n'est pas là. L'important c'est qu'en véritable cadence de correspondance n'importe quel logiciel du top 10 donne autant d'idées que les autres même s'il ne les classe pas pareil, et surtout il est apte à les vérifier. Le véritable élagage est l’œuvre du jpciste.

Ce débat est toujours intéressant, jusqu'à ce qu'il soit épuisé jusqu'au bout, comme le jeu...

Le véritable élagage est l’œuvre du jpciste.

Rien à redire la dessus, si c'est qu'il est de plus en plus difficile de le faire avec toutes les ressources défensives trouvées par les moteurs

Mais l'important n'est pas là. L'important c'est qu'en véritable cadence de correspondance n'importe quel logiciel du top 10 donne autant d'idées que les autres même s'il ne les classe pas pareil, et surtout il est apte à les vérifier.

Là, nous revenons au sujet qui fâche...

N'étant pas toujours de cet avis (ou affirmation) avec une pointe de doute qui parfois (heureusement) me caractérise, je conteste à penser que tous les modules du top 10, même 5 se valent !

Il suffit de regarder le classement saison 8 TCEC (qui est le seul valable) pour constater qu'il y a deux niveaux. Celui des deux premiers et les autres. Pour la simple raison, c'est que l'évaluation, la pertinence dans la recherche est supérieure chez K et SF. Ce classement serait encore plus élogieux pour ces deux modules si le répertoire d'ouverture était soigneusement choisie...

Alors, ok pour dire qu'un autre module va proposer les mêmes idées, mais ce qu'il lui manque, c'est cette précision avec la vitesse, car le travail est colossale quand la position est compliquée (avec déséquilibre matériel c'est pire). Alors, selon moi, celui qui va vite avec une bonne évaluation à ma préférence. Autre point fort, c'est quand le module s'enferme pas dans des ornières et qu'il trouve des ressources sans arrêt, même à grande profondeur...

En bref, comme le niveau n'a jamais été aussi élevé, il faut être apte à distinguer un bon coup d'un excellent coup: SF et K vont souvent trouver les meilleurs, les autres, trouver les bons en passant tout prêt des meilleurs, puis les laisser de côté, ou carrément ne pas les trouver...

Point faible des modules c'est l'optimisme ou son contraire. Toute la force d'un bon joueur est de ne pas se laisser endormir...
Perso, j'utilise toujours le même: SF, il va vite et l'évaluation est plus ou moins juste dans toutes les positions. La chose qui m'agace toujours, c'est quand il me fait perdre du temps avec des fausses pistes.

[Christophe 2]

Je ne connaissais pas Judas PrO

C'est SF avec un autre nom

[Invité]

différences d'écran FEN ligne 76


FEN avec tb6 nalimov (469 fichiers, 193 go) chargées par la gui

[Vous devez être inscrit et connecté pour voir cette image]

FEN sur Knowledge4IT (nalimov aussi)

[Vous devez être inscrit et connecté pour voir cette image]

FEN sans tb6 chargées par la gui mais avec syzygy

[Vous devez être inscrit et connecté pour voir cette image]

[Invité]

La chose qui m'agace toujours, c'est quand il me fait perdre du temps avec des fausses pistes.

S'il n'y avait jamais de temps perdu sur de fausses pistes par rapport à l'objectif on gagnerait toujours ou on ferait toujours nulle.

[photophore]

Je reviens à l'objectif initial de ce fil : c'était , si je ne me trompe , de proposer une piste permettant à "l'amateur éclairé" , que nous sommes , de s'y retrouver dans la jungle des versions Bêta , et d'en choisir à bon escient les meilleures du moment
Il s'avère que ce n'est pas si simple , alors que le besoin persiste , aussi je repose la question ;Comment choisit-on ?

[OlivierL]

je fais toujours l'erreur de prendre celui qui arrive en dernier alors, qu'à première vue, ce n'est pas la chose à faire !

[photophore]

J'ai déjà dit comment je faisais , mais il n'y a pas eu de réaction : je le répète ici : je n'ai aucune garantie quant aux développeurs que je ne connais pas : je me suis fixé sur les modules compilés par Marco Costalba , qui a déjà à son actif SF6 et SF7 "génériques"
J'aimeraais bien connaître les éventuelles objections

[Invité]

je fais toujours l'erreur de prendre celui qui arrive en dernier alors, qu'à première vue, ce n'est pas la chose à faire !

Mauvaise conclusion.
Je vais prendre 3 exemples.
Les points sur lesquels le dossier source de stockfish est amélioré mis à jour ou changé

Simplify Futility Pruning
caractère insignifiant simplifié, simplification du jugement "à négliger"
Pins or discovered attacks on the opponent's queen
attaques découvertes sur la reine de l'adversaire
Only use doubled pawn malus when the doubled pawns are on consecutive squares.
malus dans l'évaluation des pions doublés sur cases conjuguées

On voit bien qu'il s'agit chaque fois de points de détail ou marginaux
La base reste toujours stockfish 7 mais on peut sans souci prendre la dernière version qui est présumée la meilleure sur son point de détail et en aucun cas moins bonne sur les autres points.

Dans ce fil on n'a jamais parlé que de stockfish et ce ne sont pas des versions béta.

[Invité]

J'ai déjà dit comment je faisais , mais il n'y a pas eu de réaction : je le répète ici : je n'ai aucune garantie quant aux développeurs que je ne connais pas : je me suis fixé sur les modules compilés par Marco Costalba , qui a déjà à son actif SF6 et SF7 "génériques"
J'aimeraais bien connaître les éventuelles objections

Il n'y a pas assez de références à Costalba ici (dernière version parrainée autorisée par Costalba) ?

[Vous devez être inscrit et connecté pour voir cette image]

[Contenu sponsorisé]