Merge official-stockfish/master

Merge official-stockfish/master

bench: 4806948

Merge official-stockfish/master

No functional change.

Merge official-stockfish/master

bench: 5885720

Add missing include

Merge official-stockfish/master

Merge official-stockfish/master

bench: 5173306

Replace CI badge

Merge official-stockfish/master

No functional change.

Add variants.ini testing to CI

Revert Makefile change

Ignore copy assignment warning

Fix compiler warning

Add workflow for variants

Add basic github workflow

move to github actions to replace travis CI.

First version, testing on linux using gcc and clang.
gcc build with sanitizers and valgrind.

No functional change

Update Travis CI URLs

Support Opulent chess

Support Sho shogi

Merge official-stockfish/master

bench: 5068534

Merge official-stockfish/master

No change.

Merge official-stockfish/master

bench: 5392690

Merge official-stockfish/master

No functional change.

Update variants.ini

Add Betza notation for built-in pieces

Support lower UCI Elo levels

Extends UCI_Elo range to support negative Skill Levels
also via corresponding UCI_Elo values.

Implement negation for 128bit Bitboard

Merge official-stockfish/master

bench: 5199018

Merge official-stockfish/master

No functional change.

Merge official-stockfish/master

No functional change.

Merge official-stockfish/master

bench: 5269468

Return to development version

Fairy-Stockfish 13.1

bench: 4039197

Minor updates for variants.ini

No functional change.

Exporting the currently loaded network file

This PR adds an ability to export any currently loaded network.
The export_net command now takes an optional filename parameter.
If the loaded net is not the embedded net the filename parameter is required.

Two changes were required to support this:

* the "architecture" string, which is really just a some kind of description in the net, is now saved into netDescription on load and correctly saved on export.
* the AffineTransform scrambles weights for some architectures and sparsifies them, such that retrieving the index is hard. This is solved by having a temporary scrambled<->unscrambled index lookup table when loading the network, and the actual index is saved for each individual weight that makes it to canSaturate16. This increases the size of the canSaturate16 entries by 6 bytes.

closes https://github.com/official-stockfish/Stockfish/pull/3456

No functional change

Support mobility region config for custom pieces

Cleanup of likelyFailLow logic

This patch broadens and simplifies definition of PvNode that is likely to fail low.
New definition can be described as following "If node was already researched
at depth >= current depth and failed low there" which is more logical than the
previous version and takes less space + allows to not recompute it every time during move loop.

Passed simplification STC
https://tests.stockfishchess.org/tests/view/609148bf95e7f1852abd2e82
LLR: 2.93 (-2.94,2.94) <-2.50,0.50>
Total: 20128 W: 1865 L: 1751 D: 16512
Ptnml(0-2): 63, 1334, 7165, 1430, 72

Passed simplification LTC
https://tests.stockfishchess.org/tests/view/6091691295e7f1852abd2e8b
LLR: 2.94 (-2.94,2.94) <-2.50,0.50>
Total: 95128 W: 3498 L: 3481 D: 88149
Ptnml(0-2): 41, 2956, 41549, 2981, 37

closes https://github.com/official-stockfish/Stockfish/pull/3455

Bench: 3933037

Add an UCI level command "export_net".

This command writes the embedded net to the file `EvalFileDefaultName`.
If there is no embedded net the command does nothing.

fixes #3453

closes https://github.com/official-stockfish/Stockfish/pull/3454

No functional change

Simplify check extension

Simplify check extension, as it seems not to bring any strength and thus is no longer needed.

STC https://tests.stockfishchess.org/tests/view/608c18e995e7f1852abd2b81
LLR: 2.94 (-2.94,2.94) <-2.50,0.50>
Total: 54544 W: 4891 L: 4815 D: 44838
Ptnml(0-2): 186, 3889, 19081, 3895, 221

LTC https://tests.stockfishchess.org/tests/view/608c6ab195e7f1852abd2bc6
LLR: 2.95 (-2.94,2.94) <-2.50,0.50>
Total: 51008 W: 1845 L: 1794 D: 47369
Ptnml(0-2): 31, 1591, 22206, 1648, 28

closes https://github.com/official-stockfish/Stockfish/pull/3452

bench: 3993071

Add some more information on the UCI protocol

Improve README.md: provide a link to the protocol,
and document some non-standard options.

fixes https://github.com/official-stockfish/Stockfish/issues/3446

closes https://github.com/official-stockfish/Stockfish/pull/3450

No functional change

Simplify rider type assertions

No functional change.

Allow to skip pocket in FEN validation

Part of #288.

Consider custom pieces in insufficient material

Consider all custom pieces to have mating potential
in order to avoid false positive insufficient material calls.

Temporary solution for #294.

Turn Grasshopper into a built-in variant

Make precalculated magics constexpr

No functional change.

Fix perft test

Fix Tori shogi

Support Tori shogi

Support Grasshopper

Credits to @yoav-rozin for the initial implementation.

Closes #292.

Simplify piece initialization

No functional change.

Support limited distance sliders

Support Nightrider

Support diagonal cannon movements

Change tempo with time and threads

Introduce variable tempo for nnue depending on logarithm of estimated
strength, where strength is the product of time and number of threads.

The original idea here was that NNUE is best with a slightly different
tempo value to classical, since its style of play is slightly different.
It turns out that the best tempo for NNUE varies with strength of play,
so a formula is used which gives about 19 for STC and 24 for LTC under
current fishtest settings.

STC 10+0.1:
LLR: 2.94 (-2.94,2.94) {-0.20,1.10}
Total: 120816 W: 11155 L: 10861 D: 98800
Ptnml(0-2): 406, 8728, 41933, 8848, 493
https://tests.stockfishchess.org/tests/view/60735b3a8141753378960534

LTC 60+0.6:
LLR: 2.94 (-2.94,2.94) {0.20,0.90}
Total: 35688 W: 1392 L: 1234 D: 33062
Ptnml(0-2): 23, 1079, 15473, 1255, 14
https://tests.stockfishchess.org/tests/view/6073ffbc814175337896057f

Passed non-regression SMP test at LTC 20+0.2 (8 threads):
LLR: 2.95 (-2.94,2.94) {-0.70,0.20}
Total: 11008 W: 317 L: 267 D: 10424
Ptnml(0-2): 2, 245, 4962, 291, 4
https://tests.stockfishchess.org/tests/view/60749ea881417533789605a4

closes https://github.com/official-stockfish/Stockfish/pull/3426

Bench 4075325

Simplify pawn moves generator

This patch simplifies QUIET_CHECKS pawn move generator by merging discovery check
move generator with direct check move generator. It also simplifies emptySquares
instantiation. In addition, I added a comment in generate_moves() to clarify Check
branches.

STC:
LLR: 2.95 (-2.94,2.94) <-2.50,0.50>
Total: 112648 W: 9952 L: 9945 D: 92751
Ptnml(0-2): 369, 7682, 40195, 7729, 349
https://tests.stockfishchess.org/tests/view/6088226895e7f1852abd2978

LTC:
LLR: 2.93 (-2.94,2.94) <-2.50,0.50>
Total: 74656 W: 2797 L: 2765 D: 69094
Ptnml(0-2): 38, 2328, 32554, 2380, 28
https://tests.stockfishchess.org/tests/view/60884e5095e7f1852abd2994

closes https://github.com/official-stockfish/Stockfish/pull/3447

No functional change

Complete variant descriptions

Add brief descriptions and references to all remaining variants.

Closes #248.

More extensions if SE search is very low.

More extensions for non-PV nodes if value from singular extension search is significantly below singularBeta.

Passed STC:
LLR: 2.97 (-2.94,2.94) <-0.50,2.50>
Total: 25064 W: 2334 L: 2162 D: 20568
Ptnml(0-2): 82, 1720, 8768, 1868, 94
https://tests.stockfishchess.org/tests/view/6084ba7995e7f1852abd27e3

Passed LTC:
LLR: 2.94 (-2.94,2.94) <0.50,3.50>
Total: 67136 W: 2644 L: 2450 D: 62042
Ptnml(0-2): 46, 2134, 28990, 2376, 22
https://tests.stockfishchess.org/tests/view/6084d79195e7f1852abd27ee

closes https://github.com/official-stockfish/Stockfish/pull/3445

Bench: 4075325

Thread based reduction tweak.

For PV nodes at the first two plies no reductions are done for each fourth thread.

STC (8 threads):
LLR: 2.94 (-2.94,2.94) <-0.50,2.50>
Total: 53992 W: 3334 L: 3167 D: 47491
Ptnml(0-2): 64, 2713, 21285, 2860, 74
https://tests.stockfishchess.org/tests/view/6083b2d695e7f1852abd277a

LTC (8 threads):
LLR: 2.93 (-2.94,2.94) <0.50,3.50>
Total: 64888 W: 1888 L: 1725 D: 61275
Ptnml(0-2): 14, 1556, 29146, 1709, 19
https://tests.stockfishchess.org/tests/view/6084249595e7f1852abd2795

closes https://github.com/official-stockfish/Stockfish/pull/3443

No functional change (for one thread)

Cleanup and simplify NNUE code.

A lot of optimizations happend since the NNUE was introduced
and since then some parts of the code were left unused. This
got to the point where asserts were have to be made just to
let people know that modifying something will not have any
effects or may even break everything due to the assumptions
being made. Removing these parts removes those inexisting
"false dependencies". Additionally:

 * append_changed_indices now takes the king pos and stateinfo
   explicitly, no more misleading pos parameter
 * IndexList is removed in favor of a generic ValueList.
   Feature transformer just instantiates the type it needs.
 * The update cost and refresh requirement is deferred to the
   feature set once again, but now doesn't go through the whole
   FeatureSet machinery and just calls HalfKP directly.
 * accumulator no longer has a singular dimension.
 * The PS constants and the PieceSquareIndex array are made local
   to the HalfKP feature set because they are specific to it and
   DO differ for other feature sets.
 * A few names are changed to more descriptive

Passed STC non-regression:
https://tests.stockfishchess.org/tests/view/608421dd95e7f1852abd2790
LLR: 2.95 (-2.94,2.94) <-2.50,0.50>
Total: 180008 W: 16186 L: 16258 D: 147564
Ptnml(0-2): 587, 12593, 63725, 12503, 596

closes https://github.com/official-stockfish/Stockfish/pull/3441

No functional change

Merge all move generators

Merging `generate<EVASIONS>` and `generate<QUIET_CHECKS>` into `generate_all()`.

verified to yield correct perft results, even though bench changes due to different order of generated moves.

No regresion playing games:

passed STC:
LLR: 2.94 (-2.94,2.94) {-1.00,0.20}
Total: 161800 W: 14585 L: 14624 D: 132591
Ptnml(0-2): 577, 11681, 56451, 11586, 605
https://tests.stockfishchess.org/tests/view/606532732b2df919fd5f026d

passed LTC:
LLR: 2.98 (-2.94,2.94) {-0.70,0.20}
Total: 188504 W: 6906 L: 6961 D: 174637
Ptnml(0-2): 87, 6272, 81610, 6175, 108
https://tests.stockfishchess.org/tests/view/6065b0772b2df919fd5f02ae

closes https://github.com/official-stockfish/Stockfish/pull/3418

Bench: 4536129

Unify naming convention of the NNUE code

matches the rest of the stockfish code base

closes https://github.com/official-stockfish/Stockfish/pull/3437

No functional change

Fix ambiguous castling notation

Use chess960 castling notation when castling move would be ambiguous.

Closes #295.

Add more variant descriptions

Speed up piece evaluation

standard STC
ELO: 16.27 +-4.6 (95%) LOS: 100.0%
Total: 10000 W: 2492 L: 2024 D: 5484

No functional change.

Speed up pocket evaluation

crazyhouse STC
ELO: 23.77 +-6.7 (95%) LOS: 100.0%
Total: 10000 W: 5176 L: 4493 D: 331

No functional change.

Update Variants.ini (#290)

Add support for the following variants:

4x5 Chess // https://greenchess.net/rules.php?v=4x5-chess --> Solved draw
4x6 Chess // https://greenchess.net/rules.php?v=4x6-chess --> Solved draw
5x6 chess // https://greenchess.net/rules.php?v=5x6-chess
Active chess // https://greenchess.net/rules.php?v=active
Advanced Pawn chess // https://greenchess.net/rules.php?v=advanced-pawn
Capture-all Chess // https://greenchess.net/rules.php?v=capture-all
Capture chess // https://vchess.club/#/variants/Capture
Checkless 6x6 Atomic // Checkless atomic on a 6x6 board
Corner Rook Chess // https://greenchess.net/rules.php?v=corner-rook
Crossing chess // https://vchess.club/#/variants/Crossing
Diana Chess // https://greenchess.net/rules.php?v=diana (Kingside castling not working)
Double Army chess // https://vchess.club/#/variants/Doublearmy
Empire // https://vchess.club/#/variants/Empire
Goth House // Gothic Chess + Crazyhouse
Maharajah 2 // https://vchess.club/#/variants/Maharajah (Balanced version of Maharajah and the Sepoys)
Microchess // https://greenchess.net/rules.php?v=microchess
Pawn Massacre chess // https://vchess.club/#/variants/Pawnmassacre
Screen chess // https://vchess.club/#/variants/Screen (This version assumes 1 drop per turn instead of the whole blind setup as in vchess)
Shinobi // https://vchess.club/#/variants/Shinobi
Synochess // https://www.pychess.org/variant/synochess
Wildebeest // https://vchess.club/#/variants/Wildebeest

Bump pyffish version (#297)

Tweak automatic piece value calculation

Update expected test results

Tweak king PSQT for check and atomic variants

atomic STC
LLR: 2.97 (-2.94,2.94) [0.00,10.00]
Total: 1708 W: 617 L: 518 D: 573
http://www.variantfishtest.org:6543/tests/view/606f41666e23db21bb8bcac1

atomic LTC
LLR: 2.95 (-2.94,2.94) [0.00,10.00]
Total: 1519 W: 529 L: 435 D: 555
http://www.variantfishtest.org:6543/tests/view/60701de66e23db21bb8bcad0

3check STC
LLR: 2.96 (-2.94,2.94) [0.00,10.00]
Total: 2576 W: 1279 L: 1145 D: 152
http://www.variantfishtest.org:6543/tests/view/606f417d6e23db21bb8bcac6

3check LTC
LLR: 2.96 (-2.94,2.94) [0.00,10.00]
Total: 2153 W: 1065 L: 938 D: 150
http://www.variantfishtest.org:6543/tests/view/60701dd66e23db21bb8bcacc

karouk STC
LLR: 2.95 (-2.94,2.94) [-10.00,5.00]
Total: 575 W: 293 L: 234 D: 48
http://www.variantfishtest.org:6543/tests/view/6074a1166e23db21bb8bcb07

karouk LTC
LLR: 2.95 (-2.94,2.94) [-10.00,5.00]
Total: 673 W: 323 L: 267 D: 83
http://www.variantfishtest.org:6543/tests/view/607575ee6e23db21bb8bcb1d

Replace rarely used pieces by configuration

Use letter 'f' for Falcon piece in Ordamirror  (#293)

Support configurable pieces

* Add >20 slots for user defined pieces
* Parse piece movement from Betza notation
* Precalculate piece values but allow overrides
* Support Tencubed, Yari shogi, and Okisaki shogi

Closes #58 and #146.

bench: 4039197

Use classical eval for Bishop vs Pawns

NNUE evaluation is incapable of recognizing trivially drawn bishop endgames
(the wrong-colored rook pawn), which are in fact ubiquitous and stock standard
in chess analysis. Switching off NNUE evaluation in KBPs vs KPs endgames is
a measure that stops Stockfish from trading down to a drawn version of these
endings when we presumably have advantage. The patch is able to edge over master
in endgame positions.

Patch tested for Elo gain with the "endgame.epd" book, and verified for
non-regression with our usual book (see the pull request for details).

STC:
LLR: 2.93 (-2.94,2.94) {-0.20,1.10}
Total: 33232 W: 6655 L: 6497 D: 20080
Ptnml(0-2): 4, 2342, 11769, 2494, 7
https://tests.stockfishchess.org/tests/view/6074a52981417533789605b8

LTC:
LLR: 2.93 (-2.94,2.94) {0.20,0.90}
Total: 159056 W: 29799 L: 29378 D: 99879
Ptnml(0-2): 7, 9004, 61085, 9425, 7
https://tests.stockfishchess.org/tests/view/6074c39a81417533789605ca

Closes https://github.com/official-stockfish/Stockfish/pull/3427

Bench: 4503918

blah

Documentation patch: AppendChangedIndices

Clarify the assumptions on the position passed to the AppendChangedIndices().

Closes https://github.com/official-stockfish/Stockfish/pull/3428

No functional change

Simplification: last capture extension

The code for last capture extension can be removed in current master.

Passed STC
LLR: 2.95 (-2.94,2.94) {-1.00,0.20}
Total: 85024 W: 7754 L: 7707 D: 69563
Ptnml(0-2): 293, 5991, 29914, 6004, 310
https://tests.stockfishchess.org/tests/view/607690f1814175337896068f

Passed LTC
LLR: 2.96 (-2.94,2.94) {-0.70,0.20}
Total: 39880 W: 1503 L: 1453 D: 36924
Ptnml(0-2): 17, 1281, 17293, 1333, 16
https://tests.stockfishchess.org/tests/view/6076ccbe814175337896069e

Closes https://github.com/official-stockfish/Stockfish/pull/3430

Bench: 4202264

Revert previous patch

Revert the previous patch about move generation, as it unexpectedly
changed the bench. Better to take the time to understand the issue.

Bench: 4191632

Merge all move generators

Merging `generate<EVASIONS>` and `generate<QUIET_CHECKS>` into `generate_all()`.

STC:
LLR: 2.94 (-2.94,2.94) {-1.00,0.20}
Total: 161800 W: 14585 L: 14624 D: 132591
Ptnml(0-2): 577, 11681, 56451, 11586, 605
https://tests.stockfishchess.org/tests/view/606532732b2df919fd5f026d

LTC:
LLR: 2.98 (-2.94,2.94) {-0.70,0.20}
Total: 188504 W: 6906 L: 6961 D: 174637
Ptnml(0-2): 87, 6272, 81610, 6175, 108
https://tests.stockfishchess.org/tests/view/6065b0772b2df919fd5f02ae

------------

Verified for correctness of `EVASIONS` by running perft:
```
./stockfish b3nch 16 1 6 default perft          (replace 3 by e in b3nch)
Nodes searched  : 71608931810
```

Also tested for correctness on Chess960 with a similar code shown here:
https://github.com/official-stockfish/Stockfish/pull/3418#issuecomment-816630295

```
./stockfish b3nch 16 1 6 fischer.txt perft
Nodes searched  : 506736009395
```

------------

Closes https://github.com/official-stockfish/Stockfish/pull/3418

No functional change

Add error message for ffishjs start FEN test

Bump pyffish version (#289)

Simplify bitboard initialization

No functional change.

Define piece types using Betza notation

As preparation for configurable piece types,
simplify definition of piece types by using Betza notation.

No functional change.

Refactor FEN validation

- Support X-FEN validation
- Support fetching variant list in pyffish
- Use variant configuration properties more consistently
- Fix a few corner cases
- Improve test coverage
- More consistent formatting

Closes #87.

Replace distanceFromPv with a better logic

This patch removes the recently introduced distanceFromPv logic, and replaces
it with following logic: if reduction of moves with low movecount is really
negative, we search them deeper than the first move.

passed STC:
LLR: 2.95 (-2.94,2.94) {-0.20,1.10}
Total: 153008 W: 13913 L: 13579 D: 125516
Ptnml(0-2): 547, 10811, 53470, 11113, 563
https://tests.stockfishchess.org/tests/view/6069c9d02b2df919fd5f04d2

passed LTC:
LLR: 2.94 (-2.94,2.94) {0.20,0.90}
Total: 101920 W: 3964 L: 3699 D: 94257
Ptnml(0-2): 55, 3279, 44019, 3560, 47
https://tests.stockfishchess.org/tests/view/606a99fd2b2df919fd5f0532

Closes https://github.com/official-stockfish/Stockfish/pull/3421

Bench: 4191632

Keep more pawns

This patch increases the weight of pawns in the scale factor applied
to the output of the NNUE evaluation. This has the effect that Stockfish
will try a little bit harder to keep more pawns in position where the
engine has the advantage, and exchange more pawns in bad positions.

STC:
LLR: 2.93 (-2.94,2.94) {-0.20,1.10}
Total: 42552 W: 3858 L: 3668 D: 35026
Ptnml(0-2): 152, 2956, 14876, 3134, 158
https://tests.stockfishchess.org/tests/view/606a06dd2b2df919fd5f0504

LTC:
LLR: 2.95 (-2.94,2.94) {0.20,0.90}
Total: 44328 W: 1703 L: 1531 D: 41094
Ptnml(0-2): 20, 1373, 19207, 1543, 21
https://tests.stockfishchess.org/tests/view/606aa4ec2b2df919fd5f053e

Closes https://github.com/official-stockfish/Stockfish/pull/3420

Bench: 4310076

Update readme

Simplify evaluation of virtual pieces

bughouse STC
ELO: 107.54 +-72.6 (95%) LOS: 99.9%
Total: 100 W: 65 L: 35 D: 0

bughouse LTC
ELO: 138.99 +-75.2 (95%) LOS: 100.0%
Total: 100 W: 69 L: 31 D: 0

Support virtual piece drops (#122)

Support negative piece counts for bughouse,
and allow virtual piece drops under certain conditions.
This enables the engine to consider the effect of future piece flows,
which is required for more sophisticated communication and strategy.

This significantly improves performance against human opponents,
with only a moderate regression in self-play.

Prepare for virtual piece drops

Make code more robust for negative piece count.

No functional change.

Some more variant descriptions

No functional change.

Simplify piece value calculation

karouk STC
LLR: -2.99 (-2.94,2.94) [-10.00,5.00]
Total: 9432 W: 4175 L: 4305 D: 952
http://www.variantfishtest.org:6543/tests/view/60620a8b6e23db21bb8bca92

karouk LTC
LLR: 2.96 (-2.94,2.94) [-10.00,5.00]
Total: 4812 W: 2122 L: 2095 D: 595
http://www.variantfishtest.org:6543/tests/view/6062c9c06e23db21bb8bca97

Small clean-up

Bench: 4321677

Simplify King Evasion

Simplify away the removal of some illegal `KING`-evasion moves during move
generation. Verified for correctness by running perft on the following positions:

```
./stockfish
bench 16 1 6 default perft
Nodes searched: 71608931810

./stockfish
position fen 4rrk1/1p1nq3/p7/2p1P1pp/3P2bp/3Q1Bn1/PPPB4/1K2R1NR w - - 40 21
go perft 6
Nodes searched: 6136386434
```

Passed STC:
LLR: 2.94 (-2.94,2.94) {-1.00,0.20}
Total: 16072 W: 1473 L: 1349 D: 13250
Ptnml(0-2): 57, 1047, 5710, 1159, 63
https://tests.stockfishchess.org/tests/view/60629e7ef183b42957b423b1

Passed LTC:
LLR: 2.94 (-2.94,2.94) {-0.70,0.20}
Total: 59064 W: 2214 L: 2177 D: 54673
Ptnml(0-2): 26, 1944, 25556, 1979, 27
https://tests.stockfishchess.org/tests/view/6062dce4f183b42957b423de

closes https://github.com/official-stockfish/Stockfish/pull/3415

No functional change

Add more comments for variant code

No functional change.

Extend variant configuration checks

Add more variant documentation comments (#248)

No functional change.

Improve test coverage

Add further tests to cover more variant configuration features.

Closes #279.

No functional change.

Better document piece value calculation

No functional change.

Simplify and unify FRC cornered bishop.

tested locally as fishtest doesn't support FRC:

STC NNUE
9646 - 9647 - 20707 [0.500] 40000 -0.0 +/- 2.4, LOS: 49.7 %, DrawRatio: 51.8 %

STC classical
9678 - 9609 - 20713 [0.501] 40000 0.6 +/- 2.4, LOS: 69.0 %, DrawRatio: 51.8 %

and verified independently:

Score of master vs patch: 6463 - 6580 - 34957 [0.499] 48000

closes https://github.com/official-stockfish/Stockfish/pull/3413

bench: 4321677

Allow using Intel SDE for PGO builds.

The software development emulator (SDE) allows to run binaries compiled
for architectures not supported by the actual CPU. This is useful to
do PGO builds for newer architectures. The SDE can currently be obtained from
https://software.intel.com/content/www/us/en/develop/articles/intel-software-development-emulator.html

This patch introduces a new optional makefile argument SDE_PATH.
If not empty it should contain the path to the sde executable

closes https://github.com/official-stockfish/Stockfish/pull/3373

No functional change.

Simplify variant piece value adjustments

No functional change.