Generell: je mehr Bit, desto höher die die Abstufungen zwischen den Farben (weniger von "Colorbanding" - also das Verläufe wirklich verlaufen und nicht abgestuft sind)).
Nun kannst du entscheiden, ob YCbCr (oder YUV) - hier werden drei Signale übertragen: Y=Helligkeit, U und V für die Farbe. Dieses Signal liegt auf Blurays/Filmen vor und entspricht eher der analogen Bildübertragung, wo Helligkeit und Farbe getrennt übertragen werden. Da nur zwei Signale für die Farbmischung genutzt werden und für die Helligkeit eines, welches nicht unbedingt 256 Stufen braucht bzw hier auch noch die Helligkeitsinformationen für Bildpunkte zusammengefasst werden (nennt sich Farbunterabtastung: 4:2:0 - Es gibt nur eine Farbinformation für eine Pixelgruppe von 2x2 Pixeln. Die Farbmenge ist also nur ein Viertel der Helligkeitsmenge.4:2:2 - Es gibt nur eine Farbinformation für jeweils zwei nebeneinander liegende Pixel. Die Farbmenge ist also nur die Hälfte der Helligkeitsmenge. 4:4:4 - Es gibt für jedes Pixel sowohl Helligkeits- als auch Farbinformation. Es findet also keine Farbunterabtastung statt.) ist die Datenrate gering so dass auf der begrenzten HDMI-Bandbreite (max 18Gbit/s) mit mehr bit bro Kanal gearbeitet werden kann.
RGB kommt ja aus dem PC-Bereich, das Bildsignal wird über die drei Grundfarben Rot, Grün und Blau erzeugt in den Abstufungen von 1 bis 256. Allerdings ist das RGB-Format damit datenlastiger, da jeder Bildpunkt einzeln gemischt werden muss. Durch die einschränkende max HDMI-Bandbreite kann RGB also nur mit 8bit übertragen werden.
Ich würde YCbCr einstellen und gucken, was dein Panel (nativ) kann. Ich denke aber, dass ich auf 10bit gehen würde. Glaube ist auch die kleinste Bittiefe für HDR (HDR10) - denn hier brauchst du ja möglichst viele Abstufungen für die "Hohe dynamische Bandbreite" ...