Text run is not in Unicode Normalization Form C

Unicode und die Normalform C für UTF-8-kodierte Zeichen

Bei bestimmten Zeichen, die utf-8-kodiert oder als numerische Codereferenz (NCR) in einer HTML-Seite eingebaut sind, gibt der W3.org-Validator eine Warnung aus: Text run is not in Unicode Normalization Form C. Zum Beispiel wenn das Unicode-Zeichen OHM SIGN, Codepoint 0x2126 als NCR Ω in die Seite eingebaut wurde. Nun, es gibt 4 Normalformen:

Die kanonische Dekomposition (NFD), die kanonische Dekomposition gefolgt von einer kanonischen Komposition (NFC), die kompatible Dekomposition (NFKD) und die kompatible Dekomposition gefolgt von einer kanonischen Komposition (NFKC).Normalisierung (Wikipedia)

Dazu lesen wir auf Unicode.org:

For loose matching, programs may want to use the normalization forms NFKC and NFKD, which remove compatibility distinctions. These two latter normalization forms, however, do lose information and are thus most appropriate for a restricted domain such as identifiers.
(Für einen losen Abgleich möchten Programme möglicherweise die Normalisierungsformulare NFKC und NFKD verwenden, um Kompatibilitätsunterschiede zu beseitigen. Diese beiden letzteren Normalisierungsformen verlieren jedoch Informationen und sind daher für eine eingeschränkte Domäne wie Identifikatoren am besten geeignet).

Mit dem Perl-Modul Unicode::Normalize ist es recht einfach diese Empfehlung umzusetzen, bspw. also auf die Normalfom zu prüfen:

use Unicode::Normalize qw(normalize);
my $char = pack "U", 0x2126; # OHM SIGN
printf "%04X", unpack("U", normalize('NFC', $char)); # 03A9

Die Funktion normalize() liefert also den Codepoint für das Zeichen in der Normalform C. Beide Zeichen nebeneinander sehen gleich aus, sind jedoch unterschiedliche Zeichen:

Eine Auswahl über die Normalform C

Untenstehende Tabelle zeigt eine Auswahl von Zeichen und deren Normalform C für die Codepoints von 128..10000 (dezimal):

Datenschutzerklärung: Diese Seite dient rein privaten Zwecken. Auf den für diese Domäne installierten Seiten werden grundsätzlich keine personenbezogenen Daten erhoben. Das Loggen der Zugriffe mit Ihrer Remote Adresse erfolgt beim Provider soweit das technisch erforderlich ist. s​os­@rolf­rost.de.