Aynı görünen adlar neden tam metin eşleştirmesinde farklı çıkar?

Başarısız eşleşmeyi zararsız metinle yeniden kur

Dizin aktarımı Café sözcüğünün iki kopyasının eşleşmediğini söylüyor. Birinin sonunda tek U+00E9 karakteri, diğerinde U+0065 ve ardından U+0301 var. Aynı görünseler de tam metin karşılaştırması farklı olduklarını söyler. Ekran görüntüsü, dışa aktarımın hangi diziyi tuttuğunu göstermez.

İki dizinin kurgusal örneğini KitForma Karakter Kodları aracına kopyala ve onaltılı çıktıyı seç. Sözcüğü yeniden yazmak yerine kod noktalarını kaydet; yeniden yazmak araştırdığın farkı ortadan kaldırabilir. Araç ASCII dışındaki Unicode kod noktalarını da gösterir. Adı, İngilizce dışındaki harflerin geçersiz olduğu anlamına gelmez.

Birleşik: U+0043 U+0061 U+0066 U+00E9
Ayrışık:  U+0043 U+0061 U+0066 U+0065 U+0301
Normalleştirmeden önce tam eşitlik: false

Kaynağın yerine geçmeyen karşılaştırma anahtarı oluştur

Unicode normalleştirmesi eşdeğer diziler için tanımlanmış biçimler sunar. Sistem birleşik kanonik biçim istiyorsa NFC değerlendirilebilir. Biçimi veri sözleşmesinde açıkça seç ve iki tarafa aynı şekilde uygula. Sırf sorunlu tek kayıt geçti diye rastgele bir kural seçme.

JavaScript denemesinde iki kurgusal metni normalize("NFC") sonrasında karşılaştır; örnek eşleşmelidir. İçe aktarılan ham değeri anahtardan ayrı sakla ve dönüşüm sürümünü kaydet. Alıcı sistem zaten kendi karşılaştırma politikasını tanımlıyorsa belgelenmemiş ek adım koymak yerine o politikayı izle.

const a = "Caf\u00e9";
const b = "Cafe\u0301";
a === b; // false
a.normalize("NFC") === b.normalize("NFC"); // true

Unicode Standard Annex 15: normalization forms ↗MDN: String.prototype.normalize ↗

Normalleştirmeyi diğer değişikliklerden ayır

NFC her aksanı kaldırmaz, farklı yazı sistemlerini birbirine dönüştürmez veya dile özgü büyük-küçük harf kuralı seçmez. Boşluk kırpma, noktalama kaldırma ve harf boyutu değiştirme ek işlemlerdir. Her biri ayrı tutulması istenen değerleri birleştirebilir.

Türkçe veride harf kuralını bilinçli yaz: I ve İ bütün dil ayarlarında aynı küçük harf davranışına sahip değildir. Görüntülenen adı koru. Ayrıca arama için kolaylaştırılmış anahtar gerekiyorsa ayrı alan adı ver ve ek işlemleri belgele; buna özgün ad deme.

Kayıt birleştirmeden önce çakışmaları incele

Karşılaştırma anahtarı aramaya yardımcı olur. Bütün kod noktaları aynı olsa bile iki kişinin adı aynı olabilir. Kayıtları uygun sabit kimlikle eşleştir; birleştirme veya silmeden önce yinelenen anahtarları gözden geçir. Yalnız normalleştirilmiş addan kişi kimliği çıkarma.

Kaynak kimliği, özgün ad, anahtar ve çakışma sayısı içeren küçük rapor hazırla. Eşleşen aksan çifti, gerçekten farklı iki ad ve farklı kurgusal kimliklere ait aynı adı örneğe ekle. Özet Oluşturucu tam metin baytlarının farklılığını gösterebilir; özet bir eşleştirme politikasının yerini tutmaz ve kişiyi belirlemez.

1. Özgün alanı ve sabit kaynak kimliğini sakla.
2. Normalleştirme ve harf boyutu kurallarını ayrı kaydet.
3. İki girdide de aynı politikayla anahtar üret.
4. Birden fazla kayda bağlı her anahtarı incele.
5. Gerekli kimlik ve inceleme koşulları sağlanınca birleştir.

Soru: Karakter Kodları aracı metni normalleştirir mi?

Hayır; araç kod noktalarını incelemek içindir. Buradaki normalleştirme örneği ayrı denemede JavaScript normalize yöntemini kullanır. Araçlar arasında metin kopyalamanın kendiliğinden normalleştirdiğini varsayma.

Soru: Başarısız eşleşmeyi düzeltmek için aksanları silebilir miyim?

Otomatik onarım olarak yapma. İşaretleri kaldırmak anlamlı yazım farklarını silebilir. Önce farkın birleşimden, harf boyutundan, boşluktan veya gerçekten başka addan kaynaklandığını belirle; aslı koruyup incelenmiş eşleştirme kuralını kullan.