重複行の削除：空白の設定で結果が変わる理由

空白の処理後に重複を比較する

ツールはLFまたはCRLFで行を分割し、任意の前後空白削除、空行削除、重複削除、任意の並べ替えの順に処理します。前後空白と空行の削除は初期状態で有効、並べ替えは無効です。JavaScriptのtrim()は規格で定義された両端の空白を除去し、行内の空白は残します。

入力の最初の行ではAの両側に空白があります。空白と空行の削除を有効にするとAとBの2行になります。前後空白の削除だけを無効にすると、空白付きのA、空白なしのA、Bの3行が残ります。下のJSON表記は空白が見えるよう各行を引用符で囲んだものです。ツールの結果は改行区切りです。

[" A ", "A", "A", "", "B"]
trim = true:  ["A", "B"]
trim = false: [" A ", "A", "B"]

Setで同じ文字列を1つだけ残します。Appleとapple、01と1は別々に残ります。行内の空白が異なるA BとA Bも統合されません。URLの意味の比較、大文字と小文字の統合、Unicode正規化は行いません。並べ替えを無効にすると初出の順序を維持します。

["Apple", "apple", "01", "1", "A B", "A  B"]

キーワード一覧では空白削除を試し、字下げや両端の空白が重要なら無効にしてください。空行削除は前後空白削除が無効でも空白だけの行を除外します。原本を保存し、代表的な数行で確認してから全体を処理します。入力や設定を変更したら重複削除を再実行してください。

並べ替えで重複がさらに減りますか？

いいえ。重複削除後にページの言語を指定したlocaleCompareで並べ替えます。同一項目の基準は変わりません。行を数値として解釈する機能でもありません。