せやテクあると助かる、ちょうどいいWebツール。
CSVツール

CSV重複チェック

CSVの指定列をキーに、重複データをブラウザ上で簡単にチェックできるCSV重複チェックツールです。複数列の組み合わせにも対応し、重複行・ユニーク行を確認できます。

入力データはサーバーへ送信されませんインストール不要無料で使えます

CSVファイルをここにドラッグ&ドロップ

または、ファイルを選択してください

対応形式: .csv(最大サイズの制限はありません)

このツールでできること

CSVの重複データを調査するための主な機能です。

  • 1列または複数列を組み合わせて重複を判定できます
  • 比較オプションで判定基準を調整できます前後の空白・大文字小文字・空文字の扱いを調整できます
  • 総データ件数・ユニーク件数・重複グループ数・重複対象行数を確認できます
  • 重複グループごとに該当レコードを確認できます
  • CSVレコード一覧で状態を判別できます重複/非重複/判定対象外を判別し、重複のみに絞り込めます
  • 重複CSV・ユニークCSVをそれぞれダウンロードできます
  • 重複チェック結果をテキストとしてコピーできます

使い方

CSVの重複データをチェックする手順を説明します。

手順を見る
  1. CSVを読み込みますドラッグ&ドロップまたは「ファイルを選択」で読み込めます
  2. 重複判定キーとする列を1列以上選択します
  3. 必要に応じて比較オプションを設定します
  4. 「重複をチェック」を実行します
  5. サマリー・重複グループ一覧・CSVレコード一覧で結果を確認します
  6. 必要に応じてCSVダウンロードや結果コピーを行います

こんなときに使えます

こんな場面でCSV重複チェックが役立ちます。

利用シーンを見る
  • 顧客ID・メールアドレスの重複チェック
  • 社員番号・商品コードの重複チェック
  • 複数列を組み合わせた重複チェック
  • CSVインポート前のデータ確認
  • マスタデータの品質確認

CSV重複チェックの仕組みと注意点

このツールの動作の仕組みと、利用時の注意点を説明します。

詳しい解説を見る

「重複」の判定基準

選択した1列または複数列の値を判定キーとし、比較オプション(前後の空白を無視・大文字小文字を無視・空文字を除外)を適用したうえで同じ値になるレコードを重複とみなします。複数列を選んだ場合、各列の値を組み合わせた1つのキーとして判定します。

レコード番号(「n件目」)について

「n件目」は、ヘッダーを除くCSV上のデータレコードの出現順です。値の中に改行を含むレコードがある場合、テキストエディタ上で見た物理的な行番号とは一致しないことがあります。

判定キー(見出し)と元データの違い

重複グループの見出しに表示される値は、比較オプション適用後の判定用の値です。この値は判定・表示にのみ使用し、各レコードの内容表示やCSVダウンロードでは常に元の値(original value)をそのまま使用します。元のデータが書き換わることはありません。

「ユニーク件数」「ユニークCSV」の意味

ユニーク件数は、判定キーごとに1件と数えた件数(重複グループも1件として数える)に、空文字除外等により判定対象外となったレコード数を加えた値です。ユニークCSVは、判定対象のレコードは各キーの最初の1件のみを残し、判定対象外のレコードは全件そのまま残したCSVです。

比較オプションの対応範囲

比較オプションは「前後の空白を無視」「大文字・小文字を無視」「空文字を重複判定対象から除外」の3種類のみです。全角・半角の違いを正規化する機能は現在のバージョンでは提供していません。

文字コード・CSVセルの型について

本ツールは入力CSVがUTF-8であることを前提としており、UTF-8として読み込めない場合はエラーになります。文字コードの判定・変換は行いません。また、CSVのセル値はすべて文字列として扱い、001のような値が数値として変換されることはありません。

よくある質問

CSV加工の「重複行を削除」と何が違いますか?

「CSV加工」の重複行削除は全列が完全に一致する行だけを対象とします。本ツールは指定した1列または複数列の組み合わせをキーに、重複を削除せず調査・可視化する点が異なります。

「n件目」は何を表していますか?

ヘッダーを除くCSV上のデータレコードの出現順です。値に改行を含むレコードがある場合、テキストエディタ上の物理行番号とは一致しないことがあります。

重複グループの見出しに表示される値は、CSVの元の値そのものですか?

いいえ。見出しは比較オプション適用後の判定用の値(判定キー)です。グループ内の各レコードの内容は、常に元のCSVの値(original value)をそのまま表示します。

全角・半角の違いは無視されますか?

いいえ。現在のバージョンでは全角・半角の正規化には対応していません。

文字コードは自動判定されますか?

いいえ。本ツールは入力CSVがUTF-8であることを前提としており、UTF-8として読み込めない場合はエラーになります。

入力したCSVはサーバーへ送信されますか?

いいえ。読み込み・判定・出力の処理はすべてブラウザ内で完結しており、サーバーへ送信されることはありません。

関連ツール

CSV加工

CSV をブラウザ内で読み込み、列・行を加工して UTF-8 BOM 付きでダウンロードします。

JSON・CSV相互変換

JSONとCSVを相互変換します。ネストしたObjectはドット区切りの列に展開し、CSVの値は自動変換せず常に文字列として扱います。処理はブラウザ内で完結します。

CSV列抽出

CSVから指定した1列だけを抽出し、1列CSVまたは改行区切りテキストとして取得できます。値は変換せず、元の順序・空セルを保持します。データはサーバーへ送信されません。

CSVフィルター

CSVの指定した列と条件(一致・含む・より大きい等)に一致する行だけを抽出できます。値は変換せず、抽出結果を件数確認・プレビュー・コピー・CSVダウンロードできます。データはサーバーへ送信されません。

関連ツールをもっと見る(9)

CSVソート

CSVの指定した列を基準に昇順・降順で並び替えられます。文字列・数値・日付から種別を選び、同じキーの行は元の順序を保ったまま(安定ソート)並び替えます。データはサーバーへ送信されません。

CSV列名変更

CSVのヘッダー(列名)だけを変更できます。複数列を一括で変更でき、未変更列は元の列名を維持します。レコードの値・列順・列数は変更しません。データはサーバーへ送信されません。

CSV列追加

CSVに新しい列を1つ追加し、全データ行へ同じ固定値を設定できます。追加位置(先頭・末尾・指定列の前後)を選べ、既存の列・レコードの値は変更しません。データはサーバーへ送信されません。

CSV文字列置換

CSVの指定した1つの列について、検索文字列を別の文字列へ置換できます。完全一致・部分一致、大文字小文字の区別有無を選べ、対象列以外のデータは変更しません。データはサーバーへ送信されません。

CSV空行・空列削除

CSVに含まれる完全に空の行・全レコードで値が空の列を削除できます。空行のみ・空列のみ・両方から削除モードを選べ、削除対象以外のデータは変更しません。データはサーバーへ送信されません。

CSV集計

CSVを指定した列でグループ化し、件数・合計・平均・最小値・最大値のいずれかを集計できます。数値として解釈できないセルは除外し件数を明示。データはサーバーへ送信されません。

CSV結合

2つのCSV(CSV A・CSV B)を指定したキー列でJOIN(INNER/LEFT)、または列構成が一致するCSV同士をUNION/UNION ALLで結合できます。同名列は自動的に安全な列名へ変更されます。データはサーバーへ送信されません。

CSVマスキング

CSVの指定した複数の列について、値の一部または全部を*でマスクできます。全体マスク・先頭/末尾を残す・メールアドレス用の5方式に対応し、結果をコピー・CSVダウンロードできます。データはサーバーへ送信されません。

CSV SQL抽出

CSVをSQL(SELECT)で抽出・並び替え・集計できます。WHERE・GROUP BY・ORDER BY・集計関数などが使え、結果を表で確認してCSVダウンロードできます。CSV・SQL・結果はブラウザ内でのみ処理され、サーバーへ送信されません。