JDEA Forum

「データ」についてのあれこれをレポートしつつ、ワイガヤ(ハイブリッド・ミーティング)や勉強会/セミナーなどを通じて日本データ・エンジニアリング協会(JDEA https://www.jdea.gr.jp/)を側面支援していきます。

「データ」についてのあれこれをレポートしつつ、ワイガヤ(ハイブリッド・ミーティング)や勉強会/セミナーなどを通じて日本データ・エンジニアリング協会(JDEA)を側面支援していきます

データ検証

データ検証は、「データ・クレンジング」「データ・クリーニング」などという言い方もあります。データ分析に適用できるよう、対象となるデータの構造を確認し、誤りがあれば適正化する作業です。

データ分析を前提に新たに収集・作成したデータであれば、初期設定に従ってデータは正規化、構造化されている(はず)です。しかし既存のデータが混在している場合、全体を検証しなければなりません。単純な誤まりであればいいのですが、システムに悪さを働くワームが混入していると、たいへんなことになりかねません。

データ・サイエンティストの仕事の7割が、データ検証に充てられていると言われます。その作業を迅速・正確に行うには、データ・ベリファイのノウハウと技術、マネジメント力が求められます。