JDEA Forum

「データ」についてのあれこれをレポートしつつ、ワイガヤ(ハイブリッド・ミーティング)や勉強会/セミナーなどを通じて日本データ・エンジニアリング協会(JDEA https://www.jdea.gr.jp/)を側面支援していきます。

「データ」についてのあれこれをレポートしつつ、ワイガヤ(ハイブリッド・ミーティング)や勉強会/セミナーなどを通じて日本データ・エンジニアリング協会(JDEA)を側面支援していきます

データ収集

データ・エンジニアリングでは、人工知能(AI)でビッグデータを分析して市場動向を読み取るといった「データ・サイエンス」が脚光を浴びますが、それはほんの一部の業務でしかありません。実態はむしろ地道で気長な取り組みが必要です。

AIやデータ・サイエンスを実施する前に、対象となるデータをどうやって集めるのか、という大きなテーマがあります。

企業間の取引きにかかるデータ、モノの生産・製造にかかるデータは、出所が明確で、データ品質も一定程度、安定していると考えていいでしょう。ですが、一般消費者からどのようにデータを集めるか、というのは十分な検討が必要です。

なるほど商品棚やディスプレーにセットしたセンサーで、道行く人のスマートフォンからデータを自動的に収集することは可能です。しかしそれは当人の了解なくデータを盗むことになってしまいますし、仮に「ご了解ください」の表示をしたとしてもプライバシー侵害になる可能性が高くなります。

無記名のアンケートでも、インタビュー形式のヒアリングか、チラシ形式の用紙回収方式か、スマホによるネット回答か、手段によって精度が異なってきます。

紙ベースでアンケートを行う場合、OCRで読み取ればいい、と多くの人が考えます。選択肢に1、2、3があって、「そのいずれかに◯を付けてください」というとき、OCRはボールペンの◯を「0」と認識するかもしれません。

またOCRが読み取る範囲を示すマーク(アタリ)をどこに置くか、そのようなことも設計しなければなりません。

このように、データ収集にも工学的アプローチと手順の設計が必要です。