ビッグデータからその可能性を探ることが一時期もてはやされましたが、それももう時代遅れになりつつあります。当時は、大量のデータを収集するのが一般的でしたが、時代は変わりつつあります。
資格試験のテキストの容量などを考えれば、実際にはもっと少ないデータから多くの目的を達成することが可能になってきます。このブログ投稿では、「ビッグデータが死んだ」をまとめつつ、その重要性が下がったこと、AIの方向性や企業活動への影響を考えてみます。
ビッグデータが死んだ
Googleのエンジニアが書いた「Big Data Is Dead」が話題になりました。その内容を要約すると以下のとおり。
ビッグデータの問題は、大量のデータを収集することに重点が置かれ、データの品質や正確性にあまり注意が払われていなかったことです。さらに、ビッグデータを収集するためのインフラストラクチャーのコストが高いため、多くの企業がビッグデータを収集することに躊躇しています。
その代わりに、著者は「スマートデータ」という新しいアプローチを提唱しています。スマートデータは、より小規模なデータセットを使い、より洗練された分析手法を用いることで、より正確で有用な情報を得ることができるとしています。スマートデータは、ビジネスにとってより費用対効果が高く、より現実的な方法であると主張されています。
著者はまた、スマートデータを活用するためには、正確な情報を収集するための適切なツールや技術を使用する必要があると強調しています。また、著者は、スマートデータを収集するための新しいテクノロジーが急速に発展しており、ビジネスにとってより効果的な方法であると述べています。
総じて、著者は、ビッグデータが時代遅れになりつつあると主張しています。スマートデータは、より現実的で費用対効果が高く、より正確で有用な情報を提供するため、ビジネスにとってより優れた選択肢であるとされています。
Big Data Is Deadから要約
ビッグデータの重要性を説いた記事は多かったですが、そこまでビッグデータは必要なく、スマートデータとして充分に解答を作成できるというは話です。
ビッグデータとは？その概念と歴史を紹介
ビッグデータとは、一般的なデータベースの範囲を超える、巨大なデータ集合を指します。現代社会では、インターネットの普及により、膨大な量のデータが発生するようになり、ビッグデータ解析がますます重要になっているといわれてきました。ビッグデータは、企業のグローバルな分析や消費者行動の予測、医療などの分野で幅広く利用され、人工知能や機械学習の発展とともに、その可能性は広がっています。ビッグデータの歴史は、1990年代に始まり、2000年代にはGoogleが大規模かつ高速に検索を行える技術を開発するなど、急速に進歩しました。
しかし、上記のエンジニアの紹介のとおり、アクセスされないビッグデータも多く、想像以上に小さなデータで目的のプログラムなどを作成することが可能と考えられます。
税理士予備校のテキスト1冊は50MB程度
実体験で、税理士試験のテキストのサイズは、50MB程度でした。これは書き込みをしたもので、テキストデータではなく画像データの集合体として変換してサイズを計ってみたものです。それがたったの50MB。10冊としても500MBです。これを5強化としても、2.5GBで試験の対策の基礎が終わります。
基礎的なことをこれを見て処理すれば、大量のデータを収集して処理しなくても演繹的に正しい答えにたどり着けるでしょう。ビッグデータの収集ニーズが減少しているというのはこのことです。AI自動生成技術が進化したことも影響しています。学習内容からなにかを作成して学習させるプロセスも存在します。何を価値にするか考えるところです。
ビッグデータのビッグの重要性が下がった
多くの企業はその重要性を認識し、収集・分析に注力してきました。しかし、手に入りやすくなったこと、少量のデータで処理することで充分な内容を得られることから、予備校のテキスト1冊がたったの50MB程度であるように、骨子であるデータを集めて処理することで、ビッグデータを集める必要性が減っているという実態があります。
AIの発展により、必要な情報の自動化や最適化が可能になっており、ビッグデータが持つ重要性が下がる一方で、企業活動への影響は大きくなっています。今後のビジネスにおいては、ビッグデータに頼らずに、AIを活用して的確な意思決定を行うことが求められるでしょう。
企業活動への影響も大きい
企業活動にも大きな影響が出てると考えられます。少量のデータから的確なマーケティング戦略を立てることができます。また、製品の改善や新商品の開発においても、ビッグデータ以外にも、スマートデータとして得られれば、有用な情報源となっています。熟練工の勘のような理解でもあります。少ないデータであっても、熟練工が正しい答えを導き出せるようなデータの結びつけができているのが、スマートデータという内容です。
少なくとも、「ビッグデータ」が死語になりつつある認識を持っておきたいものです。