創造性はDA/DSにとって素晴らしいツールです

学校のプロジェクトであれ、Kaggleであれ、いくつかのマテリアルコンテストであれ、通常はクリーンでほぼ完璧なデータセットを提供しますが、現実の世界では、多くのデータがほとんど散らばっていて乱雑であり、多くの記事でデータのクリーンアップ方法や方法について説明されている場合があります。これらのノウハウを理解していても、データを取得するためのパイプラインを構築するには多くの時間とコストがかかり、変革を始めたばかりの企業にとっては、長い期間を経験することになることを理解しています。労働の苦痛の、そしてデータアナリストのような困難にどのように直面するか？たぶん、「私たちがそれを成し遂げることができれば、私たちがそれを成し遂げることができれば、それは私たちに数ヶ月かかるでしょう...」と答える代わりに、多分あなたは少し創造的になることができますか？なぜデータ取得に多くの時間とコストがかかるのですか？データを取得する方法はたくさんあります。たとえば、実験計画法、製品やWebページへのポイントの埋め込み、データセットの購入、データの公開などです。ただし、要件が完全に異なる場合でも、各要件は完全に異なるデータに依存する可能性があることを理解しています。わずかに変更されただけです一点、データセットは非常に異なる可能性があり、データの展開は言うまでもなく、必要なデータに従ってデータ取得パイプラインの設計までの要求からデータを取得するのに多くの時間がかかります。部門のせいでケースの伝達や優先順位付けに時間がかかり、データ分析に直面することは避けられず、変更が必要であり、再度変更する必要があり、コストがかかります。それを行う通常の方法は何ですか？一般的に、要件について話し合うときは、最初に「次に、どのような情報がありますか、実行可能な方法について話し合いましょう...」と尋ねます。これは、既存の情報から始めて、既存の情報に従ってニーズを満たすことを試みる良い方法です。情報。運が良ければ解決できます。逆に、データがニーズを満たせない場合、すべてのニーズが合理的に定義されていれば、PMまたは上司はそれに基づいて決定と戦略を立てる必要があります。この要求。要求を満たすことができない場合、意思決定に少し悪いかもしれませんね？この場合、夾角の差はわずか1°ですが、側面間の距離が増加し続けると、両者の違いはどんどん大きくなっていきますが、得られた設計データからは、始めるのにかなりの費用と時間がかかり、市場はすでに変わっているのかもしれません。少し創造性を加えてみませんか？既存のデータのニーズを十分に満たすことができない場合、当面のニーズを満たす必要があるかもしれません。必要なのは、DAまたはDSからのアイデアです。実際、データの背後には見えない情報がたくさんあります。一目で、実際には、データがいくつかの手がかりの配置と組み合わせである場合があります。A+ BはCを見つけることができる場合があります。Dと組み合わせるとニーズを満たすことができる場合は、実際にあなたを助けるためにいくつかの蓄積された経験が必要になりますデータと直感に対する感度が高くなります。製品Aを購入したユーザーの購入履歴レコード（ユーザーID、製品、製品価格、製品購入時間、製品カテゴリー）を取得します。RFMはA商品の顧客の消費習慣を定義し、商品カテゴリーを使用してA商品の可能なグループを理解します。顧客（家族、学生）、および時間区分を使用して、A商品と組み合わせて通常購入される製品を把握します。各ユーザーにタグを付け、相互比較と組み合わせを行います。多くの情報を知ることができますか？ニーズを満たす方法はあなたの創造性です。データ収集時間のコストを解決するにはどうすればよいですか？実際、各DAまたはDSは、プロジェクト全体の時間を短縮できる単純なクローラーを想定することをお勧めします。これは、通信の別のレイヤーを追加してクロールチームを待つ必要がないためです。ここでは、 1回限りのプロジェクトまたは自動化プロジェクトのプロトタイプ。既製のクロールツールまたはシンプルなスイートのSelenium、Beautifulsoupなどを使用して必要なデータを取得できると仮定すると、多くの時間を費やす必要はありません。データ収集を待つ、特に最初はデータチームが必要になるかもしれませんこのようにして、すばやく反復することができ、独自のスキルツリーを増やすこともできます。。Beautifulsoupは必要なデータを取得できるため、データ収集を待つために多くの時間を費やす必要はありません。特に、データチームの開始時には、このような迅速な反復が必要になる可能性があります。これにより、独自のスキルツリーも向上します。 、彼はのためではありませんか？。Beautifulsoupは必要なデータを取得できるため、データ収集を待つために多くの時間を費やす必要はありません。特に、データチームの開始時には、このような迅速な反復が必要になる可能性があります。これにより、独自のスキルツリーも向上します。 、彼はのためではありませんか？。