データ分析作業の80%はデータの準備に費やされるといわれている。昨今のAIブームで、データ分析の華やかな部分に光があたりがちだが、実際に機械に物事を判断させるためには、非常に多くの労力をデータをキレイにする作業に費やさなければならない。
そこでデータエンジニアリング(Data Engineering)というあたらしい職種が生まれた。こういった職種が生まれたこと自体、データ分析の価値・期待値があがったことを示していて、誰かに相当なお金を払ってでも、四六時中データをキレイにする作業をしてほしいと思うぐらいデータ分析が重要視されているということだ。
データエンジニアリング職がカバーする業務範囲は、会社の規模により異なる事が多いようだが、この記事の記述が非常に参考になる。
https://www.cio.com/article/3292983/what-is-a-data-engineer.html
Type 1: Generalist 小規模の企業に見られ、データの収集・クレンジングだけでなく、分析まで行う
Type 2: Pipeline centric 中規模企業で見られ、データアナリストと協業しながら、分析に必要なデータを供給・クレンジングする「パイプライン」を構築する
Type 3: Database centric データを格納するデータウェアハウスを構築・管理し、具体的にはテーブル・スキーマを管理する
うちの場合は、Type2と3を両方やっている。業務の住み分けとしては正しいことをやっていると思うが、いつでも課題になるのが、データアナリストとデータエンジニアのどっちがパイプラインを作って、どっちがビジネスロジックを作るか。これは永遠に解消できない課題で、かつ明確な切り分けはできないだろう。私見では、切り分けが難しいグレーゾーンはやれる人が自発的にやる、がよいと思う。
日本の仕事紹介サイトでもちらほら記述は見かけるので、ニーズは増えているようですが、いまや世界中で有能なデータエンジニアの争奪戦が繰り広げられ始めた。
