データエンジニアの将来性 — AIに奪われる業務・残る業務

新卒採用では理工系の大学、大学院の者が多いが、文系でも、心理学や経済学等データを扱っていたという卒業生も多い。高専や専門学校の情報系の卒業生もいる。システムエンジニアとして一括して新卒採用し、その中からデータエンジニアとして育てていく会社もある。 中途採用の場合、システムエンジニア等IT関係のエンジニアから転職という人が多い。また、金融、医療、製造、教育等、何らかの分野に詳しい業務知識を持っていると中途採用では有利となる。 資格関連では民間が運営する海外のものがあり(Google認定プロフェッショナルデータエンジニア等)、この認定を持っているとデータエンジニアのスキルがあると国の内外で評価される。 データエンジニアそのものの資格ではないが、情報処理振興機構（IPA）のデータベーススペシャリスト試験、システムアーキテクト試験などは関連する知識を持っている証明となる。 新卒採用の場合、入社後、社内で必要に応じて、基礎スキルの研修（プログラミング、数学、データ分析、データベース、分散処理、機械学習、AI等）、業務知識の習得（データの背景を把握するための顧客の業務の理解等）、プロジェクトのマネジメント（チーム管理やアジャイル開発）等の研修を行う会社が多い。開発のスピードアップが求められる今日、以前のウォーターフォール型でない、アジャイル開発のスキルが求められている。 このような研修を受け、その後は社内でプロジェクトに参加し、仕事をしながら、また、関連するKaggle等のコミュニティに参加し、力をつけていく。KaggleとはそのトップページにYour Machine Learning and Data Science Communityとあるように、世界中の機械学習とデータサイエンスに携わる数十万人が集まるコミュニティである。 この後のキャリアとしてはプロジェクトのマネジメントをし、さらにグループのマネジメントをするようになるというように管理職的なキャリアを歩む人と、専門性を高めエキスパートになっていく人がいる。専門性を高め、データサイエンティストやAIエンジニアになる人もいる。 データエンジニアに必要なスキルとしては、微分積分、線形代数、確率統計などの数学のスキル、Python 、Scala（スカラ）、Java、Rなどのプログラミングのスキル、ビッグデータ分析のための環境をアマゾン、グーグルなどのクラウド上で設計、構築し、運用するスキルが求められる。また、Hadoopなどによる大規模なデータを分散処理する知識などが求められる。そしてAI開発が盛んな今日、機械学習の知識が求められることも多い。また、データを扱う上では対象分野の業務知識が非常に重要である。業務知識が無ければ、どのようなデータでどのように処理すれば良いかが分からない。技術動向や社会、経済の動きを把握していることも必要である。 収集・解析に必要なプログラム作成に生成AIを活用することも多くなっており、生成AIで仮のものを作り、修正、加筆したり、作動確認し、利用する。 膨大で複雑なデータを丹念に処理していく必要があることから、根気があり、粘り強いことが求められる。データの分析では自分の思い込みがないか、自分の考えを客観的にとらえられることも必要である。技術や分析に対する好奇心、新しい手法を積極的に取り入れるチャレンジ精神も求められる。