データアーキテクト（データ整備人）の概観とこれからの展望と課題

概要

データアーキテクト（データ整備人）の概観とこれからの展望と課題

データアーキテクト（データ整備人）にはどういった役割があり、これからこの役割を確立したりうまくやっていくためにはどういった課題があるのかを整理する。

スピーカー

しんゆうさん
ブログ「データ分析とインテリジェンス」著者
Twitter / Blog / note

スライド

内容

• 前置き
  • エンジニアとアナリストの間には抽出したり整理業務がある
  • この役割というのを整理して概要をまとめる
  • スキルとかノウハウはおまけ程度に
• データの流れと役割
  • データレイク
  • データウェアハウス
  • データマート
  • 集計
  • 分析
  • 集計してもまだ「データ」である
  • マーケターが分析
  • 分析結果＝インテリジェンス
  • 非分析者が意思決定者だったり、そうでない場合もある
  • だれがどこをになっているか？
    • データエンジニア
      • 様々なデータを集める
      • 専任がいないので兼任
    • データアナリスト
      • 意思決定者のためにデータを作る
    • この間って…
• エンジニアとアナリストの間
  • 抽出
    • 分析が主業務じゃない人から依頼を受けて抽出
    • Excel
  • 整理
    • 集められたデータはそのまま使えないので整理
    • 不整合や欠損の整備
  • 管理
    • 仕様変更への対応
    • おかしなデータがないか監視
    • 正確性の担保
• だれがやるのがいいの？
  • よくあるパターン
    • データエンジニアが全部やってる
      • 抽出でコミュニケーションが発生しやすい
      • 料理にたとえると加工から全部
    • データアナリスト
      • 分析できずに整理と抽出ばかり
      • 料理に例えるとシェフが全部
    • 非分析者（マーケーターやPM）
      • 簡単なことでも無駄に時間を取られてしまったり、整備されてないと
      • 料理に例えるとお店から
• なので別の役割として認識すべき
  • 作るというよりは何かを作るよりは技術を組み合わせるのでエンジニアとは違う
  • 一方で利用者とのコミュにケーソンが難しくなるが、分析はしない
  • 兼任しているのが不自然では？
  • 片手間でできる分量ではない
  • もちろん、明確な線引きはできない
• 役割の名称
  • データ整備人（仮）でバズっちゃった
  • データアーキテクトを提案したけど、浸透しなかった笑
  • Twitterで投票しても同率
• 一言で表現すると
  • データエンジニア＝データを集める人
  • データアナリスト＝データを扱う人
  • データアーキテクト＝データを使いやすくする人
• データアーキテクトが機能したら？
  • 望んだデータを望む形で簡単に得られる
  • 困ったときもすぐに相談できる
  • 欠損や重複が起こったらすぐに修復できる
  • 求人の募集要項で仕事の比率が書かれるようになる
    • 名前と実態の乖離を防げる
• ミッションを遂行するために必要なこと
  • スキルセット
  • ノウハウ
  • キャリア
  • アピール
  • 組織での立ち回り方
• 将来に向けて考えること
  • 新人やオペレーターに任せてもダメなのは経験済み
  • データアナリストやデータエンジニアからシフトさせるのは本人が納得するのか
  • たまにハマるひともいるけど、偶然を待つ？
  • キャリアが不透明
  • 按分するのが一旦は…
    • しかし、企業側が評価しないと今と変わらないままになる
  • 雑用かもしれない
  • 自動化が進んだら
  • 必要ないとなったらどうするのか常に考えておく
• まとめ
  • データアーキテクト（データ整備人）の主張
  • より上手く使う
  • 仕事自体は消えないので準備しておこう

感想

• 役割が私の普段の業務内容でビックリ
• この手の業務はWeb制作でいうところの「Webディレクター」のように、役割としての成果物すべてがプロジェクト内では「中間成果物」なので、評価するのがとても難しそう
• スキルセットが幅広い割にはキャリアが不透明という不幸な感じだけど、興味さえ持てればサイエンスにも首を突っ込めるし、エンジニアリングにも首を突っ込めるし、みたいな面白さはあるような気がする