-
データマネジメント
昨対分析(YoY)の落とし穴:要件定義で押さえるべき3つのポイント
昨対分析はよく利用される分析方法の一つですが、いざデータマートを実装してみると「これで本当に目的を達成できるのか?」と不安になったり、依頼者も考慮から漏れて... -
Google Cloud
スプレッドシートでGoogleのNatural Language APIを使って感情分析をする
問題 Google Spreadsheetのセルを引数に、感情分析の結果を返したいです。 答え App Scriptsに以下をコピペして、APIキーを書き換えます。(元のソースはこちら) //Nat... -
Google Cloud
GA4のBigQuery連携データで泣かないために早めに移行しましょう
GA4へ移行するとBigQueryへのデータ連携が簡単にできるので、詳細な分析ができるようになります。 しかし、UAで取得できていたものがGA4ではできなくなっていたり、連携... -
IntelliJ IDEA
IntelliJからPythonを動かすときの環境変数を.envファイルから読み込む
IntelliJを使ってPythonスクリプトを開発する際、環境変数を使うことがあります。 環境変数を設定する方法は色々ありますが、設定がUIが込み入ってて使いにくかったり、... -
Google Cloud
BigQueryのScheduling Queriesがコマンドから設定できるようになっていた
いつの間にかBigQueryのScheduling Queriesをコマンドから叩けるようになっていました。これまではWebのUI上でしか設定できなかったのが、コマンドでできるようになった... -
データマネジメント
私的データマートの障害白書2020
データマートの開発をして1年半ぐらい経ったので、私が遭遇した障害をまとめてみようと思います。アサインされた当時はまだ数テーブルしかなく、ユーザーも目に届く範囲... -
Redshift
RedshiftでUNIX時間をtimestamp型に変換する
やり方 Redshiftでこのような形でUNIX秒のカラムがあったら、次のようにしてタイムスタンプ型に変換します。 created_at158627160015916076521591542000159352919916094... -
Python
IntelliJやPyCharmでPythonファイルの変更を検知してflake8で文法チェックをする
概要 Pythonのコードをレビューする際に、フォーマットについての指摘は何箇所にも渡ってしまい心が折れそうになったので調べてみました。CIも方法としてありますが、レ... -
組織開発
「DevRel エンジニアフレンドリーになるための3C」の4章〜6章まで読んだ
概要 「DevRel エンジニアフレンドリーになるための3C」の後半。前半はこちら。 https://dev.1dz.jp/book_devrel_01/ 第4章 Conents 3Cのひとつ、「Contents」。コンテ... -
Python
Pandasのjson_normalizeでネストしているJSONをフラット化する
Pandasで次のようなデータを何も考えずにデータフレームに入れてしまうと、値が取り出しにくいです。例えば以下のようなJSON。 [ { "id": '0', "...