例えば、11:20だと11、06:30だと06を抽出する。
SELECT
userid,
jpn_time,
FORMAT_TIMESTAMP("%H", TIMESTAMP(jpn_time)) AS hour
FROM
table
注目の投稿
【kepler.gl】コロナ対策による人流の変化も地図上に可視化（各種メディアで報道）
kepler.glのサイト画面 kepler.glを使ってコロナ対策の効果を分析したところ、テレビ、新聞、ネットのメディアから問い合わせや報道依頼が殺到。今も、土日返上で都内や全国の人流変化を分析しています。この記事では人流変化の可視化に便利なkepler.glにつ...
2020年4月6日月曜日
2019年10月3日木曜日
【トレジャーデータ】Import Large Datasetの利用にバグあり（2019/10/03現在）
TDの中の人によると、BigQueryからTDに大量データをインポートする機能（Import Large Dataset）にバグがあるので、使わないほうがよいとのこと（2019年10月3日17時現在）。とはいえ、この機能を使わなくても数百GBは余裕でimportできるから問題ないか。
□Import Large Dataset
BQ→TDにデータをインポートする際、Import Lage Datasetにチェックを入れると大量データを高速にインポートできる。ちなみに、"Large"の基準はおおよそ500MB。
□Import Large Dataset
BQ→TDにデータをインポートする際、Import Lage Datasetにチェックを入れると大量データを高速にインポートできる。ちなみに、"Large"の基準はおおよそ500MB。
参考サイト
https://support.treasuredata.com/hc/en-us/articles/360001647267-Data-Connector-for-Google-BigQuery
2016年9月23日金曜日
【比較】Treasure Data と Big Query の違い
先日、TDの人とTDとBig Queryの違いについて話す機会があったのでまとめてみました。
機能面は、TDに軍配！
価格面は、BQに軍配！
という感じです。
自分の好みとしては、他社とのデータ連携を主要目的として利用したいので、現状TDの方が使いやすいです。
一方、GAP（Google Analytics Premium）をすでに利用しているとBQの月額料金が$500免除されるらしいので、それが事実であり、かつGAPユーザならBQ利用も検討の余地ありと思います。
| Big Query | Treasure Data | |
| 機械学習 | 不可 | 可能（Hivemallを利用） |
| データ構造変更 | drop & create table が必要 | Schema less のためdrop table が不要 |
| Jobスケジュール機能 | 無 | 有 |
ログ欠損率
| 高 | 低 |
参考：BigQueryのstreaming insertでログが欠損する http://qiita.com/shibacow/items/199a17f07c525d3dbb2d
|
Fluentdのchunk毎にID管理を行い重複制御を実装
| |
| クエリ安定性 | 中程度 | 高い |
他システム連携
| GCP製品 | TDユーザ間でのデータ連携 |
Google Analytics Premiumからのデータフィード （3回/1日）
| GCP/AWS/SFDC | |
| DB（MySQL, PostgreSQLなど） | ||
| その他、FTP、BI、SDK、SMP、外部データ等 | ||
サポート
| エンタープライズ向けサポートが不足 |
標準サービスに含む
→ チャットでインタラクティブに対応 → SQL構文/性能改善にも対応 |
| 追加費用が発生 | ||
参考：ドリコムを支えるデータ分析基盤がTD+AWSに移行した話 http://ka-nipan.hatenablog.com/entry/2015/12/07/002702
| ||
料金体系
| 従量課金（ストリーミングインサート量、ストレージ量、クエリ数） | 月額固定 |
参考：BigQueryで150万円溶かした人の顔 http://qiita.com/itkr/items/745d54c781badc148bb9
| スタンダード利用で月$3300 | |
| 保存レコード上限：150億レコード、クエリ数等は制限無し | ||
| 使い方を誤らなければ安い | 高いが大規模データを扱う際に料金を気にしなくても良い |
機能面は、TDに軍配！
価格面は、BQに軍配！
という感じです。
自分の好みとしては、他社とのデータ連携を主要目的として利用したいので、現状TDの方が使いやすいです。
一方、GAP（Google Analytics Premium）をすでに利用しているとBQの月額料金が$500免除されるらしいので、それが事実であり、かつGAPユーザならBQ利用も検討の余地ありと思います。
◇トレジャーデータあれこれ
- 【トレジャーデータ】トレジャーデータの結果をタブローオンラインに出力する
- 【トレジャーデータ：Presto】自動でMAUを集計する（TD_TIME_TRUNC）
- 【トレジャーデータ:Presto】cronの設定（任意のスケジュールでSQLを自動実行）
- 【トレジャーデータ】時間文字列をタイムスタンプに変換する（presto）
- 【トレジャーデータ：Presto】SQLでのクロス集計は？caseとmap_aggならどっち？表頭項目を指定しない方法は？
- 【トレジャーデータ：Ower権限】Ower権限を別のアカウントに移行するには？OwerとAdminの違いは？
- 【トレジャーデータ：Treasure Workflow】今注目のTreasure Workflowとは？その導入手順と活用例（SQL文ループ処理）の紹介
- 【トレジャーデータ：Presto】ユーザの継続利用状況を可視化するⅡ（エンゲージメント推移）
- 【トレジャーデータ】コマンドプロンプトからデータベース(DB)を作成
- 【トレジャーデータ：Presto】ユーザの継続利用状況を可視化するⅠ（アクセス日数遷移）
- 【トレジャーデータ：Presto】各ユーザの曜日別アクセス率を集計してライフスタイルに合ったアプローチをする
- 【トレジャーデータ】複数のグーグルアカウントを登録する方法
- 【トレジャーデータ】output result よりinsertの方が早く実行結果をテーブルに出力できる
- 【トレジャーデータ】データベース名が数字の場合（sql:presto）
- 【トレジャーデータ】先頭のバックスペース（\b）を除去（regexp_replace）
- 【トレジャーデータ】記事別DAU階級推移（SQL：case文を使う）
- 【トレジャーデータ】昨日及び一昨日の各記事のuu,pvを集計して比較する
- 【セミナー報告】TUG (Treasure Data User Group) vol.3 - Biz Dev編
- 【トレジャーデータ】自社サイトから他社サイトへ遷移する日数の分布集計（日数差分はdate_diffを用いる）
- 【トレジャーデータ】SQL：複数のテーブル間で重複するユーザ数の日時の推移を集計する
- 【トレジャーデータ】任意の期間のデータを消す
- 【トレジャーデータ】コマンドプロンプトからデータをダウンロード(mode: cli)
- 【トレジャーデータ】UDFs（User Defined Functions：ユーザー独自の定義関数）一覧
登録:
投稿
(
Atom
)