BigData
大きなデータを取り扱うアクションの一覧です。
BigQuery
概要
BigQueryは、Google の BigQuery のクエリを利用できます。
パラメーター
*は、必須パラメーター
| 名前 | 型 | 概要 | 例 |
|---|---|---|---|
| provider* | 文字列 | プロバイダーID | bigquery_xxxxxxxx |
| query | 文字列 | クエリそのもの | SELECT * from autoro.userdata.histories order by timestamp ASC |
| location | 文字列 | データセットが配置されているロケーションを指定します。 | asia-northeast1 |
アウトプット
| タイプ | 型 | 概要 | 例 |
|---|---|---|---|
| Array | JSON形式 | Queryの結果 | ※使用例のアウトプット参照 |
使用例
クエリー SELECT * from autoro.userdata.histories order by timestamp ASC を実行する
# BigQueyを叩く
+bigquery_1:
action>: BigQuery
provider: bigquery_xxxxxxxx
query: |
SELECT name
FROM `bigquery-public-data.usa_names.usa_1910_2013`
WHERE state = 'TX'
LIMIT 10
location: US
#=>
# [
# {
# "name": "Frances"
# },
# {
# "name": "Alice"
# },
# {
# "name": "Beatrice"
# },
# {
# "name": "Ella"
# },
# {
# "name": "Gertrude"
# },
# {
# "name": "Josephine"
# },
# {
# "name": "Lula"
# },
# {
# "name": "Blanche"
# },
# {
# "name": "Marjorie"
# },
# {
# "name": "Christine"
# }
# ]
BigQueryImportCSV
概要
BigQueryImportCSVは、Google の BigQuery にCSVファイルからデータをインポートするアクションです。
パラメーター
*は、必須パラメーター
| 名前 | 型 | 概要 | 例 |
|---|---|---|---|
| filename* | 文字列 | 使用するCSVファイル名 | +get_file_1 |
| provider* | 文字列 | プロバイダーID | bigquery_xxxxxxxx |
| dataset* | 文字列 | データセットID | my_dataset |
| table* | 文字列 | テーブルID。tableが存在しない場合は入力したtable_idでtableが作られます。存在している場合は、指定したテーブルにデータが追加されます。 | my_table |
| headers* | 真理値 | CSVにヘッダーが含まれている場合はtrue | true |
| schema | JSON | テーブルのスキーマ。Jsonで指定してください。使えるフィールドは次のURLを参照してください。https://cloud.google.com/bigquery/docs/reference/rest/v2/tables#TableFieldSchema | {"fields": [{"name": "name", "type": "STRING", "description": "名前", "mode": "REQUIRED"}, {"name": "weight", "type": "FLOAT", "description": "体重", "mode": "NULLABLE"}]} |
アウトプット
| タイプ | 型 | 概要 | 例 |
|---|---|---|---|
| Boolean | 真理値 | 完了するとtrueとなる（エラーがなければ、常にtrue） | true |
使用例
CSVファイルからmy_datasetデータセットのmy_tableテーブルにデータをインポートする。
# BigQueyを叩く
+big_query_import_c_s_v_1:
action>: BigQueryImportCSV
filename: +get_file_1
provider: bigquery_xxxxxxxx
dataset: my_dataset
table: my_table
headers: true
schema: "{\n \"fields\": [\n {\n \"name\": \"name\",\n \"type\": \"STRING\",\n \"description\": \"名前\",\n \"mode\": \"REQUIRED\"\n },\n {\n \"name\": \"weight\",\n \"type\": \"FLOAT\"\n }\n ]\n}"
#=> true