BigData

大きなデータを取り扱うアクションの一覧です。
BigQuery
概要
BigQueryは、Google の BigQuery のクエリを利用できます。
パラメーター
*は、必須パラメーター
名前
型
概要
例
provider*
文字列
プロバイダーID
bigquery_xxxxxxxx
query
文字列
クエリそのもの
SELECT * from roboticcrowd.userdata.histories order by timestamp ASC
location
文字列
データセットが配置されているロケーションを指定します。
asia-northeast1
アウトプット
タイプ
型
概要
例
Array
JSON形式
Queryの結果
※使用例のアウトプット参照
使用例
クエリー SELECT * from roboticcrowd.userdata.histories order by timestamp ASC を実行する
1
# BigQueyを叩く
2
+bigquery_1:
3
  action>: BigQuery
4
  provider: bigquery_xxxxxxxx
5
  query: | 
6
    SELECT name
7
    FROM `bigquery-public-data.usa_names.usa_1910_2013`
8
    WHERE state = 'TX'
9
    LIMIT 10
10
  location: US
11
​
12
#=> 
13
# [
14
#   {
15
#     "name": "Frances"
16
#   },
17
#   {
18
#     "name": "Alice"
19
#   },
20
#   {
21
#     "name": "Beatrice"
22
#   },
23
#   {
24
#     "name": "Ella"
25
#   },
26
#   {
27
#     "name": "Gertrude"
28
#   },
29
#   {
30
#     "name": "Josephine"
31
#   },
32
#   {
33
#     "name": "Lula"
34
#   },
35
#   {
36
#     "name": "Blanche"
37
#   },
38
#   {
39
#     "name": "Marjorie"
40
#   },
41
#   {
42
#     "name": "Christine"
43
#   }
44
# ]
Copied!
BigQueryImportCSV
概要
BigQueryImportCSVは、Google の BigQuery にCSVファイルからデータをインポートするアクションです。
パラメーター
*は、必須パラメーター
名前
型
概要
例
filename*
文字列
使用するCSVファイル名
+get_file_1
provider*
文字列
プロバイダーID
bigquery_xxxxxxxx
dataset*
文字列
データセットID
my_dataset
table*
文字列
テーブルID。tableが存在しない場合は入力したtable_idでtableが作られます。存在している場合は、指定したテーブルにデータが追加されます。
my_table
headers*
真理値
CSVにヘッダーが含まれている場合はtrue
true
schema
JSON
テーブルのスキーマ。Jsonで指定してください。使えるフィールドは次のURLを参照してください。https://cloud.google.com/bigquery/docs/reference/rest/v2/tables#TableFieldSchema​
{"fields": [{"name": "name", "type": "STRING", "description": "名前", "mode": "REQUIRED"}, {"name": "weight", "type": "FLOAT", "description": "体重", "mode": "NULLABLE"}]}
アウトプット
タイプ
型
概要
例
Boolean
真理値
完了するとtrueとなる（エラーがなければ、常にtrue）
true
使用例
CSVファイルからmy_datasetデータセットのmy_tableテーブルにデータをインポートする。
1
# BigQueyを叩く
2
+big_query_import_c_s_v_1:
3
  action>: BigQueryImportCSV
4
    filename: +get_file_1
5
    provider: bigquery_xxxxxxxx
6
    dataset: my_dataset
7
    table: my_table
8
    headers: true
9
    schema: "{\n    \"fields\": [\n        {\n            \"name\": \"name\",\n            \"type\": \"STRING\",\n            \"description\": \"名前\",\n            \"mode\": \"REQUIRED\"\n        },\n        {\n            \"name\": \"weight\",\n            \"type\": \"FLOAT\"\n        }\n    ]\n}"
10
​
11
#=> true
Copied!

Actions - Previous

WebService

Next - Actions

Github

Last modified 6mo ago

Copy link

Contents