BigData

大きいなデータを取り扱うアクションが含まれています。

BigQuery

概要

BigQueryは、Google の BigQuery のクエリを利用できます。

パラメーター

*は、必須パラメーター

名前

概要

provider*

文字列

プロバイダーID

bigquery_xxxxxxxx

query

文字列

クエリそのもの

SELECT * from roboticcrowd.userdata.histories order by timestamp ASC

location

文字列

データセットが配置されているロケーションを指定します。

asia-northeast1

アウトプット

タイプ

概要

Array

JSON形式

Queryの結果

※使用例のアウトプット参照

使用例

クエリー SELECT * from roboticcrowd.userdata.histories order by timestamp ASC を実行する

# BigQueyを叩く
+bigquery_1:
action>: BigQuery
provider: bigquery_xxxxxxxx
query: |
SELECT name
FROM `bigquery-public-data.usa_names.usa_1910_2013`
WHERE state = 'TX'
LIMIT 10
location: US
#=>
# [
# {
# "name": "Frances"
# },
# {
# "name": "Alice"
# },
# {
# "name": "Beatrice"
# },
# {
# "name": "Ella"
# },
# {
# "name": "Gertrude"
# },
# {
# "name": "Josephine"
# },
# {
# "name": "Lula"
# },
# {
# "name": "Blanche"
# },
# {
# "name": "Marjorie"
# },
# {
# "name": "Christine"
# }
# ]

BigQueryImportCSV

概要

BigQueryImportCSVは、Google の BigQuery にCSVファイルからデータをインポートするアクションです。

パラメーター

*は、必須パラメーター

名前

概要

filename*

文字列

使用するCSVファイル名

+get_file_1

provider*

文字列

プロバイダーID

bigquery_xxxxxxxx

dataset*

文字列

データセットID

my_dataset

table*

文字列

テーブルID。tableが存在しない場合は入力したtable_idでtableが作られます。存在している場合は、指定したテーブルにデータが追加されます。

my_table

headers*

真理値

CSVにヘッダーが含まれている場合はtrue

true

schema

JSON

テーブルのスキーマ。Jsonで指定してください。使えるフィールドは次のURLを参照してください。https://cloud.google.com/bigquery/docs/reference/rest/v2/tables#TableFieldSchema

{"fields": [{"name": "name", "type": "STRING", "description": "名前", "mode": "REQUIRED"}, {"name": "weight", "type": "FLOAT", "description": "体重", "mode": "NULLABLE"}]}

アウトプット

タイプ

概要

Boolean

真理値

完了するとtrueとなる(エラーがなければ、常にtrue)

true

使用例

CSVファイルからmy_datasetデータセットのmy_tableテーブルにデータをインポートする。

# BigQueyを叩く
+big_query_import_c_s_v_1:
action>: BigQueryImportCSV
filename: +get_file_1
provider: bigquery_xxxxxxxx
dataset: my_dataset
table: my_table
headers: true
schema: "{\n \"fields\": [\n {\n \"name\": \"name\",\n \"type\": \"STRING\",\n \"description\": \"名前\",\n \"mode\": \"REQUIRED\"\n },\n {\n \"name\": \"weight\",\n \"type\": \"FLOAT\"\n }\n ]\n}"
#=> true