BigQuery, GCP

Standard SQLのみです。

文字列を timestamp 型にパース

例えば 20180329T092448 のような文字列があったとする。

これを timestamp 型として変換したい場合、 PARS ...

Python, Python3

現象

表題の件、下記のように、Redash の Python DataSources で get_query_result で値を取得しようとすると、KeyError が表示された。

Error running query: &l ...

雑記

英語勉強用に、TEDの The power of believing you can improve を書き起こした。

The power of believing you can improve

I heard about ...

Jupyter, pandas, Python3

Pandas で存在しない key を loc を使って指定した場合、 KeyError とななってしまう。

以下のようすると、KeyError が返らない。存在しない場合は False が返る。

存在する場合 ...

BigQuery

概要

GCP の BigQuery へ fluent-plugin-bigquery でストリームインサートする際に遭遇したエラーのメモ。

fluent-plugin-bigquery のバージョンは 1.10。

AWS, Python3

pyenv, python3, lambda-uploader で AWS Lambda にアップロードするの続き。

Python の numpy や pandas, beautifulsoupなど、Cで作られているライブ ...

AWS, Python3

AWS Lambdaの開発環境が必要になったので整備する。

Lambda が Python3に対応したため、Python3 環境で。

下記記事を参考にしました。

LambdaでAWSの料金を毎日Sl ...

機械学習

機械学習とは

機械学習とは、「データの集合から」「その法則性(パターン)」を学ぶ、見つけ出すこと
与えられたデータからより効率的に法則性を発見するための手法の集合
予測や分析、分類に用いる

ex)
入 ...

API, Python3

Python で Amazon Product Advertising API から商品情報取得

Pythonから Amazon Product Advertising API を使用しました。

しかし、API ...

API, Python3

Amazon Product Advertising API を Python から利用してみます。
方法が2通りあったので、両方試してみました。

アクセスキー取得などの事前準備はこちらを参考にしてください。