GCP BigQuery で文字列を timestamp にパースしたい
Standard SQLのみです。 文字列を timestamp 型にパース 例えば 20180329T092448 のような文字列があったとする。 これを timestamp 型として変換したい場合、 PARSE_TIMESTAMP関数 ...
GCP Python Redash Python DataSources で Error running query: KeyError
現象 表題の件、下記のように、Redash の Python DataSources で get_query_result で値を取得しようとすると、KeyError が表示された。 Error running query: <type '...
雑記 [TED] The power of believing you can improve
英語勉強用に、TEDの The power of believing you can improve を書き起こした。 The power of believing you can improve ディクテーション I heard abou...
Jupyter pandas multiindex で KeyError を出さない存在チェック
Pandas で存在しない key を loc を使って指定した場合、 KeyError とななってしまう。 以下のようすると、KeyError が返らない。存在しない場合は False が返る。 存在する場合は True が返る。
GCP BigQuery fluent-plugin-bigquery + BigQuery で遭遇したエラーメモ
概要 GCP の BigQuery へ fluent-plugin-bigquery でストリームインサートする際に遭遇したエラーのメモ。 fluent-plugin-bigquery のバージョンは 1.10。 td-agent3です。 ...
AWS Macで AWS Lambdaで動く Python3 のライブラリを用意する
pyenv, python3, lambda-uploader で AWS Lambda にアップロードするの続き。 Python の numpy や pandas, beautifulsoupなど、Cで作られているライブラリを AWS L...
AWS pyenv, python3, lambda-uploader で AWS Lambda にアップロードする。
AWS Lambdaの開発環境が必要になったので整備する。 Lambda が Python3に対応したため、Python3 環境で。 下記記事を参考にしました。 LambdaでAWSの料金を毎日Slackに通知する（Python3） AWS...
機械学習 機械学習について概観理解
機械学習とは 機械学習とは、「データの集合から」「その法則性(パターン)」を学ぶ、見つけ出すこと 与えられたデータからより効率的に法則性を発見するための手法の集合 予測や分析、分類に用いる ex) 入力と出力の因果関係を知りたい 複数のカテ...
API Amazon API で 503 エラーが返ってくる際の対応 [Python]
Python で Amazon Product Advertising API から商品情報取得 Pythonから Amazon Product Advertising API を使用しました。 しかし、APIを叩いていると503エラーが度...
API Python で Amazon Product Advertising API から商品情報取得
Amazon Product Advertising API を Python から利用してみます。 方法が２通りあったので、両方試してみました。 アクセスキー取得などの事前準備はこちらを参考にしてください。 bottlenose lion...