GCP BigQuery で文字列を timestamp にパースしたい
Standard SQLのみです。文字列を timestamp 型にパース例えば 20180329T092448 のような文字列があったとする。これを timestamp 型として変換したい場合、 PARSE_TIMESTAMP関数 を利用...
GCP Python Redash Python DataSources で Error running query: KeyError
現象表題の件、下記のように、Redash の Python DataSources で get_query_result で値を取得しようとすると、KeyError が表示された。Error running query: <type 'ex...
雑記 [TED] The power of believing you can improve
英語勉強用に、TEDの The power of believing you can improve を書き起こした。The power of believing you can improve ディクテーションI heard about ...
Jupyter pandas multiindex で KeyError を出さない存在チェック
Pandas で存在しない key を loc を使って指定した場合、 KeyError とななってしまう。以下のようすると、KeyError が返らない。存在しない場合は False が返る。存在する場合は True が返る。
GCP BigQuery fluent-plugin-bigquery + BigQuery で遭遇したエラーメモ
概要GCP の BigQuery へ fluent-plugin-bigquery でストリームインサートする際に遭遇したエラーのメモ。fluent-plugin-bigquery のバージョンは 1.10。td-agent3です。エラーe...
AWS Macで AWS Lambdaで動く Python3 のライブラリを用意する
pyenv, python3, lambda-uploader で AWS Lambda にアップロードするの続き。Python の numpy や pandas, beautifulsoupなど、Cで作られているライブラリを AWS La...
AWS pyenv, python3, lambda-uploader で AWS Lambda にアップロードする。
AWS Lambdaの開発環境が必要になったので整備する。Lambda が Python3に対応したため、Python3 環境で。下記記事を参考にしました。LambdaでAWSの料金を毎日Slackに通知する（Python3）AWS側準備I...
機械学習 機械学習について概観理解
機械学習とは機械学習とは、「データの集合から」「その法則性(パターン)」を学ぶ、見つけ出すこと与えられたデータからより効率的に法則性を発見するための手法の集合予測や分析、分類に用いるex)入力と出力の因果関係を知りたい複数のカテゴリを判別し...
API Amazon API で 503 エラーが返ってくる際の対応 [Python]
Python で Amazon Product Advertising API から商品情報取得Pythonから Amazon Product Advertising API を使用しました。しかし、APIを叩いていると503エラーが度々出...
API Python で Amazon Product Advertising API から商品情報取得
Amazon Product Advertising API を Python から利用してみます。方法が２通りあったので、両方試してみました。アクセスキー取得などの事前準備はこちらを参考にしてください。bottlenoselionhear...