superi

働かないために全力で働くスタイル

テクノロジー

Microsoft Azureを使う

業務で機械学習プラットフォームを使いたいなと思い、Azureを試すことにしました。 Azureでは1ヶ月以内2万500円までの無料枠が提供されています。初回であれば料金がかからないので、ぜひ使っておきたいところです。 以下ではAzureのアカウント開設までをま…

Numpyで配列の結合・分割

作成した配列の結合や分割もNumpyでよく利用します。

matplotlibで2軸グラフを描画する

縦軸が左右にある 2 軸グラフを作成するにはsubplotを定義したaxisともう一方の軸をtwinします。 Yahoo!より取得した電通の2015年9月の株価終値と出来高の加工済みデータをプロットしてみましょう。 import numpy as npimport pandas as pdimport matplotlib…

ヒストグラムを描く

Pythonのmatplotlibライブラリにおけるhist関数でヒストグラムを描画できます。 #インポート import numpy as npimport scipy as sp import matplotlib.pyplot as plt# データセットの読み込みscore = np.loadtxt('score.txt', skiprows=1)X = score[:,0] #…

SciPyでデータの標準化

データの分布が正規分布でなかったり、説明変数の単位が異なったり、値のスケールが違ったりする場合にデータを標準化する必要があります。 標準化とは、個々のデータから元のデータの平均値を引き、元のデータの標準偏差で割ることで平均0、分散1となります…

Numpyのdtypeを変更する

Numpyではdtypeオプションを指定しなければ自動的に設定されます。しかし、ファイルを読み込むときに以下のように(例えばstring)でtypeを指定することもできます。

numpyでデータを取り込み、matplotlibで散布図に描画する

配列の扱いがあまり得意でなかったため、pandasばかり使ってnumpyを敬遠していました。 残念ながら仕事で触れる機会が頻繁にありそうなので、このタイミングでおさえていきたいと思います。 今回は簡単に、データを取り込みscatterにプロットしたいと思いま…

データの欠損値を埋める

ドル円のTTMレートが必要で三菱東京UFJ銀行公表の対顧客外国為替相場をエクセルファイルで取得(※)しました。データを読み込んでみます。 >import pandas as pd >URL="murc_2014.xls" # Set a path >EXL=pd.ExcelFile(URL) # Open>Data=EXL.parse("data") # P…

連続した日付データを生成する

日付でgroup by してカウントしたときに、たとえば date count 2015-08-10 3 2015-08-11 5 2015-08-13 1 2015-08-14 2 のように、2015-08-12のデータが存在しないため、2015-08-12をスキップしてしまうことがあります。グラフを描くときや結合するときに何か…

MySQLでテーブル一覧とカラム一覧を取得する

MySQLを触る機会があり、データベースに格納されているデータをとりあえず把握したいときに使うクエリ。

進化計算を用いたFXトレード-はじめに

東大の修論でGA使ってFXトレードするっていう論文があったので検証したい。 そもそもGAって何さ??っていう次元なのでそこらへんからメモっていこうかなと。 目的 遺伝的アルゴリズムを用いてテクニカル指標のパラメータを最適化し、遺伝的プログラミングを…

時間足ごとの始値と終値の傾向からトレード手法を検討する

前回の記事で仲値時間前はドル買い傾向があると書きました。 www.superi.jp 仲値時間に限らず、時間によって値動きに特徴があるかもしれません。

仲値時間にかけて円安ドル高になるのか検証してみた

東京時間の午前10時頃に向けて円安ドル高になると言われています。これは企業や個人が外貨を売買するレートである仲値が午前9時55分頃に決定されるためです。東京時間では日本企業が外国企業への支払いのためドルの需要が高まります。実需に対応するため金融…

PostgreSQLからクエリでデータを呼び出してグラフにプロットする

前回PostgreSQLにInsertしたデータを、クエリで呼び出してグラフにプロットしてみたいと思います。 こちらです。 www.superi.jp

EC2上のIPython notebookからRDSに接続する

前回はRDSにDataBaseを作成しました。 www.superi.jp 今回はこのDataBaseにEC2上のIPython notebookから接続してみましょう。

Amazon RDS for PostgreSQLを使う

以前、入手したヒストリカルデータを加工する記事を書きました。 www.superi.jp www.superi.jp これらの一連の作業はRDBMSに格納するのに適したフォーマットにするのが目的でした。 データが用意できたので、データベースを構築していきましょう。

インスタンスにFTP接続してファイルをupload/downloadする

以前、EC2にFTP接続してデータを転送したあとのデータ加工の記事を書きました。 www.superi.jp 今回はローカルPCからEC2へのデータ転送の方法を書きたいと思います。Macからの接続例となります。

為替のヒストリカルデータを取得する

当ブログの目的はPythonで為替のマーケットデータを分析することで、利ざやの稼げるトレード手法を確立することです。 そのためにはヒストリカルデータを入手する必要があります。 日足のデータであればFX、証券業者のWebページなどから取得可能ですが、時間…