【Python】スクレイピングで株ドラゴンの出来高急増初動銘柄ランキングに初登場した銘柄を抽出する

スクレイピング

2020.05.102019.05.26

この記事は約19分で読めます。

株価上昇の初動を捉えるには、株ドラゴンの出来高急増初動銘柄ランキングを見たほうが良い
株ドラゴンの出来高急増初動銘柄ランキングページをスクレイピング
株ドラゴンの出来高急増初動ランキング 2019年7月ランキング初登場銘柄
おすすめ書籍

株価上昇の初動を捉えるには、株ドラゴンの出来高急増初動銘柄ランキングを見たほうが良い

以前の記事で株ドラゴンの年初来安値からの値上がり率ランキングのランキング推移を可視化しました。

Pythonのスクレイピングで株ドラゴンの年初来安値からの値上がり率ランキングの推移を可視化してみた

株ドラゴンの年初来安値からの値上がり率ランキングに大化け銘柄があるウルフ村田いわく、株ドラゴンの年初来安値からの値上がり率ランキングを毎日チェックしておくと、その中に大化け銘柄、スター銘柄が存在しているとのことです。ただ、...

ただ、株価上昇の初動を捉えるということを考えると出来高急増銘柄を監視しておいたほうが良いのではと思い、前回のプログラムを少し修正して、可視化してみました。

株ドラゴンの出来高急増初動銘柄ランキングページをスクレイピング

モジュールのインポート

まずは必要なモジュールをインポートします。スクレイピングにはBeautifulSoupというモジュールを用います。

import requests
from datetime import datetime, timedelta
from bs4 import BeautifulSoup
import numpy as np
import pandas as pd

URLの確認

株ドラゴンの出来高急増初動銘柄ランキングのページのURLは、以下のように（日付）の箇所に表示されるランキングの日付が入るようなリンク担っています。
（日付）の書き方は2019/01/01というようなスラッシュで区切られた日付になります。

url = https://www.kabudragon.com/ranking/（日付）/dekizou200.html

したがって、以下のように日付を1日ずつかえながら変えながら各日付のurlにアクセスしていくことにします。

st_date = '2019/01/01'
end_date = '2019/01/10'
st_date = datetime.strptime(st_date, '%Y/%m/%d')
end_date = datetime.strptime(end_date, '%Y/%m/%d')
while st_date <= end_date:
    date = datetime.strftime(st_date, '%Y/%m/%d' )
    url = 'https://www.kabudragon.com/ranking/{}/yl_age200.html'.format(date)
    st_date = st_date + timedelta(days = 1)
    print(url)

各ページの情報をデータフレーム化

先程のURLにアクセスし、そのページのhtmlタグをみると以下の項目がテーブル構造で存在していることがわかります。
「順位、コード、名称、市場、日付、終値、前日比（円）、前日比（％）、5日平均比出来高急増率、出来高、高値、安値」
ページの詳細な構成がどうなっているかの説明は特にしませんが、下記のコードでpandasのデータフレームとして取得することができます。

if文を入れている理由は、土日などの市場が休場しているときはデータが存在していないため、エラーを回避するためです。

url = 'https://www.kabudragon.com/ranking/2019/01/10/dekizou200.html'.format(date)

soup = BeautifulSoup(requests.get(url).text, "lxml")
if len(soup.body.find_all('tr')) > 20:
    start_line = [i  for i in range(14,20) if soup.body.find_all('tr')[i].text.splitlines()[1] == '順位']
    items = [v.text.splitlines() for i, v in enumerate(soup.body.find_all('tr')) if i > start_line[0]]
    cols = ['', '順位','コード', '名称', '市場','日付','終値','前日比（円）','前日比（%）','5日平均比出来高急増率','出来高','高値','安値']
    df = pd.DataFrame(np.array(items[0]).reshape(1,-1),columns=cols)
    for i in range(1,200):
        df_add = pd.DataFrame(np.array(items[i]).reshape(1,-1),columns=cols)
        df = pd.concat([df, df_add],axis = 0)
else:
    print('休場')  

df.head()

上記を実行すると以下のような結果が得られると思います。

このテーブルを取得するコードを関数化し、先程の日付を１日ずつ変更していくコードと合わせると以下のように書くことができます。

def get_table(url):
    soup = BeautifulSoup(requests.get(url).text, "lxml")
    if len(soup.body.find_all('tr')) > 20:
        start_line = [i  for i in range(14,20) if soup.body.find_all('tr')[i].text.splitlines()[1] == '順位']
        items = [v.text.splitlines() for i, v in enumerate(soup.body.find_all('tr')) if i > start_line[0]]
        cols = ['', '順位','コード', '名称', '市場','日付','終値','前日比（円）','前日比（%）','5日平均比出来高急増率','出来高','高値','安値']
        df = pd.DataFrame(np.array(items[0]).reshape(1,-1),columns=cols)
        print(items[0]) #テーブルの1行目だけ表示
        for i in range(1,200):
            df_add = pd.DataFrame(np.array(items[i]).reshape(1,-1),columns=cols)
            df = pd.concat([df, df_add],axis = 0)
        return df,True
    else:
        print('休場')
        return np.nan, False

#データ取得開始日と終了日を設定
st_date = '2019/01/01' #データ取得開始日
end_date = '2019/01/10' #データ取得終了日
st_date = datetime.strptime(st_date, '%Y/%m/%d') #datetimeのフォーマットに変換
end_date = datetime.strptime(end_date, '%Y/%m/%d') #datetimeのフォーマットに変換

dfs = []

while st_date <= end_date:
    date = datetime.strftime(st_date, '%Y/%m/%d')
    url = 'https://www.kabudragon.com/ranking/{}/dekizou200.html'.format(date)
    st_date = st_date + timedelta(days = 1) 
    
    df, flg = get_table(url) #各日付のデータフレームと市場が休場かどうかのフラグを取得（休場のときはflg = False）
    if flg:
        dfs.append(df) #市場が空いているときのみデータフレームをdfsに追加していく

おそらく以下のような結果が出力されると思います。
※テーブルの１行目だけがprintされるようにしています。
各ページのテーブルをdfsに追加していっています。

2019/01/01
休場
2019/01/02
休場
2019/01/03
休場
2019/01/04
['', '1', '7851', 'カワセコンピュータサプライ', '東２', '1/4(金)', '424', '+45', '+11.87%', '437.12%', '171,000', '424', '381']
2019/01/05
休場
2019/01/06
休場
2019/01/07
['', '1', '7895', '中央化学', 'ＪＱ', '1/7(月)', '296', '+61', '+25.96%', '413.72%', '147,200', '313', '259']
2019/01/08
['', '1', '3377', 'バイク王＆カンパニー', '東２', '1/8(火)', '170', '+17', '+11.11%', '468.65%', '1,898,400', '189', '169']
2019/01/09
['', '1', '9969', 'ショクブン', '東２', '1/9(水)', '177', '+40', '+29.20%', '488.34%', '6,395,800', '186', '140']
2019/01/10
['', '1', '7602', 'カーチスホールディングス', '東２', '1/10(木)', '183', '+5', '+2.81%', '472.99%', '492,000', '228', '177']

取得した１日毎のデータフレームを統合します。

df = pd.concat(dfs).reset_index(drop = True)
print(df.shape)
>> (1000, 13)

これで複数の日にちのデータフレームを１つのデータフレームに変換することができ、1000行のデータフレームになっていると思います。

初登場の日付を取得する

先程のデータはすべての日付のランキングを１つのテーブルにしているので、毎日ランキングに登場しているような銘柄はテーブルの中に何度も登場しています。
初めてランキングに登場した日付を知りたいので、重複している銘柄は初登場の日付以外は削除することとします。

#初登場の日付のみに絞る
df = df.drop(df[df.duplicated(subset = 'コード')].index,axis=0)
pritn(df.shape)
>>(816, 13)

すると816行のデータになったので、184データは重複していたということになります。

初登場の日付を「年/月/日」の形式に変換する

これまでの処理で、データは初登場した銘柄と日付が取得できているはずですが、日付が月/日(曜日）というような表記になっているため扱いづらいです。なので「年/月/日」のフォーマットに変換します。

#初登場の日付をdatetimeの日付にする
df['date'] = [datetime.strptime('2019/' + i.split('(')[0],'%Y/%m/%d') for i in df['日付']]
df.head()

すると以下のようなデータフレームにdateという列が追加されているはずです。

株ドラゴンの出来高急増初動ランキング 2019年7月ランキング初登場銘柄

それでは2019年1月1日〜2019年7月31日の期間においてランキングに登場した銘柄のデータテーブルを取得し、そのうち7月1日〜7月31日の登場した銘柄だけをピックアップしたいと思います。
これまでのコードをまとめる形で書きたいと思います。

# -*- coding: utf-8 -*-
import requests
from datetime import datetime, timedelta
from bs4 import BeautifulSoup
import numpy as np
import pandas as pd

def get_table(url):
    soup = BeautifulSoup(requests.get(url).text, "lxml")
    if len(soup.body.find_all('tr')) > 20:
        start_line = [i  for i in range(14,20) if soup.body.find_all('tr')[i].text.splitlines()[1] == '順位']
        items = [v.text.splitlines() for i, v in enumerate(soup.body.find_all('tr')) if i > start_line[0]]
        cols = ['', '順位','コード', '名称', '市場','日付','終値','前日比（円）','前日比（%）','5日平均比出来高急増率','出来高','高値','安値']
        df = pd.DataFrame(np.array(items[0]).reshape(1,-1),columns=cols)
        print(items[0])
        for i in range(1,200):
            df_add = pd.DataFrame(np.array(items[i]).reshape(1,-1),columns=cols)
            df = pd.concat([df, df_add],axis = 0)
        return df,True
    else:
        print('休場')
        return np.nan, False
    
st_date = '2019/01/01'
end_date = '2019/07/31'
st_date = datetime.strptime(st_date, '%Y/%m/%d')
end_date = datetime.strptime(end_date, '%Y/%m/%d')

dfs = []

while st_date <= end_date:
    date = datetime.strftime(st_date, '%Y/%m/%d' )
    print(date)
    url = 'https://www.kabudragon.com/ranking/{}/dekizou200.html'.format(date)
    st_date = st_date + timedelta(days = 1)
    
    df, flg = get_table(url)
    if flg:
        dfs.append(df)
        
#複数ページのデータを1つのデータフレームにする
df = pd.concat(dfs).reset_index(drop = True)

#初登場の日付のみに絞る
df = df.drop(df[df.duplicated(subset = 'コード')].index,axis=0)

#初登場の日付をdatetimeの日付にする
df['date'] = [datetime.strptime('2019/' + i.split('(')[0],'%Y/%m/%d') for i in df['日付']]

#対象の期間の指定
target_start = '2019/07/01'
target_end = '2019/07/31'

data = df[(df['date']>=target_start) & (df['date']<=target_end)]
output = data.loc[:,['コード', '名称', '市場', 'date']]
output = output.rename(columns = {'コード':'code', '名称':'name','市場':'market'}).set_index('date', drop = True)
print(output)

実行すると少し時間がかかりますが、以下のような結果が得られていると思います。
全部で50銘柄となります。
今後の動きにチェックしていくのが良いかと思います。

date	code	name	market
2019-07-01	8566	リコーリース	東１
2019-07-02	2974	大英産業	福岡
2019-07-02	8890	レーサム	ＪＱ
2019-07-03	9384	内外トランスライン	東１
2019-07-04	7065	ユーピーアール	東２
2019-07-05	4931	新日本製薬	東マ
2019-07-05	9621	建設技術研究所	東１
2019-07-05	8585	オリエントコーポレーション	東１
2019-07-08	7677	ヤシマキザイ	東２
2019-07-08	2769	ヴィレッジヴァンガードコーポレーション	ＪＱ
2019-07-08	9007	小田急電鉄	東１
2019-07-08	8267	イオン	東１
2019-07-08	8904	サンヨーハウジング名古屋	東１
2019-07-10	3110	日東紡	東１
2019-07-10	8331	千葉銀行	東１
2019-07-10	9987	スズケン	東１
2019-07-10	8074	ユアサ商事	東１
2019-07-11	4927	ポーラ・オルビスホールディングス	東１
2019-07-16	2201	森永製菓	東１
2019-07-16	4443	Sansan	東マ
2019-07-16	7908	ＫＩＭＯＴＯ	東１
2019-07-18	8342	青森銀行	東１
2019-07-18	3708	特種東海製紙	東１
2019-07-18	8346	東邦銀行	東１
2019-07-18	7751	キヤノン	東１
2019-07-19	3436	ＳＵＭＣＯ	東１
2019-07-22	2502	アサヒグループホールディングス	東１
2019-07-22	6197	ソラスト	東１
2019-07-22	7067	ブランディングテクノロジー	東マ
2019-07-23	4445	リビン・テクノロジーズ	東マ
2019-07-24	5631	日本製鋼所	東１
2019-07-25	6358	酒井重工業	東１
2019-07-26	8864	空港施設	東１
2019-07-26	2002	日清製粉グループ本社	東１
2019-07-26	4206	アイカ工業	東１
2019-07-26	3408	サカイオーベックス	東１
2019-07-26	4559	ゼリア新薬工業	東１
2019-07-26	2413	エムスリー	東１
2019-07-26	7266	今仙電機製作所	東１
2019-07-29	8355	静岡銀行	東１
2019-07-29	7911	凸版印刷	東１
2019-07-29	6861	キーエンス	東１
2019-07-30	8591	オリックス	東１
2019-07-30	8113	ユニ・チャーム	東１
2019-07-30	7012	川崎重工業	東１
2019-07-31	9934	因幡電機産業	東１
2019-07-31	2281	プリマハム	東１
2019-07-31	5929	三和ホールディングス	東１
2019-07-31	4902	コニカミノルタ	東１
2019-07-31	1973	ＮＥＣネッツエスアイ	東１