Scraper API（スクレイパーAPI）という物を使用すればJS駆動のサイトでもサイトを解析

2025.08.02

Logging

おはようございます.Scraper API（スクレイパーAPI）という物を使用すればJS駆動のサイトでもサイトを解析出来るようですね.殆どの近年作られたサイトはどこかしらでJavascriptのコードで動いている部分があるのでスクレイピングが出来ない.

またジャバスクリプトがオンになっていないとページ（サイト）の読み込みが出来ないサイトもあるのが現状だと思います.

そこでScraper API（スクレイパーAPI）というサービスを使用すればそういう解析が出来る.因みにVPSやAWSなどのサーバーだったらNodeJsを導入すれば簡単に解析が出来るのだけど、国内のレンタルサーバーなどでは、そもそもNodeJsがインストール出来ないのである.

スクレイパーAPIの使い方は簡単でPHP言語で使用したい場合はこんな感じです.

<?php

// APIキーと対象URL
$apiKey = 'xxxxxx';
$targetUrl = 'https://example.com?var1=value1&var2=value2';

// GET用のScraperAPIリクエストURLを構築（render=trueでJS有効）
$scraperApiUrl = 'https://api.scraperapi.com?' . http_build_query([
    'api_key' => $apiKey,
    'url' => $targetUrl,
    'render' => 'true' // JavaScriptを有効にする
]);

// cURLでGETリクエスト送信
$ch = curl_init();
curl_setopt($ch, CURLOPT_URL, $scraperApiUrl);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);
$response = curl_exec($ch);
curl_close($ch);

// レスポンス出力
print_r($response);

尚、こちらのコードはGETパターンですがPOSTでも操作出来たりします.SDKもあるのでそちらで対応したほうがやりやすいかもです.

明日へ続く

著者名  @taoka_toshiaki

※この記事は著者が40代前半に書いたものです．

Profile
高知県在住の@taoka_toshiakiです、記事を読んで頂きありがとうございます.
数十年前から息を吸うように日々記事を書いてます．たまに休んだりする日もありますがほぼ毎日投稿を心掛けています😅．
SNSも使っています、フォロー、いいね、シェア宜しくお願い致します🙇.
SNS::@taoka_toshiaki

OFUSEで応援を送る

投稿日時 2025年08月02 07:00日

タグ

```, インストール, オン, かしら, カモ, キー, コード, こちら, サーバー, サービス, サイト, ジャバスクリプト, スクレイパー, スクレイピング, そちら, そもそも, どこ, パターン, ページ, ほう, よう, リクエスト, レスポンス, レンタル, 使い方, 使用, 出力, 国内, 場合, 対応, 対象, 導入, 感じ, 操作, 明日, 有効, 構築, 殆ど, 現状, 簡単, 解析, 言語, 読み込み, 近年, 送信, 部分, 駆動,

Photo by Pixabay on Pexels.com

楽天証券で自動売買する方法を記載しときます。あくまでも方法論です😌

2022.04.26

Logging

おはよう御座います。何だかこの頃、雨の日が多くなった気がします、梅雨の季節になるのかなぁ😅。

楽天証券で自動売買する方法は意外にもプログラマーだったら出来るじゃないかって思いました、ただ自動売買のソースコードは記載しません。方法は結構簡単です。

まず、楽天証券が提供しているマーケットスピード２RSSをダウンロードしインストールします、その前に楽天証券に口座開設しとかないと使えないですがね、そこは割愛します。次にマーケットスピード２RSSを使えるように規約同意などをします。

ここから手順を記載します。必ず前処理を行って手順に進んでください。

  1. マーケットスピード２RSSを起動しログインします。
  2. エクセルを開きマクロの登録をします。この際にvbaも使用できるようにしときましょう。
  3. 楽天証券のマーケットスピード用のサンプルエクセルをダウンロードします。
  4. サンプルエクセル開き動作確認をしましょう。
  5. Pythonをインストールしましょう。
  6. エクセル関数をこちらのPDFから確認しましょう。
  7. エクセルを操作するプログラムをPython言語を使用して自動売買処理を書きましょう。

Pythonでエクセルを操作する方法やエクセルの関数を実行する方法はググれば出てきますので、こちらは割愛します。株取引が始まった時点から終了までリアルタイム処理出来ないといけません。尚、機械学習などで予測したい場合、Yahoo!ファイナンス（有料）からデータをダウンロードし学習後は解約し、リアルタイムの取引データを蓄積させながら学習するのがまぁ・・・定石でしょう。ここらへん、スクレイピングの技術などが必要になります。

機械学習などを使わずに売買アルゴリズムを作って取引するのも有りかと思います。あと本番前にバックテストを必ず行うように！！

RssTickList
RssStockOrder

https://marketspeed.jp/ms2_rss/onlinehelp/ohm_002/ohm_002_06.html

著者名  @taoka_toshiaki

※この記事は著者が40代前半に書いたものです．

Profile
高知県在住の@taoka_toshiakiです、記事を読んで頂きありがとうございます.
数十年前から息を吸うように日々記事を書いてます．たまに休んだりする日もありますがほぼ毎日投稿を心掛けています😅．
SNSも使っています、フォロー、いいね、シェア宜しくお願い致します🙇.
SNS::@taoka_toshiaki

OFUSEで応援を送る

投稿日時 2022年04月26 04:50日

タグ

pdf, Python, Python言語, RssStockOrder, RssTickList, VBA, エクセル, エクセル関数, サンプルエクセル, スクレイピング, ファイナンス, プログラマー, リアルタイム, 何だかこの頃, 売買アルゴリズム, 定石, 手順, 梅雨, 楽天証券, 関数,

ヘッドレスChrome=ヘッドレスブラウザ

2018.08.04

Logging


ヘッドレスブラウザとはGUIのないブラウザことを指す。
コマンドで操作できるブラウザのことを言います。
そのヘッドレスブラウザにChromeブラウザがお仲間に入っていることを
最近知りましたが！！、Centos系は使えないということ、
何だか、Ubuntu系がこの頃人気なんですよね。
ラズパイもそうだけどUbuntu系のコマンドも
そろそろ覚えていてもよいのかもしれないと思っていますが
まだまだ、レンタルサーバとかはCentos系で動いている方が
多いとは思いますが、今後は徐々にUbuntu系へシフトされるのかもしれません。
WindowsがUbuntuを採用したところから
徐々に雲行きが怪しい気がします。
会社のサーバ運用を担当しているのですが
いろいろとリセットしたい、むしろ全て削除して
入れ替えたい気がする今日このごろ。
で、headless Chromeですけど
こちらにヘッドレスブラウザ（Chrome）でスクレイピングする手法を
書いています。
ちなみにCentOS系とか言ってますが・・・レッドハット系が正しい言い方です！？
知ってって面倒くさいので・・そんな感じで書いてます。
https://qiita.com/devneko/items/9ac978965717d5513aa5
 

著者名  @taoka_toshiaki

※この記事は著者が30代前半に書いたものです．

Profile
高知県在住の@taoka_toshiakiです、記事を読んで頂きありがとうございます.
数十年前から息を吸うように日々記事を書いてます．たまに休んだりする日もありますがほぼ毎日投稿を心掛けています😅．
SNSも使っています、フォロー、いいね、シェア宜しくお願い致します🙇.
SNS::@taoka_toshiaki

OFUSEで応援を送る

投稿日時 2018年08月04 07:09日

タグ

B07D54GVHD, Centos系, chromeブラウザ, headless Chrome, Ubuntu, Ubuntuサーバー徹底入門, Ubuntu系, コマンド, サーバ運用, スクレイピング, スクレイピングする手法, ヘッドレスChrome, ヘッドレスブラウザ, ラズパイ, レンタルサーバ, 今日このごろ, 正しい言い方, 雲行き,