Scraper API（スクレイパーAPI）という物を使用すればJS駆動のサイトでもサイトを解析

2025.08.02

Logging

おはようございます.Scraper API（スクレイパーAPI）という物を使用すればJS駆動のサイトでもサイトを解析出来るようですね.殆どの近年作られたサイトはどこかしらでJavascriptのコードで動いている部分があるのでスクレイピングが出来ない.

またジャバスクリプトがオンになっていないとページ（サイト）の読み込みが出来ないサイトもあるのが現状だと思います.

そこでScraper API（スクレイパーAPI）というサービスを使用すればそういう解析が出来る.因みにVPSやAWSなどのサーバーだったらNodeJsを導入すれば簡単に解析が出来るのだけど、国内のレンタルサーバーなどでは、そもそもNodeJsがインストール出来ないのである.

スクレイパーAPIの使い方は簡単でPHP言語で使用したい場合はこんな感じです.

<?php

// APIキーと対象URL
$apiKey = 'xxxxxx';
$targetUrl = 'https://example.com?var1=value1&var2=value2';

// GET用のScraperAPIリクエストURLを構築（render=trueでJS有効）
$scraperApiUrl = 'https://api.scraperapi.com?' . http_build_query([
    'api_key' => $apiKey,
    'url' => $targetUrl,
    'render' => 'true' // JavaScriptを有効にする
]);

// cURLでGETリクエスト送信
$ch = curl_init();
curl_setopt($ch, CURLOPT_URL, $scraperApiUrl);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);
$response = curl_exec($ch);
curl_close($ch);

// レスポンス出力
print_r($response);

尚、こちらのコードはGETパターンですがPOSTでも操作出来たりします.SDKもあるのでそちらで対応したほうがやりやすいかもです.

明日へ続く

著者名  @taoka_toshiaki

※この記事は著者が40代前半に書いたものです．

Profile
高知県在住の@taoka_toshiakiです、記事を読んで頂きありがとうございます.
数十年前から息を吸うように日々記事を書いてます．たまに休んだりする日もありますがほぼ毎日投稿を心掛けています😅．
SNSも使っています、フォロー、いいね、シェア宜しくお願い致します🙇.
SNS::@taoka_toshiaki

OFUSEで応援を送る

投稿日時 2025年08月02 07:00日

タグ

```, インストール, オン, かしら, カモ, キー, コード, こちら, サーバー, サービス, サイト, ジャバスクリプト, スクレイパー, スクレイピング, そちら, そもそも, どこ, パターン, ページ, ほう, よう, リクエスト, レスポンス, レンタル, 使い方, 使用, 出力, 国内, 場合, 対応, 対象, 導入, 感じ, 操作, 明日, 有効, 構築, 殆ど, 現状, 簡単, 解析, 言語, 読み込み, 近年, 送信, 部分, 駆動,

お名前.comのレスポンスが遅い。

2015.11.04

Logging


お名前.comのレスポンスが遅い。今に始まったことではないけれど
この頃、お名前.comの管理画面操作などのレスポンスが
非常に遅く感じるのだけど・・・これってDos攻撃のさなかなのかも
しれない。
だったらサーバー強化して耐えてくれ・・・・
使っているこちらは読み込みが遅くて(#ﾟДﾟ)y-~~ｲﾗｲﾗ
してしまうです。これじゃ・・・一昔前の電話回線ぐらいで
繋いでいるのと同じじゃないか・・・。
追記：
グーグルChromeだと遅いとかつぶやいてる人を発見した＿|￣|○

著者名  @taoka_toshiaki

※この記事は著者が30代前半に書いたものです．

Profile
高知県在住の@taoka_toshiakiです、記事を読んで頂きありがとうございます.
数十年前から息を吸うように日々記事を書いてます．たまに休んだりする日もありますがほぼ毎日投稿を心掛けています😅．
SNSも使っています、フォロー、いいね、シェア宜しくお願い致します🙇.
SNS::@taoka_toshiaki

OFUSEで応援を送る

投稿日時 2015年11月04 06:48日

タグ

-y, com, Dos攻撃, イライラ, お名前, グーグルChrome, サーバー, さなか, レスポンス, 人, 管理画面操作, 読み込み, 追記, 電話回線,

HDDからSSDへシフトしたった(´Д｀)そうなんです。へぇ他人事。

2015.01.28

Logging


HDDからSSDへ全てのデータをシフトしました。いままでCドライブ以外はHDDが現役でしたけど、全てSSDへ移し替えました。自分はサブの保存領域で2つのドライブを構えてます。1つ目は撮りためた写真の保存領域です、もうひとつはWEBやプログラムの保存領域なのですが読み込みが前から遅かったので移そうと思っていたのですが、HDDまだまだ大丈夫だから、「まだいいや」とつい最近まで思っていたのですが・・・、数日前からHDDから異音がするようになったので、重い腰を上げてSSDを購入しました。買ったSSDの容量は60Gバイトです、それを2個購入しました。容量的には然程、容量が多いわけでもないのですけど自分はコレぐらいで丁度ぐらいです。動画を保存しているわけでもないので全然60Gバイトで足りるんです。ちなみにCドライブのSSDの容量は250Gバイトです、大半がOSで容量を取ってますが、43Gバイトの空き容量があります、次期OS、Window10を入れるとなると500Gバイトに移行しないといけないなとは若干思いありますが・・・今のところはSSDの値段の動向を見て判断します。
 
ちなみにSSDをHDD3.5インチケース（変換マウンタ）に装着して取り付けをしています。自分が持っているパソコンケースは簡単にHDD取り外し可能なタイプなのですが、取り外しが2.5インチのHDDやSSDには対応していないのでHDD3.5インチケースが必要となったわけです、なお現在のフルタワーケース（パソコンケース）などでは、2.5インチ取り外し可能なタイプも出ているとの事です。
 
 

著者名  @taoka_toshiaki

※この記事は著者が30代前半に書いたものです．

Profile
高知県在住の@taoka_toshiakiです、記事を読んで頂きありがとうございます.
数十年前から息を吸うように日々記事を書いてます．たまに休んだりする日もありますがほぼ毎日投稿を心掛けています😅．
SNSも使っています、フォロー、いいね、シェア宜しくお願い致します🙇.
SNS::@taoka_toshiaki

OFUSEで応援を送る

投稿日時 2015年01月28 04:00日

タグ

１, 2.5インチ取り外し, Cドライブ, HDD3.5インチケース, HDD取り外し, SSD, Window10, パソコンケース, フルタワーケース, プログラム, もうひとつ, 他人事, 保存領域, 全てSSD, 取り付け, 変換マウンタ, 数日前, 次期OS, 異音, 空き容量, 読み込み,