@Blog

Scraper API（スクレイパーAPI）という物を使用すればJS駆動のサイトでもサイトを解析

2025.08.02

Logging

おはようございます.Scraper API（スクレイパーAPI）という物を使用すればJS駆動のサイトでもサイトを解析出来るようですね.殆どの近年作られたサイトはどこかしらでJavascriptのコードで動いている部分があるのでスクレイピングが出来ない.

またジャバスクリプトがオンになっていないとページ（サイト）の読み込みが出来ないサイトもあるのが現状だと思います.

そこでScraper API（スクレイパーAPI）というサービスを使用すればそういう解析が出来る.因みにVPSやAWSなどのサーバーだったらNodeJsを導入すれば簡単に解析が出来るのだけど、国内のレンタルサーバーなどでは、そもそもNodeJsがインストール出来ないのである.

スクレイパーAPIの使い方は簡単でPHP言語で使用したい場合はこんな感じです.

<?php

// APIキーと対象URL
$apiKey = 'xxxxxx';
$targetUrl = 'https://example.com?var1=value1&var2=value2';

// GET用のScraperAPIリクエストURLを構築（render=trueでJS有効）
$scraperApiUrl = 'https://api.scraperapi.com?' . http_build_query([
    'api_key' => $apiKey,
    'url' => $targetUrl,
    'render' => 'true' // JavaScriptを有効にする
]);

// cURLでGETリクエスト送信
$ch = curl_init();
curl_setopt($ch, CURLOPT_URL, $scraperApiUrl);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);
$response = curl_exec($ch);
curl_close($ch);

// レスポンス出力
print_r($response);

尚、こちらのコードはGETパターンですがPOSTでも操作出来たりします.SDKもあるのでそちらで対応したほうがやりやすいかもです.

明日へ続く

タグ

```, インストール, オン, かしら, カモ, キー, コード, こちら, サーバー, サービス, サイト, ジャバスクリプト, スクレイパー, スクレイピング, そちら, そもそも, どこ, パターン, ページ, ほう, よう, リクエスト, レスポンス, レンタル, 使い方, 使用, 出力, 国内, 場合, 対応, 対象, 導入, 感じ, 操作, 明日, 有効, 構築, 殆ど, 現状, 簡単, 解析, 言語, 読み込み, 近年, 送信, 部分, 駆動,

ハーバード大のプログラミング講座を日本語化（jp）。 無料で学べるCS50を見てみて。

2021.05.20

Logging

ハーバード大のプログラミング講座を日本語化（jp）。 無料で学べるCS50を見てみて思ったことは、脱落者が出そうだなと思いました。プログラムが分かる人が読めばわかるだろうけど、ITが苦手な人が読むと拒絶反応を起こしそうな日本語訳だな。プログラミングって得手不得手があるじゃないかなと自分は思っていて誰でもプログラミングが出来るというのは間違いじゃないのかなと思います。

日本でもプログラミングを勉強するのが流行しているけど、その影でプログラミング挫折者がかなり多く出ていることを忘れてはいけないし、プログラミングスクールとかしている人は、IT業者から言えば言葉悪いけど良いカモだなと思います。プログラミングが分かる人は独学で全然いけるという言うのが自分の考えです。そういう人達がCS50.jpを使用して勉強するのはプログラミング学習の近道なのかなとは思いました。

これからIT業界に転職する方は英語と論理的思考（アルゴリズム）と高校生程度の数学知識があれば転職は可能かと思います。なお、英語はこの先、徐々にどんな業界でも重要になってきそうなので身につけておいて損はないと思います。

タグ

50, CS, IT, jp, かな, かなり, カモ, こと, これ, スクール, ハーバード大, プログラミング, プログラム, 不得手, 人, 使用, 勉強, 反応, 学習, 影, 得手, 拒絶, 挫折, 日本, 日本語化, 日本語訳, 業者, 流行, 無料, 独学, 脱落者, 自分, 苦手, 言葉, 誰, 講座, 近道,

死んだ馬と死んだ目は同意語カモ？

2020.07.14

Logging

冴えないイラストレーターの使い方をしています。さて、人はなぜ『死んだ馬』に乗り続けるのか？という本を読んだことがありますか？いわいる自己啓発書です、自己啓発が増刷される時期ってこれから景気が悪くなる時期なんですね。景気が悪くなるときに儲かる商売っていうのは他にもあります。例えば占いや風水などもそうです。弱い心の人の支えになる商売って言えば良いのかな？

zip358の358という数字にも意味があるですよ（興味がある方はぐぐってください）。昔、自分はまぁどうなるか分からないけど試しにそうしてみようと思い付けました。お金もかからないのでということでこの数字を使っています。本当は4444というナンバーが良いそうですが・・・。こういうナンバーのことをエンジェルナンバーとかいうそうです。

他にもフラワー・オブ・ライフというのも最近、自分は取り入れました。こんなもので良くなるとは信じていませんがタダですので取り入れてみたという感じです。ある意味、統計的なものは何かあるのかなとは思っています。

商売人や芸能人には数珠をしている人がいますよね、アレって見えない力に縋っているようにも見えますよね。彼らも人なので人はそういうもので自分の力では、どうしようもない時は何か論理的ではない事を取り入れたくなるものなんです。?自分もそんな所もあります?

植松努さんという方がTEDで語っている『思いは招く』という言葉もあるように大体、そうなると思い込むとそうなっていくのです、なのでプラス思考で生きていくことが大事です。プラス思考になれない場合は上記のような事を試してみるのも良いと思っています。※お金をかけない方法だけを取り入れましょう。お金が絡んでくると、それは貴方を消費させられるだけなので辞めておいた方が良い。殆どのことは『思いは招く』だろうと思います、災害やそういうことを除くとそう感じますね。『悪くなる悪くなる』と思い込むと良くない方向に進みます、逆も真なりです、『良くなる』と自分に暗示をかければ良くなってくるものです。

尚、鏡の前に立って毎日のように『お前は誰だ』と問いかけると自我が崩壊するそうなので辞めましょう。鏡の前にたって自分を褒めてあげると良いらしいですよ。

最後に悪徳、不景気商売には引っかからないように！！

タグ

358, 4444, zip, イラストレーター, いわ, エンジェル, オブ, お金, カモ, こと, これ, だだ, とき, ナンバー, フラワー, もの, ライブ, 人, 他, 使い方, 占い, 同意語, 商売, 啓発, 啓発書, 増刷, 心, 意味, 感じ, 数字, 方, 昔, 時期, 景気, 最近, 本, 本当, 目, 自分, 自己, 興味, 風水, 馬,