Scraper API(スクレイパーAPI)という物を使用すればJS駆動のサイトでもサイトを解析

2025.08.02

Logging

おはようございます.Scraper API(スクレイパーAPI)という物を使用すればJS駆動のサイトでもサイトを解析出来るようですね.殆どの近年作られたサイトはどこかしらでJavascriptのコードで動いている部分があるのでスクレイピングが出来ない.

またジャバスクリプトがオンになっていないとページ(サイト)の読み込みが出来ないサイトもあるのが現状だと思います.

そこでScraper API(スクレイパーAPI)というサービスを使用すればそういう解析が出来る.因みにVPSやAWSなどのサーバーだったらNodeJsを導入すれば簡単に解析が出来るのだけど、国内のレンタルサーバーなどでは、そもそもNodeJsがインストール出来ないのである.

スクレイパーAPIの使い方は簡単でPHP言語で使用したい場合はこんな感じです.

<?php

// APIキーと対象URL
$apiKey = 'xxxxxx';
$targetUrl = 'https://example.com?var1=value1&var2=value2';

// GET用のScraperAPIリクエストURLを構築(render=trueでJS有効)
$scraperApiUrl = 'https://api.scraperapi.com?' . http_build_query([
    'api_key' => $apiKey,
    'url' => $targetUrl,
    'render' => 'true' // JavaScriptを有効にする
]);

// cURLでGETリクエスト送信
$ch = curl_init();
curl_setopt($ch, CURLOPT_URL, $scraperApiUrl);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);
$response = curl_exec($ch);
curl_close($ch);

// レスポンス出力
print_r($response);

尚、こちらのコードはGETパターンですがPOSTでも操作出来たりします.SDKもあるのでそちらで対応したほうがやりやすいかもです.

明日へ続く

著者名  @taoka_toshiaki

※この記事は著者が40代前半に書いたものです.

Profile
高知県在住の@taoka_toshiakiです、記事を読んで頂きありがとうございます.
数十年前から息を吸うように日々記事を書いてます.たまに休んだりする日もありますがほぼ毎日投稿を心掛けています😅.
SNSも使っています、フォロー、いいね、シェア宜しくお願い致します🙇.
SNS::@taoka_toshiaki

OFUSEで応援を送る

タグ

```, インストール, オン, かしら, カモ, キー, コード, こちら, サーバー, サービス, サイト, ジャバスクリプト, スクレイパー, スクレイピング, そちら, そもそも, どこ, パターン, ページ, ほう, よう, リクエスト, レスポンス, レンタル, 使い方, 使用, 出力, 国内, 場合, 対応, 対象, 導入, 感じ, 操作, 明日, 有効, 構築, 殆ど, 現状, 簡単, 解析, 言語, 読み込み, 近年, 送信, 部分, 駆動,

Photo by Lucie Liz on Pexels.com

生成AIで夏季休暇の記事を量産する。

2023.08.12

Logging

近年、「生成AI」と呼ばれる人工知能の技術が注目を集めています。生成AIは、与えられたテキスト情報を元に新たな文章を生成することができるため、記事やブログの作成を自動化する上で非常に便利なツールとなっています。

生成AIを利用することにより、記事作成の効率が飛躍的に向上するとされています。従来の記事作成では、人間がテーマを選び、リサーチを行い、文章を書いていく必要がありましたが、生成AIを使えばこれらの作業を自動化することができます。それにより、膨大な時間と手間をかける必要がなくなり、記事を大量に生産することが可能となります。

一方で、生成AIの普及により、記事作成といった人間の仕事が奪われるという懸念も生まれています。確かに、生成AIは多くの作業を自動化できるため、一部の人の仕事を減らす可能性があります。特に、テキストベースの情報を提供する仕事や、ルーティンワークといった繰り返し作業が多い仕事は、生成AIにとって最も適した対象となります。

しかし、一方で生成AIは人間の創造性や感性を持っていないため、従来の記事作成には及ばないこともあります。生成AIによる文章は、時には不自然で読みにくいものもあります。また、情報の正確性や品質を確保することも課題となります。それに対して、人間が作成する文章は、経験や感性を基に読み手に適切な情報を提供できる特徴があります。

したがって、生成AIが人間の仕事を奪うというよりも、お互いに補完し合う関係にあると言えるでしょう。生成AIがルーティンワークを自動化する一方で、人間は創造的な視点や高度な情報提供を行うことができます。また、生成AIを活用することにより、より多くの記事を生産することが可能となり、多様な情報が提供されることで読者にとってもメリットが生まれます。

結論として、生成AIは記事作成の効率化に一役買っており、人間の仕事を一部奪う可能性はあります。しかし、生成AIが持つ限定的な能力と人間の持つクリエイティビティを組み合わせることで、より良い記事作成が実現できると考えられます。

著者名  @taoka_toshiaki

※この記事は著者が40代前半に書いたものです.

Profile
高知県在住の@taoka_toshiakiです、記事を読んで頂きありがとうございます.
数十年前から息を吸うように日々記事を書いてます.たまに休んだりする日もありますがほぼ毎日投稿を心掛けています😅.
SNSも使っています、フォロー、いいね、シェア宜しくお願い致します🙇.
SNS::@taoka_toshiaki

OFUSEで応援を送る

タグ

クリエイティビティ, ツール, テキストベース, リサーチ, ルーティンワーク, 一役, 一方, 人工知能, , 従来, 感性, 懸念, 手間, 文章, 普及, 生成AI, 結論, 視点, 課題, 近年,

今になってファイナルファンタジー16が悩ましい。

2023.04.06

Logging

おはようございます、今になってファイナルファンタジー16が悩ましい。でもPS5持っていないしファイナルファンタジー16も高いパッケージだし悩ましい🤔。ワールド移動を見てこれは凄いなと思ったし、アクション得意でない人でもアクセサリーを身につけることによって、アクションを補助してくれたりオートプレイしてくれたりするそうだ。その変わりスコアは下がるという事ですが😂、全然良いじゃないかな。アクションが下手くそな人達を置いてけぼりにさせない姿勢は良いと思います。

内容は結構重そうですが、プレイした後、もう一度やり込みたい人が続出しそうなそんな作りになってそうです。何よりワールドがリアルなのが良いですね、ゲームというのは仮想世界を作っているいう人もいるほど近年のゲームは年々と存在しないリアルな世界になりつつあります。もしVR装着してプレイしたら没入感が半端ない気がします。

著者名  @taoka_toshiaki

※この記事は著者が40代前半に書いたものです.

Profile
高知県在住の@taoka_toshiakiです、記事を読んで頂きありがとうございます.
数十年前から息を吸うように日々記事を書いてます.たまに休んだりする日もありますがほぼ毎日投稿を心掛けています😅.
SNSも使っています、フォロー、いいね、シェア宜しくお願い致します🙇.
SNS::@taoka_toshiaki

OFUSEで応援を送る

タグ

PS, VR装着, アクション, アクセサリー, ゲーム, スコア, ファイナルファンタジー16, ワールド, ワールド移動, 世界, , 人達, 仮想世界, 内容, 姿勢, 年々, 没入感, , 近年, 高いパッケージ,

慣れるな慣れろ。誰が言った言葉か分からないけど分かる😌

2022.03.24

Logging

おはよう御座います。
自分は賢い人ではないと思います、どちらかと言えば馬鹿。お喋りは下手くそで、どもりもあります。そんな自分は未だにどうすれば学力が身につくのかななどと思っています。

因みに自分には流儀があります、仕事は慣れるな慣れろです。相矛盾した言葉ですが慣れるなは慣れるとなぁなぁになり改善することを怠ります。慣れろは仕事は慣れれば大抵のひとが出来るように大体が設計されています。なので事務職でも労働者でも慣れたら仕事はできるのです。

これから先もこれは変わらないものだと思います。遊びが仕事になるということが近年言われていますが、YOUTUBEなどを毎日更新するという事を仕事にするというのは結構大変なことです。それよりか今まで先人が設計した仕事のシステムの中で働くほうが楽だと感じる人もいると思います。特にクリエイティブな作業は精神的にまいったりしますから尚更です。話が脱線しましたが仕事は慣れるな慣れろで働くほうが身につきやすいかなって思います。

著者名  @taoka_toshiaki

※この記事は著者が40代前半に書いたものです.

Profile
高知県在住の@taoka_toshiakiです、記事を読んで頂きありがとうございます.
数十年前から息を吸うように日々記事を書いてます.たまに休んだりする日もありますがほぼ毎日投稿を心掛けています😅.
SNSも使っています、フォロー、いいね、シェア宜しくお願い致します🙇.
SNS::@taoka_toshiaki

OFUSEで応援を送る

タグ

youtube, お喋り, クリエイティブ, こと, これ, システム, それ, どちらか, どもり, ひと, もの, 下手くそ, , , 事務, , 仕事, 作業, , 先人, 労働者, 大体, 大変, 大抵, 学力, 尚更, 改善, 更新, 未だ, 毎日, 流儀, , 矛盾, 脱線, 自分, 言葉, 設計, , , , 近年, 馬鹿,

子供にも安心して見せられるゲームだな。むしろ、子供がターゲット!?

2021.08.29

Logging

一週間前までは雨が振り続けて「じめじめ」した感じでしたが今は「じっとー」っと暑い日が続いています。因みに一週間の雨で高知県の被害額は2億円以上だとか大変です。

さてYOUTUBEのおすすめに表示された「Hoa」というタイトルのゲームがいい感じに出来上がっていたので紹介します。このゲーム、『子供にも安心して見せられるゲームだな。』って思えました。これならプレイさせても安心ですね、PS(プレイステーション)やXboxはどうしても少年、青年、成人がターゲットと思うようなゲームがまだまだ多いです。そういう面では任天堂さんは子供に向けたゲームが多く良い感じかなと思います。

因みにこのゲーム、任天堂をはじめ殆どのプラットホームに対応したゲームになっています。Hoa(ホア)というゲームに限らず、近年、柔らかくて優しいタッチのゲームが作れるようになったのは本当に良いことだと感じます。

著者名  @taoka_toshiaki

※この記事は著者が40代前半に書いたものです.

Profile
高知県在住の@taoka_toshiakiです、記事を読んで頂きありがとうございます.
数十年前から息を吸うように日々記事を書いてます.たまに休んだりする日もありますがほぼ毎日投稿を心掛けています😅.
SNSも使っています、フォロー、いいね、シェア宜しくお願い致します🙇.
SNS::@taoka_toshiaki

OFUSEで応援を送る

タグ

2, Hoa, PS, XBox, youtube, おすすめ, ゲーム, こと, これ, ターゲット, タイトル, タッチ, プラットホーム, プレイ, プレイステーション, ホア, , , 任天堂, , 大変, 子供, 安心, 対応, 少年, 感じ, 成人, , 本当, 殆ど, 紹介, 表示, 被害, 近年, , 青年, , 高知県,

意識するまえに脳が信号を送る。

2020.11.30

Logging

いま、NHKで放送されているヒューマニストという番組が放送されているのだけど、いまいち盛り上がりにかけますね。でも内容は良い、例えば意識する前に脳活動が行われているのか、それとも自己が考えて行動するのかという問いは、昔から研究されていたのだけど、近年、どうも脳活動が先というのが答えらしいと分かったみたいだ。厳密言えば人は両方の事が起きているのだとか。じゃなぜ、脳活動が発生するのかなどはいまの所、不明みたいです。

ここからは妄想でのお話、実はひとも半操り人形なのかもしれないな・・・というおいら説、誰に操られているかは想像におまかせします。ひともゴキブリをラジコンのように操ったりしてましたからね。ひとも電気信号で操縦されていたとしても、文句は言えないな。

でも、もし本当に操られていたら、恐いな・・・。

そんな妄想は良いとして、Notionというアプリが良いらしい。来年には日本語対応のバージョンになるのだとか、Notionというアプリは仕事の効率化ツールです、スケジュール管理からTodoなんかいろいろな機能がひとつに纏まったツールで海外では流行っているだって。じぶんはこういう効率化ツールのが未だに面倒くさいなと感じます。まずTodoリストに登録するより記憶すればそのタスクが終わるまで覚えているタイプなので、何故、こういうタスクが必要なのか、わからない。付箋かメモで良いじゃんと昔から思っていたけど、他の人に共有すると見える化されて便利なんだなと感じました。

著者名  @taoka_toshiaki

※この記事は著者が40代前半に書いたものです.

Profile
高知県在住の@taoka_toshiakiです、記事を読んで頂きありがとうございます.
数十年前から息を吸うように日々記事を書いてます.たまに休んだりする日もありますがほぼ毎日投稿を心掛けています😅.
SNSも使っています、フォロー、いいね、シェア宜しくお願い致します🙇.
SNS::@taoka_toshiaki

OFUSEで応援を送る

タグ

NHK, Notion, アプリ, いま, いまいち, おいら, おまかせ, お話, ゴキブリ, ここ, バージョン, ひと, ヒューマニスト, まえ, ラジコン, 不明, 両方, , , 仕事, 信号, , 内容, , , 妄想, 対応, 想像, 意識, , 操り人形, 操縦, 放送, 文句, 日本語, , 本当, 来年, 活動, 番組, 発生, 研究, , 自己, 行動, , 近年, 電気,