@Blog
過去の蓄積を見るために書く日記.
号外NETの記事タイトルをポストするようにコードを組みました．tosajin.info
2024.10.02
おはようございます．号外サイト記事タイトルをポストするようにコードを組みました．これによって少しは高知県の人に貢献できたのではと思っています．この号外NETというサイトはとても良いです．新しいお店の紹介などが逐次わかるというのは良い感じですよね．
因みにソースコードはこんな感じになります．これをLaravelのスケジュールを使用して叩いている形になります．ポストするコードに関してはご自身で考えて作らないとポストすることは出来ないです．
/**
* Execute the job.
*/
public function handle(): void
{
$xmlobj = @simplexml_load_file('https://kochi.goguynet.jp/feed/');
if($xmlobj?->channel?->item){
$str = [];
foreach($xmlobj->channel->item as $key=>$val){
if($this->dateCheck($val->pubDate)){
$str[] = "{$val->title}
{$val->guid}
引用元：号外NET 高知市
";
}else{
break;
}
}
$str = array_reverse($str);
if(count($str)){
$TwitterController = new TwitterController();
foreach($str as $val){
$TwitterController->tweet($val);
}
}
}
}
private function dateCheck($inputDate)
{
$inputDateTime = new DateTime($inputDate);
$inputDateTime->setTimezone(new DateTimeZone('UTC')); // UTCに合わせる
// 現在の日付（UTC）
$currentDateTime = new DateTime('now', new DateTimeZone('UTC'));
// 今日の日付を取得
$today = $currentDateTime->format('Y-m-d');
// 昨日の日付を取得
$yesterday = $currentDateTime->modify('-5 day')->format('Y-m-d');
// 入力された日付のフォーマット
$inputDateFormatted = $inputDateTime->format('Y-m-d');
// 比較
if ($inputDateFormatted === $today || $inputDateFormatted > $yesterday) {
return true;
}
return false;
}Xなどにポストするにはライブラリを使用してポストすることが簡単だと思っていますが、それが難しいという方は生成AIを使用してクラス化したXにポストするPHPコードを書いてと指示をすればコードを書いてくれると思います．
ちなみにこのソースコードは高知県の号外に特化したコードになります．
明日へ続く．
著者名
@taoka_toshiaki
※この記事は著者が40代前半に書いたものです．
Profile
高知県在住の@taoka_toshiakiです、記事を読んで頂きありがとうございます.
数十年前から息を吸うように日々記事を書いてます．たまに休んだりする日もありますがほぼ毎日投稿を心掛けています😅．
SNSも使っています、フォロー、いいね、シェア宜しくお願い致します🙇.
SNS::@taoka_toshiaki
タグ
array_reverse, break, count, dateCheck, else, foreach, format, gt, guid, item, Laravel, modify, pubDate, quot, setTimezone, Tweet, val, void, yesterday, 号外,
WEBスクレイピングで日経平均株価の値を取得するPHPプログラム
2021.05.26
WEBスクレイピングで日経平均株価の値を取得するPHPプログラムです。下記のようなブログラムを応用してクラウドワークスなどの案件（データ取得の案件）を自分は請け負っています。現在のWEBスクレイピングの相場は1-5万円ぐらいです。PHP言語ではJSがOFFの状態をスクレイピングするのでJS(java script)が動作して表示されているものは取得できないのが難点です。そのような場合はPhantomJSを使用すると良いらしいですが、こちら開発が終了しているライブラリになります。
大手の企業はJSがOFFの状態でも表示できるように設計されている事が多いので大体のデータは取得可能です、例外として大手のショッピングサイト（ECサイト）では、JSをゴリゴリと使用している場合もあるのでスクレイピングする前にブラウザで見栄えの検証（java script OFFの状態）することをオススメします。
<?php
//WEBスクレイピング
$url = "https://stocks.finance.yahoo.co.jp/stocks/detail/?code=998407.O";
$html = file_get_contents($url);
$dom = new DOMDocument();
$html = mb_convert_encoding($html, "HTML-ENTITIES", 'UTF-8');
@$dom->loadHTML($html, LIBXML_HTML_NOIMPLIED | LIBXML_HTML_NODEFDTD);
$xpath = new DOMXPath($dom);
print $xpath->query("//*[@id=\"root\"]/main/div/div/div[1]/div[2]/div[1]/div[2]/div[2]/p[2]/span")->item(0)->textContent;追記：スクレイピング先のコードが変わればデータは取得出来なくなりますので、ソースコードの変更が必要です。
著者名
@taoka_toshiaki
※この記事は著者が40代前半に書いたものです．
Profile
高知県在住の@taoka_toshiakiです、記事を読んで頂きありがとうございます.
数十年前から息を吸うように日々記事を書いてます．たまに休んだりする日もありますがほぼ毎日投稿を心掛けています😅．
SNSも使っています、フォロー、いいね、シェア宜しくお願い致します🙇.
SNS::@taoka_toshiaki
タグ
$dom->, div, dom, gt, gt;textContent, HTML-ENTITIES", item, loadHTML, lt, mb_convert_encoding, NODEFDTD, NOIMPLIED, PhantomJS, php, print, query, quot, quot;root, XPath, プログラム,
google NewsをRSSで取得してjsonで返却するPHPプログラム
2018.12.22
<?php
//$_POST["sh"]...検索キーワード
if ($_POST["sh"]) {
$sh = urlencode(@xss_defence($_POST["sh"]));
$res = simplexml_load_file("https://news.google.com/news/rss/headlines/section/q/$sh/?ned=jp&hl=ja&gl=JP");
rss($res);
}
function rss(object $obj = null):void
{
if (isset($obj->channel->item)) {
if ($obj->channel->item) {
$cnt = 0;
foreach ($obj->channel->item as $item) {
$result[$cnt]["title"] = (string)$item->title;
$result[$cnt]["link"] = (string)$item->link;
$result[$cnt]["pubDate"] = (string)$item->pubDate;
$result[$cnt]["description"] = (string)$item->description;
$result[$cnt]["source"] = (string)$item->source;
$cnt++;
}
}
}
echo json_encode($result);
}
function xss_defence(mixed $val):mixed
{
if(!isset($val))return false;
if(is_array($val)){
foreach ($val as $key => $value) {
# code...
$val[$key] = strip_tags($value);
$val[$key] = htmlentities($val[$key],ENT_QUOTES);
}
}else{
$val = strip_tags($val);
$val = htmlentities($val,ENT_QUOTES);
}
return $val;
}google NewsをRSSで取得してjsonで返却するPHPプログラムです。
ご自由にご使用ください。
著者名
@taoka_toshiaki
※この記事は著者が30代後半に書いたものです．
Profile
高知県在住の@taoka_toshiakiです、記事を読んで頂きありがとうございます.
数十年前から息を吸うように日々記事を書いてます．たまに休んだりする日もありますがほぼ毎日投稿を心掛けています😅．
SNSも使っています、フォロー、いいね、シェア宜しくお願い致します🙇.
SNS::@taoka_toshiaki
タグ
0, channel-, cnt, com, defence, file, foreach, function, gl, Google, gt, headlines, hl, https, if, isset, item, ja, jp, json, load, lt, ned, News, null, obj, object, php, POST, quot, res, RSS, section, sh, simplexml, urlencode, void, xss, キーワード, プログラム, 取得, 検索, 返却,