ダミー情報を生成する定番.
2024.03.29
ダミー情報を生成する定番を生成する定番のコードを記載します.
Composerを使用し’faker’をインストールします.
composer require fakerphp/faker
使用方法例のコードとしてcsv出力するコードを記載(下記).
<?php
require 'vendor/autoload.php';
use Faker\Factory;
class CsvGenerate{
/**
* ダミー情報を生成する
* @param int $max
* @return string
*/
public function csvMake(int $max=0):string
{
$faker = Factory::create('ja_JP');
$hasData = [];
for($i=0;$i<$max;$i++){
$datas = [];
$datas[0] = $faker->name();
$datas[1] = $faker->email();
$datas[2] = $faker->phoneNumber();
$datas[3] = $faker->address();
$hasData[$i] = implode(',',$datas);
}
return implode(PHP_EOL,$hasData);
}
}
print((new CsvGenerate)->csvMake(1000));
//file_put_contents('data.csv',(new CsvGenerate)->csvMake(1000));
実際使用する場合は、file_put_contents行のコメントを解除してください.
同階層にdata.csvファイルが作成されます.
尚、コマンドよりファイルを実行することを想定しています.
※参考にしたサイト
https://fakerphp.github.io/
https://qiita.com/kurosuke1117/items/c672405ac24b03af2a90
明日へ続く.
タグ
$datas, $hasData, Address, Composer, create, csvMake, faker’, gt, implode, items, lt, name, phoneNumber, php require, print, qiita.com, string, vendor,
文章を解析して#を付与して返却。
2024.03.04
おはようございます、文章を解析して#を付与して返却…Qiitaの丸コピです。
SNSでの使用することを考えて作りました。文章を解析して名詞と形容詞の文字の先頭に#を付与して返却します😌。
レンタルサーバーでは動きませんがawsやgcp,vpsなどでは動く作りになっています。
作った経緯はこういうサービスが無かったので作りました?。
因みにexecの脆弱性が気になるところですので対応が必要かもです🙇。
※phpやPythonのインストールはご自身で行ってください。
#前処理 mecab-python3バージョンは1.0.8です
sudo apt-get install mecab libmecab-dev mecab-ipadic-utf8
sudo pip install mecab-python3
pip install unidic-lite
<?php
class sharpPost
{
/**
* mecab.pyを使って文章を解析(名詞と形容詞を取り出す)
* @param $posstData
* @return array|null
*/
public function analysis($postData)
{
if(!$postData)return null;
$word = null;
exec('python py/mecab.py "'.strip_tags(htmlentities($postData)).'"',$output);// 2>&1
if(is_array($output)){
foreach($output as $val){
$analysisWord = explode("\t",$val);
if(isset($analysisWord[1]) && preg_match('/(名詞|形容詞)/',$analysisWord[1])){
$word[] = $analysisWord[0];
$word = array_unique($word);
}
}
}
return $word;
}
/**
* 文字列を置き換える処理
* @param $postData
* @param $word|null
* @return string
*/
public function replacePostData($postData='',$word=null)
{
if(is_array($word)){
foreach($word as $val){
$postData = preg_replace("/({$val})/u"," #{$val} ",$postData);
}
}
return $postData;
}
}
$textData = '単なる自分が使いたい機能です、無かったので作ってみただけです。';
$sharpPost = new sharpPost();
$word = $sharpPost->analysis($textData);
print(($sharpPost->replacePostData($textData,$word)).PHP_EOL);
import MeCab
import sys
args = sys.argv
if(args[1]):
tagger = MeCab.Tagger()
print(tagger.parse(args[1]))
タグ
analysis, args, argv if, AWS, exec, explode, foreach, htmlentities, isset, PARAM, preg_match, preg_replace, print, qiita, quot, replacePostData, return, sharpPost, tagger, tagger.parse,
blueSky画像複数投稿API。
2024.02.04
おはようございます、QiitaにblueSky画像複数投稿を行うにはどうしたら良いですか😌と質問が来たので速攻で回答しました。わからないことは聞くしかないよね。大体の人は答えてくれないけど自分はヒントを与えてそれでもわからない場合は答えを渡す。これは昔、自分はその方が良いじゃないかって思っていたけども・・・・どうなんですかねぇ🤔。あまりその人の力にはならないかも。
やはり考える力が必要になる職業なんで、やっぱ闇雲に質問して答えを知っても力にならないじゃないかって思います。悪いことではないけれど技術を手に入れたければ、自分でライブラリのソースコードを読んで頑張らないと駄目なんだろうと思っています。
そうするしか、今も昔も技術力付かないし新人はいろいろな人が書いたソースコードを読むべしだとも思っています、コードを書くよりも読む方が大変です。それ乗り越えないとこの職業は難しい教えてもらうでは身につかないだよなぁ~。
一応、質問の回答のソースコードをこちらでも掲載しておきます。
<?php
require '../vendor/autoload.php';
require 'config.php';
use \potibm\Bluesky\BlueskyApi;
use \potibm\Bluesky\BlueskyPostService;
use \potibm\Bluesky\Feed\Post;
class bluesky
{
private $api = null;
private $postService = null;
public function __construct()
{
$this->api = new BlueskyApi(USER_NAME, APP_PASSWORD);
$this->postService = new BlueskyPostService($this->api);
}
/**
* 簡単なテキスト投稿
* @param $text
* @return object
*/
public function post($text)
{
$post = Post::create($text);
$response = $this->api->createRecord($post);
return $response;
}
/**
* link付き投稿
* @param $text
* @param $url
* @param $title
* @param $description
* @param $optionalimage|null
* @return object
*/
public function webPost($text,$url,$title,$description,$optionalimage=null)
{
$post = Post::create($text);
$post = $this->postService->addWebsiteCard(
$post,
$url,
$title,
$description,
$optionalimage,
);
$response = $this->api->createRecord($post);
return $response;
}
/**
* 画像投稿
* @param $text
* @param $ImgLinkAndAltText
* @return object
*/
public function imagePost($text, $ImgLinkAndAltText=[])
{
$post = Post::create($text);
$response = null;
foreach($ImgLinkAndAltText as $val){
$post = $this->postService->addImage(
$post,
$val['img'],
$val['alt']
);
}
$response = $this->api->createRecord($post);
return $response;
}
}
if($argv[0]){
try {
var_dump((new bluesky)->post('これはテスト投稿ですよ'));
//var_dump((new bluesky)->imagePost('これは画像テスト投稿ですよ',[['img'=>'cron.png','alt'=>'クロン'],['img'=>'Gotcha.png','alt'=>'ガチャ']]));
} catch (\Throwable $th) {
print $th->getMessage();
//throw $th;
}
}
明日へ続く。
タグ
addImage, addWebsiteCard, argv, catch, construct, createRecord, foreach, getMessage, imagePost, PARAM, postService, potibmBlueskyBlueskyApi, potibmBlueskyBlueskyPostService, print, qiita, require, throw, Throwable, use, vendor,
PHP言語でblueskyの自動投稿を作ってみた。
2024.01.12
おはようございます。blueskyの自動投稿を作ってみたくなり即興で作りました。因みにblueskyの開発ドキュメントに記載されていたライブラリを使用しています。トライしてみて案外簡単に作れたのでライブラリに感謝だと感じました🙇。なお、自分のブルースカイアカウントのpost/3khojypfnf62zとpost/3khok6quxgj23が自動投稿(コマンドラインからの投稿)になります。
動作環境・sakuraれんたるサーバー・PHP8.2
作成手順
①アプリのパスワードを作成
https://bsky.app/settings/app-passwords
②potibm/phluesky(v0.3.0)をインストールする(composerのインストールはご自身で調べてください)
composer require potibm/phluesky:"0.3.0"
③php8.2.bluesky.phpと同じ階層にconfig.phpを作成しdefineを設定する。
画像はphp8.2.bluesky.phpと同じ階層に置いているものとします。
USER_NAMEはプロフィールページに記載されている@の後のあかうんと名.bsky.social、 APP_PASSWORDは①で作成したパスワードになります。
④コマンドラインより実行する。なお、vendorの配置などで参照先は変わります。
php php8.2.bluesky.php
<?php
require '../vendor/autoload.php';
require 'config.php';
use \potibm\Bluesky\BlueskyApi;
use \potibm\Bluesky\BlueskyPostService;
use \potibm\Bluesky\Feed\Post;
class bluesky
{
private $api = null;
private $postService = null;
public function __construct()
{
$this->api = new BlueskyApi(USER_NAME, APP_PASSWORD);
$this->postService = new BlueskyPostService($this->api);
}
/**
* 簡単なテキスト投稿
* @param $text
* @return object
*/
public function post($text)
{
$post = Post::create($text);
$response = $this->api->createRecord($post);
return $response;
}
/**
* link付き投稿
* @param $text
* @param $url
* @param $title
* @param $description
* @param $optionalimage|null
* @return object
*/
public function webPost($text,$url,$title,$description,$optionalimage=null)
{
$post = Post::create($text);
$post = $this->postService->addWebsiteCard(
$post,
$url,
$title,
$description,
$optionalimage,
);
$response = $this->api->createRecord($post);
return $response;
}
/**
* 画像投稿
* @param $text
* @param $imgLink
* @param $altText
* @return object
*/
public function imagePost($text, $imgLink, $altText)
{
$post = Post::create($text);
$post = $this->postService->addImage(
$post,
$imgLink,
$altText
);
$response = $this->api->createRecord($post);
return $response;
}
}
if($argv[0]){
try {
var_dump((new bluesky)->post('これはテスト投稿ですよ'));
var_dump((new bluesky)->imagePost('これは画像テスト投稿ですよ','cron.png','クロン'));
} catch (\Throwable $th) {
print $th->getMessage();
//throw $th;
}
}
最後に、cron設定などはご自身で調べてください。
ありがとうございました🙇。
こちらの記事はQiitaで記載されている自分の記事のコピーになります。
https://qiita.com/taoka-toshiaki/items/1508f4e79ea592565cef
明日へ続く。
タグ
addImage, addWebsiteCard, argv, bluesky, catch, Composer, construct, createRecord, define, getMessage, imagePost, PARAM, phluesky, postService, potibm, potibmBlueskyBlueskyApi, potibmBlueskyBlueskyPostService, print, Throwable, vendor,
例外処理をスローする奴(throw=飛ばす?) #php
2023.12.09
おはようございます、久しぶりにちょっとした技術のお話です。トライキャッチ(try-catch)した後にたまにスローしているコードとか見かけると思います。大体、エラーメッセージとか出力していると思いますが、これ独自のクラスなどに変更することが可能なんですよね。
なので、こんな事が出来るわけです、コケたら違う処理を行ってリカバリみたいな事やコケた値を拾ってバックアップするとか、いろいろな事が出来てしまいます。
PHPの公式でも例文を書いていますが、アレだとなんかわからない方もいると思いますので、もっと簡略化した例文コードを書いてみました。このコードを実行するとゼロによる除算エラーになりますが、トライキャッチ(try-catch)の中に書いているのでエラーにならずcatchへ処理は推移します。そしてスローでオリジナルのクラスを呼び出しているわけです。
<?php
class errors{
public function __construct($msg,$x) {
print $msg;
print $x;
}
}
try {
$x=5;
$a = $x/0;
//code...
} catch (\Throwable $th) {
throw new errors($th->getMessage(),$x);
}
トライキャッチの良いところはエラーにならないところですが、エラーにならない事が困り物になる場合もあるので注意が必要です。そこは現場の諸先輩方の話を聞いて対応したほうが良さげかと思います。
明日へ続く。
タグ
$msg, $th, $th->, catch, class errors, construct, getMessage, lt, php, print, public function, throw new errors, Throwable, try, try-catch, スロー, リカバリ, 例文, 除算エラー,
オーバーライドとは何なのか。それは。
2023.11.27
おはよう御座います、もう20年前になるのかな駆け出しのエンジニアだった頃の話。そのころ、オブジェクト指向が何なのかなんてことも知らないのに粋がっていました。その事を思い出すと恥ずかしいばかりです。その駆け出しのエンジニアの頃にオブジェクト指向のことをどうしても勉強しないといけなくて参考書を買ったのは良いのだけど専門用語が多くてついて行けなかった、そんな記憶があります。今ではchatGPTという何でも適当にだいたい正しそうな回答してくれる優しくてひねくれ者のツールがあるので、本当に良いなって思います。
さて、オーバーライドとは何なのかという事ですがchatGPTよりもっと要約した回答を書くと継承クラスの上書きです。これでもチンプンカンプンな人に例文を書いてみました。これで分からない方は何かを諦めた方が良いかも知れません。
<?php
//testClass.php
trait testClass {
public function Hello(){
return 'Hello';
}
}
<?php
//test.php
require './testClass.php';
class test1{
use testClass;
public function run (){
print $this->Hello().PHP_EOL;
}
}
class test2{
use testClass;
protected function Hello(){
return 'Good night';
}
public function run (){
print $this->Hello().PHP_EOL;
}
}
(new test1)->run();
(new test2)->run();
この2つのファイル(コード)を保存してtest.php実行してみてください。そうするとよく分かると思います。ちなみに実行結果はこの様になります。
https://zip358.com/tool/demo79/
明日へ続く。
タグ
ChatGPT, gt, gt;Hello, lt, php, PHP_EOL, print, return, run, test.php require, testClass, testClass.php trait, this, use testClass, オーバーライド, オブジェクト指向, チンプンカンプン, ひねくれ者, 上書き, 例文,
Laravelでユニットテストをする中Factoryは欠かせない。
2023.08.11
おはようございます、Laravelでユニットテストをする中Factoryは欠かせない存在だと思っています。毎回、データを初期化していると処理が重くなってしまいます。ユニットテストが多くなるに連れて時間がかかるのは仕方がないのかなって思いますが、極力時間短縮したいと思うのは普通のことだと思います(github上にpull requestしphpstan(静的解析ツール)やphpunit(ユニットテスト)を行っていく中で結構時間がかかるのはユニットテストだと思います。)。
恐らくユニットテストでデーターベースの初期化をしない事が良いだろうと思うようになってきました。そんな中で役に立つのがFactoryです。これを使用することで次のテストに影響を与えないみたいなんですね。なので、この頃はFactoryを使用しています。
Factoryは下記のCommandで生成することが出来ます。
php artisan make:factory filename
仕様の仕方はこんな感じになります💁
<?php
$user = User::factory()->make([
'username'=>'test',
'password'=>'testpass',
]);
print $user->username;
タグ
-Command, Factory, factory filename, github上, gt, gt;username, Laravel, lt, php, php artisan make, phpunit, print, pull requestしphpstan, user, この頃, データーベース, ユニットテスト, 中Factory,
php:トレイトって言うよりclassの中でuseを使用。
2023.05.19
おはようございます、php:トレイトって言うよりclassの中でuseを使用する方法って言った方がわかり易いのかも知れません。詳しい説明は公式を参照して下さい。コード例とtraitの説明を書いときます。
トレイトは、PHPのようなプログラミング言語でコードを再利用するための仕組みのひとつです。通常、プログラムではクラスを使ってコードを組み立てますが、トレイトを使うことで、異なるクラスに属するメソッドのグループを独立したクラスとして再利用することができます。これにより、単一継承という制限を緩和することができます。トレイトを使うことで、多重継承やMixinといった問題を回避することもできます。
トレイトはクラスと似ていますが、トレイトは単に機能をまとめるためのものです。トレイト自体のインスタンスを作成することはできません。トレイトを使うことで、従来の継承に機能を追加するだけでなく、クラスのメンバーを水平方向に追加することもできます。つまり、継承しなくてもクラスに新しい機能を追加することができるようになります。
実行サンプル=>https://zip358.com/tool/demo75/
<?php
require_once "hello/hello_class.php";
use hello\Hello;
class Test
{
use Hello;
public function main()
{
print("-goodbye");
}
}
(new Test())->main();
<?php
namespace hello;
trait Hello
{
public function __construct()
{
print("Hello");
}
}
タグ
class, construct, goodbye", gt, lt, Mixin, namespace hello, php, php require_once, print, quot, quot;hello, quot;Hello", trait, trait Hello, use, use helloHello, トレイト, トレイト自体, 単一継承,
ツイッターのDM内容をOpenAI api(chatGPT)で判別しスパムの場合ブロックする。#ソースコード
2023.04.17
おはようございます、スパムをブロックするソースコードを掲載します。ご自由にご使用いただけばと思っています。これを作ったのは先週の日曜日のことです、TwitterのDMに悩まされていたので何か方法はないかなって思って作ったのがこれです。実際、自分は試しに導入してみたのですが、精度はまずまず良い結果でした。因みに自分は作ったのですが今のところ、使ったのは先週の日曜日だけで未だに手動でブロックしています。使わない理由は大量のスパムが来ているわけではないので、特に問題は無いからです。唯、大量のスパムが来ている人にはそれなりにお役に立てるツールかも知れないです。
ツイッターのDM内容をOpenAI api(chatGPT)で判別しスパムの場合ブロックする。
スパム精度は結構良いです。
使用方法
- コマンドで実行
php BlockMessage.php spamcheck
使用したComposerのライブラリ
- TwitterOAuth
- openai-php/client
phpのバージョン
- php8.1
前提条件
- 掲載していないファイルは推測して作ってください。
<?php
require_once "../vendor/autoload.php";
require_once "../tw-config-v2.php";
require_once "../openAI-config.php";
use Abraham\TwitterOAuth\TwitterOAuth;
class BlockMessage
{
var $connection = null;
public function __construct()
{
$this->twitterConnection();
$result = $this->getTwitterDM();
if(!$this->judgmentSpam($result[0])){
$this->setTwitterBlockedUser($result[1]);
}
}
public function twitterConnection()
{
// TwitterOAuthクラスのインスタンスを作成する
$this->connection = new TwitterOAuth(APIKEY, APISECRET, ACCESSTOKEN, ACCESSTOKENSECRET);
// APIバージョンを設定する
$this->connection->setApiVersion('2');
}
/**
* DMを取得する
* @return array
*/
public function getTwitterDM()
{
$dm_events = $this->connection->get('dm_events',["expansions"=>"sender_id","user.fields"=>"username,id"]);
return [$dm_events->data[0]->text,$dm_events->data[0]->sender_id,$dm_events->data[0]->id];
}
/**
* OpenAI APIを使用してスパム判定
* @param string $text
* @return false
*/
public function judgmentSpam(string $text="")
{
if (!$text) return false;
$client = OpenAI::client(OPENAIAPIKEY);
$result = $client->chat()->create([
'model' => 'gpt-3.5-turbo',
'messages' => [
["role"=>"system", "content"=>'Your job is to identify spam, please determine if the message is spam or not. If it is spam, please write "This is spam". For non-spam messages, write "OK".'],
["role"=>"system", "content"=>'respond to in English.'],
['role'=> 'user', 'content' => $text],
]
]);
if(preg_match("/(OK)/i",$result->choices[0]->message->content)){
print "non-spam".PHP_EOL;
return true;
}
if(preg_match("/(spam)/i",$result->choices[0]->message->content)){
print "This is spam".PHP_EOL;
return false;
}
return true;
}
/**
* スパムアカウントをブロック
* @param string $blocked_user_id
* @return false
*/
public function setTwitterBlockedUser(string $blocked_user_id = "")
{
if (!$blocked_user_id) return false;
$block_result = $this->connection->post('users/'.MYTWID.'/blocking', ['target_user_id' => $blocked_user_id], true);
if ($block_result->data->blocking) {
print 'Blocked user successfully.'.PHP_EOL;
return true;
} else {
print 'Failed to block user.'.PHP_EOL;
return false;
}
}
}
if($argv[1]==="spamcheck"){
new BlockMessage();
}
https://github.com/taoka-toshiaki/BlockMessage
タグ
argv, chat, ChatGPT, choices, Client, Composer, connection, construct, getTwitterDM, messages, OPENAIAPIKEY, print, quot, spam, spamcheck, string, Twitter, twitterConnection, TwitterOAuth, vendor,
Excel(API)の関数WEBSERVICEの作り方と考え方。
2022.09.01
おはようございます。昨日の雷はかなりヒヤヒヤドキドキものでした😭(パソコンが壊れるのではないかと)。
さて、本日は巷で流行っているExcel(API)の関数WEBSERVICEの作り方と考え方です。考え方はURLにパラメーター付きの値を渡して返却した値を受け取るという考え方です。多分、このサイトを訪れた方は返却処理を自作したいと考えている方だと思います。
返却処理を自作したい場合はローカルサーバーもしくは、レンタルサーバーが必要になります。
また、WEBサーバーでphpやPythonなどの言語が動作する環境が必要になります。尚、レンタルサーバーの場合、最安値のサーバーでもPHPは動作します。例えばさくらレンタルサーバーライト版でも動作します。そういう環境下でPHP言語やPython言語を動作出来るスキルがまず前提条件で必要です。
それが出来る方は下記のサンプルコードの意味が理解出来ると思います、APIと言っても簡単です。受け取ったパラメーター(GET値)を内部で処理しているだけです。クロスドメインエラーを回避する記述を先頭行に書き、その後はGET値からご自身が処理したいコードを記載し最後に結果をprintで出力しているだけです。
<?php
//すべてのドメインからのリクエストを許可
header("Access-Control-Allow-Origin: *");
$first = strip_tags($_GET["first"]) ? strip_tags($_GET["first"]) : "";
$last = strip_tags($_GET["last"]) ? strip_tags($_GET["last"]) : "";
$word = $first . strip_tags($_GET["word"]) . $last;
print $word;
社内にシステムエンジニア(SE)部門がある方は、処理してほしい内容を依頼してみてはどうでしょうか。恐らく承諾してくれると思います。出来ないSEはいないと思います…🤔。
タグ
$last, Excel, FIRST, lt, php, print, Python, quot, quot;Access-Control-Allow-Origin, quot;first", quot;last", quot;word", strip_tags, Word, クロスドメインエラー, パラメーター, レンタルサーバー, ローカルサーバー, 許可 header, 関数WEBSERVICE,
TensorFlow(テンソルフロー)で画像分類させたら車も人の顔って😇
2022.08.07
こんにちは、今日もまだ呟くこともしないで日が暮れるかもです。
今日は機械学習で画像分類させることを昨日からゴニョゴニョとしていて、やっとこさ自作のモデルから判定することが出来たのですが、あまり精度が良くないので正直な所、残念です。もっと精度の良いものを作れれば良いのになって思いますが、今の力量ではココらへんですね。
因みにココから画像判別の精度を上げるためにはコードをある程度、作り込まないといけないです。あとはデータ量ももう少し多くのデータが必要です。今回作っていてPythonもなかなか面白いなってね感じました。そして結構、書きやすいなとも思ったのですが、まだまだゴリゴリとコードをPythonで書けるわけではないので、もっと勉強しないとなって事です。
Python言語は結構人気だし、機械学習は花形なんですよ。そういう言語を自在に使えるようになりたいなって思います、そしてPHPやJSなどやフレームワークもゴニョゴニョと絵の具のように思い通り使いたいなって未だに思います。知れば知るほど未だまだ勉強で、おそらくコード書きは引退しても学び続けるだろうなって思います。
import numpy as np
import tensorflow as tf
import tensorflow_hub as hub
import PIL.Image
tf.get_logger().setLevel("ERROR")
def preprocess_image(image_path):
image = PIL.Image.open(image_path).convert("RGB").resize((150,150))
image = np.array(image) / 255
image = np.expand_dims(image, 0)
return image
def test_model(imgurl):
image_path = imgurl
model_file_name='human_or.h5'
labels = ["human","dogs"]
model = tf.keras.models.load_model(model_file_name, custom_objects={"KerasLayer": hub.KerasLayer})
predictions = model.predict(preprocess_image(image_path))
print("検証 %s 人の顔である確率 %3d%%" %(image_path,int(predictions[0][0]*100)) )
test_model("ai_image_test\\test1.jpg")
test_model("ai_image_test\\test2.jpg")
test_model("ai_image_test\\test3.jpg")
test_model("ai_image_test\\test4.jpg")
test_model("ai_image_test\\test5.jpg")
test_model("ai_image_test\\test6.jpg")
https://taoka-toshiaki.com/ML/human_or.zip ←モデル
タグ
array, convert, custom_objects, expand_dims, get_logger, hub.KerasLayer, image, imgurl, int, labels, model, predictions, print, quot, resize, setLevel, フレームワーク, 力量, 絵の具, 花形,
pythonで画像ダウンロードしたいなら。コレでよし🤔
2022.08.06
こんにちは、日が暮れて夕方になってしまいましたね?…本日の更新です😌。
今日は機械学習(tensorflow)の為の画像を集めをしていたました。画像を集めるのが面倒くさくて昔、ダウンロード用のソフトを自前で作っていたのだけど、その自前のソフトをいつの間にか消し去っていた為、再度Pythonで作り直しました。
作ったのですが、これは即席なダウンロードソフトなので完璧なものではないです。50枚~300枚の画像をダウンロード出来ます。そのダウンロードした画像を水回しして機械学習の画像分類に使用しているのですが、学習精度があまり良くないのが明日の課題。
人工知能に学習させる方法にはいろいろな方法があります。それらを上手く使えばもっと効率よく学習出来るみたいですが、そもそもPythonも普段から使用しないので手探り状態です。
もっと綺麗なコードを書けると思いますが…。
トイウコトデ、コードを記載しときますね、このコードはbingサイトで画像ダウンロードするために作られたものです。機械学習しているコードではありません。
from functools import cache
import time
import requests
import os
from selenium import webdriver
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.support.wait import WebDriverWait
from selenium.webdriver.common.by import By
from webdriver_manager.chrome import ChromeDriverManager
from selenium.webdriver.chrome.options import Options
options = Options()
# download_path = 'C:\python\images\face'
# options.add_experimental_option("prefs", {"download.default_directory": download_path})
# driver = webdriver.Chrome(ChromeDriverManager().install(), options=options)
driver = webdriver.Chrome(ChromeDriverManager().install())
driver.get("https://www.bing.com/images/search?q=顔&form=HDRSC2&first=1&tsc=ImageHoverTitle")
driver.set_window_size(945, 1012)
time.sleep(3)
sl = 700
for i in range(30):
driver.execute_script("window.scrollTo(0," + str(sl) + ")")
time.sleep(3)
sl = sl + 700
img = []
for x in range(10):
for y in range(100):
try:
txt = driver.find_element(By.XPATH,"//*[@id=\"mmComponent_images_2\"]/ul[" + str(int(y +1 )) +"]/li[" + str(int(x +1 )) +"]/div/div[1]/a").get_attribute("m")
hoge = str(txt).split(",")
#print(hoge)
img.append([s for s in hoge if "murl" in s])
except:
print("errors not image")
driver.quit()
file_dir = "C:\\python\\images\\face\\"
for imgdata in img:
url = str(imgdata).split(":")[1] + ":" + str(imgdata).split(":")[2]
url = url.replace('"',"").replace("']","")
print(url)
try:
urlData = requests.get(url).content
with open(os.path.join(file_dir,os.path.basename(url)),'wb') as f:
f.write(urlData)
except:
print("errors not Download")
タグ
ChromeDriverManager, driver, driver.get, driver.quit, except, img.append, imgdata, options, print, quot, replace, scrollTo, selenium.webdriver.support.wait, sl, sleep, tensorflow, time.sleep, ul, urlData, トイウコトデ,
WEBスクレイピングで日経平均株価の値を取得するPHPプログラム
2021.05.26
WEBスクレイピングで日経平均株価の値を取得するPHPプログラムです。下記のようなブログラムを応用してクラウドワークスなどの案件(データ取得の案件)を自分は請け負っています。現在のWEBスクレイピングの相場は1-5万円ぐらいです。PHP言語ではJSがOFFの状態をスクレイピングするのでJS(java script)が動作して表示されているものは取得できないのが難点です。そのような場合はPhantomJSを使用すると良いらしいですが、こちら開発が終了しているライブラリになります。
大手の企業はJSがOFFの状態でも表示できるように設計されている事が多いので大体のデータは取得可能です、例外として大手のショッピングサイト(ECサイト)では、JSをゴリゴリと使用している場合もあるのでスクレイピングする前にブラウザで見栄えの検証(java script OFFの状態)することをオススメします。
<?php
//WEBスクレイピング
$url = "https://stocks.finance.yahoo.co.jp/stocks/detail/?code=998407.O";
$html = file_get_contents($url);
$dom = new DOMDocument();
$html = mb_convert_encoding($html, "HTML-ENTITIES", 'UTF-8');
@$dom->loadHTML($html, LIBXML_HTML_NOIMPLIED | LIBXML_HTML_NODEFDTD);
$xpath = new DOMXPath($dom);
print $xpath->query("//*[@id=\"root\"]/main/div/div/div[1]/div[2]/div[1]/div[2]/div[2]/p[2]/span")->item(0)->textContent;
追記:スクレイピング先のコードが変わればデータは取得出来なくなりますので、ソースコードの変更が必要です。
タグ
$dom->, div, dom, gt, gt;textContent, HTML-ENTITIES", item, loadHTML, lt, mb_convert_encoding, NODEFDTD, NOIMPLIED, PhantomJS, php, print, query, quot, quot;root, XPath, プログラム,
Hallo worldの定番。
2020.12.11
<?php
print("Hello world");
「こんにちは世界」がコンピューター言語の参考書にもっとも記載されている言葉だと思います。誰がこれを始めたのか自分は知らないのですが、定番中の定番ともいえる言葉です。プログラマーなら誰しも知っているだろうなと思います。
いままで、プログラマーという職業は嫌煙されていましたが今でなりたい職業の中に入ってきました。これも時代の流れなのかもしれませんが実際、プログラマーってデジタル土方さんなんですよね。これは今でもそうだと思います、人がコードを入力して書いているわけですから・・・・。近い将来、人工知能が簡単なアルゴリズムなら書いてくれるとは思います。いまでも自らをコードを自己進化して成長する人工知能は存在します。
ただ、自己進化と口頭で言ったことからプログラムが出来る人工知能は未だ存在しません。ただ簡単なこと、例えばデザインをHTML化してくれるサービスは存在していて精度もなかなか良いです。またロゴを生成してくれる人工知能も存在していますが、やはりこれ以上の難しいことは人工知能は出来ません。
なので今後、20?30年はプログラマーという職業はなくならないと思っています。もっともらしい例を出すと電子書籍が登場しても本はなくならなかったという事です。今のところですけどね、遠い将来は消えているかもしれませんが。
タグ
Hallo, Hello, html, lt, php, print, quot, world, アルゴリズム, いま, コード, こと, これ, コンピューター, サービス, デザイン, デジタル, プログラマー, プログラム, 世界, 中, 人, 人工, 今, 入力, 参考書, 口頭, 土方, 嫌煙, 存在, 定番, 実際, 将来, 成長, 時代, 未だ, 知能, 簡単, 職業, 自ら, 自分, 自己, 言葉, 言語, 記載, 誰, 進化,
オレオレ無名関数の再帰処理。
2019.10.26
無名関数はよく使います。ちょっとしたモノを書きたい時、
オレオレ無名関数を書いて済ますことが多くなりました。
無名関数の良いところは無名関数を使用する手間にメソッドがあるので
確認しやすいというところですね。
<?php
$mumei = function ($tasu=0) use(&$mumei){
if($tasu<=150){
$tasu = $tasu + 5;
print $tasu."n";
return $mumei($tasu);
}
return $tasu;
};
//オレオレ無名関数の使い方は…小道具ぐらい程度のもの。
print $mumei();
// 5
// 10
// 15
// 20
// 25
// 30
// 35
// 40
// 45
// 50
// 55
タグ
0, 10, 15, 150, 20, 25, 30, 35, 40, 45, 5, amp, function, if, lt, mumei, nbsp, php, print, return, tasu, use, オレオレ, こと, ところ, メソッド, もの, 使い方, 使用, 再帰, 処理, 小道具, 手間, 時, 済, 無名, 確認, 程度, 関数,
PHPの無名関数の使い道が未だにわからないし…
2019.03.09
<?php
$mumei = function()
{
if($cnt = func_get_args())
{
foreach($cnt as $key=>$value)
{
print func_get_arg($key);
}
}
};
$mumei(1,2,3,4,5,6);
わからない、未だにわからないし、使う機会が少ないのだけどいったいどこに使うのか。
追記:
2021年の今、無名関数を使ってコードを書くことが増えました、PHP8になりオブジェクト指向が洗練されてきています。今後、無名関数を使用してコードを書くこともあると思います。因みにJSの方が無名関数でコードを書くことが多いですね。
PHPでの無名関数の問題点は、頻繁に無名関数ばかり使用していると他のエンジニアが読みづらく感じる所かもしれません。特にPHPの昔のバージョンになればなる程、読みづらいと思います。
タグ
1, 2, 2021, 3, 4, 5, 6, 8, arg, args, as, cnt, foreach, FUNC, function, GET, gt, if, JS, key, lt, mumei, php, print, value, エンジニア, オブジェクト, コード, こと, どこ, 今, 今後, 他, 使い道, 使用, 問題点, 所, 指向, 方, 未だ, 機会, 洗練, 無名, 追記, 関数, 頻繁,
ネームスペースの利点はこれだと思っている。
2019.03.02
ネームスペースの利点はこれだと思っている。
複数人で開発とかしているときに関数名やクラスなどが
かぶってしまう可能性ある、そういうのを
解決してくれるのがネームスペースということです。
<?php
namespace testdemo;
class test{
function demo():string
{
return "demo1n";
}
}
namespace testdemo2;
class test{
function demo():string
{
return "demo2n";
}
}
<?php
include_once "./index-6.php";
$demo = new testdemotest();
print $demo->demo();
$demo = new testdemo2test();
print $demo->demo();
タグ
'dem, 1, 2, 6, class, demo, function, include, index, lt, namespace, nbsp, new, once, php, print, return, string, test, クラス, こと, これ, スペース, とき, ネーム, 利点, 可能性, 複数人, 解決, 開発, 関数,
再帰処理の考え方は単なるこれだけのこと。
2019.02.27
再帰処理の考え方は単なるこれだけのこと。
forやwhile文などでループできない処理の代替えだと
思うとわかりやすいかも。
<?php
print loop(-20);
function loop($i,$ii=1):int
{
if($i>=5)
{
return $i;
}
$i++;
$ii = $ii * $i;
print "$i=$in";
print "$ii=$iin";
if($ii==0)
{
$ii = 20;
}
return loop($i,$ii);
}
タグ
0, 1, 20, 5, For, function, gt, if, Ii, int, loop, lt, php, print, return, while, こと, これだけ, ループ, 代替え, 再帰, 処理, 文, 考え方,
PHP忘れてしまいそう。
2019.02.23
こういう書き方とか書かなかったら忘れてしまいそうですね。
クラスの多重継承とか職場ではそもそもしない。Functionで十分な感じで
この頃、ろくなコードを書いていません。FunctionからFunctionへなんて
コードを書いてたりしています。
<?php
function demo1(int $val=0):int
{
return 3 * 3 * $val;
}
print demo1(3);
class demo2
{
public static function test1():string
{
return "ABC";
}
}
$demo2 = "demo2";
print $demo2::test1();
trait demo3
{
public static function test2($val=""){
return $val;
}
}
class demo4
{
public static function test3($val = "")
{
return $val;
}
}
class demo5 extends demo4
{
use demo3;
public static function test4($val = "")
{
return $val;
}
}
$demo5 = 'demo5';
print $demo5::test2(1);
print $demo5::test3(2);
print $demo5::test4(3);
タグ
0, 1, 2, 3, ABC, class, demo, function, int, lt, nbsp, php, print, public, return, static, string, test, trait, val, クラス, コード, そもそも, 多重, 感じ, 書き方, 継承, 職場, 頃,
PHPで怒られる怒られない。
2019.02.16
PHPで怒られる書き方と怒られない書き方です。
下記のコードを参照ください。
<?php
class demo_php1{
function demo1($val=""){
return $val;
}
public function demo2($val=""){
return $val;
}
static function demo3($val=""){
return $val;
}
}
print demo_php1::demo1("DEMO1n");
print demo_php1::demo2("DEMO2n");
print demo_php1::demo3("DEMO3n");
下記のようにインスタンス(instance)すればこのコードはすべて怒られないです
それだけの違い。ちなみにdemo3は怒られない書き方です。
オブジェクトを単体で使う場合は気をつけましょう。
PHPのバージョンアップするにつれjavaのような動きになってきています。
PHP、Pythonに負けないようにかこの頃開発が活発化してます。
最新はPHP7.4ですからね・・・。
$demo_php1 = new demo_php1();
print $demo_php1->demo1("DEMO1n");
print $demo_php1->demo2("DEMO2n");
print $demo_php1->demo3("DEMO3n");
タグ
1, 2, 3, class, demo, function, instance, lt, php, print, public, return, static, val, インスタンス, コード, すべて, それだけ, 下記, 参照, 書き方, 違,
(´ι _` )アッそうなんだそうなんだPHP fileメソッド
2015.11.09
PHPのfileメソッドっていうのが便利です。
ファイルを配列として引っこ抜いてくれる。こんな関数便利だなと
おそらく他の言語でも常識的にある関数なんだろうけど
自分はあまり知らなかったので便利だなと。
もうひとつ便利な関数は配列の中に空の値があったりすると
その配列を削除してくれるarray_filterとかいうものです。
これは便利・・・何故かってPHP、配列の中が空でも
値があるよって判断するです。そういう時に少し便利です。
emptyは使えないので・・・。もし配列が空でも必要な場合は
strlenとかでバイト数を数えるなどで対応するしか無いですね。
そういう事でメモがてらに残しときます。
$hoge = file("hoge.txt"); for($i=0;$i<sizeof($hoge);$i++){ echo hoge[$i]."<br>\n"; } print($hoge); $hoge2 = array_filter($hoge); print($hoge2);
タグ
0, 2, array, br, echo, empty, file, filter, For, gt, hoge, lt, php, print, sizeof, strlen, txt, アッ, これ, バイド, ファイル, メソッド, メモ, もうひとつ, もの, 中, 事, 他, 便利, 値, 判断, 削除, 場合, 対応, 少し, 必要, 時, 空, 自分, 言語, 配列, 関数,
PHPの正規表現には否定がないみたいだ( ゚д゚ )。
2015.06.17
DEMO https://zip358.com/tool/url-chk.php
上記のコードを記述するとURLとパラメータを分ける事ができます。最初、正規表現の否定があるだと思っていたのですが調べているうちに正規表現には否定というものが存在しないみたいな事を書いている記事に行き着きました。おそらくPHPの正規表現には否定というものは無いのだと思います。よくよく考えてみると文字の中から文字を抽出する事が正規表現の目的ですので、否定がないのも何となく理解できます。ちなみに、仕事でこういう事を書かないといけない事がありました、その時は否定があるものだと思ってゴリゴリ試していたのですが、結局うまく行かず違う方法で対応しました。結構な駄目プリを魅せつけてしまったので結構凹みました。
話は変わって、昨日はブログをお休みしてました、その訳は法事とかそういう事がある日だったことです。自分は出席したわけではないのですが、そういう事がある日は何の報告もなくブログをお休みします。
追記:こんなコードでなくて切り分けは出来ているのですけどね・・・(ifのところで
<?php
if(preg_match("/(.*)\?(.*)/",$_SERVER['HTTP_HOST'] . $_SERVER['REQUEST_URI'],$m)){
print(strip_tags($m[0])."<br>");
print(strip_tags($m[1])."<br>");
print(strip_tags($m[2])."<br>");
}
タグ
-m, $_SERVER, demo, HTTP_HOST, if, lt, lt;br>, php, php if, preg_match, print, quot, REQUEST_URI, strip_tags, パラメータ, 否定, 正規表現, 法事, 追記, 駄目プリ,