laravelのchunkとchunkByIdどっちが速い論争？

2024.06.08

Logging

おはようございます．laravelのchunkとchunkByIdどっちが速い論争があります．自分の肌感覚ではどっちもどっちだったのですが、chunkByIdの方が速くて良いという記事が多いです．因みに自分は何万件もあるテーブルを呼び出してデータをダウンロードさせるのにchunkを使用しました．

こうしないとメモリ不足でプロセスが落ちてしまうので、何万件も処理を行う場合はchunkを使用は必須みたいですね．使用してみたら確かに良いなって思いましたが、chunkとchunkByIdどちらも同じ時間でダウンロードが完了したので、万単位ではあまり差が広がらない感じでしたね．

Laravelのchunkを使用するのに参考にしたサイトはこちらになります．参考にしただけでそのまま使用はしていません．因みに例ソースコードを書こうと思いましたが自分の解説より下記のサイトが役に立つので今回は割愛します😌．

【PHP】【Laravel】ストリームによるメモリとCPUを節約したダウンロード

以上技術共有でした．

明日へ続く．

著者名  @taoka_toshiaki

※この記事は著者が40代前半に書いたものです．

Profile
高知県在住の@taoka_toshiakiです、記事を読んで頂きありがとうございます.
数十年前から息を吸うように日々記事を書いてます．たまに休んだりする日もありますがほぼ毎日投稿を心掛けています😅．
SNSも使っています、フォロー、いいね、シェア宜しくお願い致します🙇.
SNS::@taoka_toshiaki

OFUSEで応援を送る

投稿日時 2024年06月08 06:00日

タグ

chunk, chunkById, chunkByIdどちらも同じ時間, chunkByIdどっち, Laravel, ダウンロード, テーブル, プロセス, メモリ不足, 例ソースコード, 処理, 参考, 差, 役, 必須, 技術共有, 肌感覚, 解説, 論争,

３０万件のデータを扱っている方の話を聞いて一瞬😱となる。 #laravel #Queue #worker #jobs

2022.12.01

Logging

おはよう12月!!。皆さんおはようございます。今日から寒くなるそうですね。

先日、面談の中で３０万件のデータを扱っている方の話を聞いて一瞬尻込みしましたが、自分でもその処理を捌くことが出来そうだなと思ったので、ダミーデータを作って今月中に捌いてみようと思います。なお、ローカルサーバーを使用して捌くのでレンタルサーバーやクラウドサーバーでメモリリークなんかで落ちたりしたらごめんなさい🙇。

因みに３０万件のデーターをどう捌いているかといえば、非同期処理(Queue)で捌いているとの事。フレームワークはLaravelを使用し、非同期処理はララベルの機能であるキューを使用してバックエンドで処理を立ち上げているとの事。要は個々プロセス複数立ち上げて並列処理で動かすという事です、プロセスを立ち上げ過ぎたら、メモリ食いすぎてサーバー事態が落ちる可能性があるので別サーバーで動かすのが理想ぽっい、その場合はコネクションの設定してあげないといけない事やプロセスをどれぐらい立ち上がると良いのかなどの設定が必要みたいですね。

php artisan queue:table
php artisan migrate

ともあれ自分でダミーデータを用意して試してみないと感覚が掴めないし、実際上手くいくかなどが分からないので試してみます😳。

明日、１万件のダミーデーターを複製（コピペ）して30万件のエクセルファイル作る方法を記載します。

著者名  @taoka_toshiaki

※この記事は著者が40代前半に書いたものです．

Profile
高知県在住の@taoka_toshiakiです、記事を読んで頂きありがとうございます.
数十年前から息を吸うように日々記事を書いてます．たまに休んだりする日もありますがほぼ毎日投稿を心掛けています😅．
SNSも使っています、フォロー、いいね、シェア宜しくお願い致します🙇.
SNS::@taoka_toshiaki

OFUSEで応援を送る

投稿日時 2022年12月01 06:00日

タグ

12, 30, jobs, Laravel, Queue, worker, エンド, キュー, クラウド, こと, サーバー, ダミー, データ, データー, バック, フレームワーク, プロセス, メモリ, ララベル, リーク, レンタル, ローカル, 一瞬, 万, 並列, 中, 事, 事態, 今日, 今月, 使用, 個々, 先日, 処理, 動, 可能性, 同期, 方, 機能, 皆さん, 自分, 複数, 要, 話, 面談,

さくらレンタルサーバーライト月額費用128円🤔

2022.08.26

Logging

おはようございます。昨日、さくらレンタルサーバーライトと契約しましたのでその経緯を記載したいと思います。

さくらレンタルサーバーライトと契約😶（一括払いの一年契約をしました）。一括払いなので135円128円（※135円記載ミスです。)ではなくてもう少し安くなっています。このさくらレンタルサーバーライトで作られたサイトでは主に機能制限がある中でどれぐらいの事が出来るのだろうかという腕試しみたいなものでレンタルしました。

因みにまだ何をしようかと考えている最中で、アイディアが浮かぶまで浮上待ちの状態です。ですので一年間放置とかあり得る話なので、気長に待っててください。

尚、このネタだけでは文字数があまり稼げないので昨日ツイートしたnohupことを記載します、この事については2019年に簡略的に紹介はしてあります。説明するとターミナル画面（Tera Term等）を閉じてもプロセスがキルされなくて動作するというリナックスのコマンドです。使い方はこんな感じです。

nohup 任意のコマンド > /dev/null &

このコマンドを使用する人は恐らく直ぐには終わらない処理を実行したい方や常時プロセスを立ち上げようと考えている方だと思います。常時プロセスを立ち上げたい場合は何らかの原因でプロセスが落ちた時の為にプロセス監視処理も記載しないといけないので注意が必要です。

著者名  @taoka_toshiaki

※この記事は著者が40代前半に書いたものです．

Profile
高知県在住の@taoka_toshiakiです、記事を読んで頂きありがとうございます.
数十年前から息を吸うように日々記事を書いてます．たまに休んだりする日もありますがほぼ毎日投稿を心掛けています😅．
SNSも使っています、フォロー、いいね、シェア宜しくお願い致します🙇.
SNS::@taoka_toshiaki

OFUSEで応援を送る

投稿日時 2022年08月26 06:31日

タグ

dev, gt, nohup, nohupこと, null, Tera Term, アイディア, コマンド, さくらレンタルサーバーライト, ターミナル画面, プロセス, プロセス監視処理, リナックス, 一括, 一括払い, 常時プロセス, 最中, 浮上, 経緯, 腕試し,

外部VPSサーバーからさくらレンタルサーバーのDBに接続する方法。

2020.12.04

Logging

外部VPSサーバーからさくらレンタルサーバーのDB（データベース）に接続する方法は下記のコードだけでは上手く動かない。だけど、tmpファイルを生成時にパーティションにu+xの権限を与えればこのコードは要件をみたします。因みにプロセスが残ったままになるので接続が終わったら、プロセスを削除してあげてください。なのでどのプロセスを削除する機能として追加しないと使えないかな？、時間があれば完成したコードをアップします。

なお、変数の初期値はご自身で入れてください。あとポート開放やexpectが入っていない場合はyumなどでインストールする必要もあります。

<!DOCTYPE html>
<html lang="en">

<head>
	<meta charset="UTF-8">
	<meta name="viewport" content="width=device-width, initial-scale=1.0">
	<meta http-equiv="X-UA-Compatible" content="ie=edge">
	<meta name="Description" content="Enter your description here" />
	<link rel="stylesheet" href="https://cdnjs.cloudflare.com/ajax/libs/twitter-bootstrap/4.5.2/css/bootstrap.min.css">
	<link rel="stylesheet" href="https://cdnjs.cloudflare.com/ajax/libs/font-awesome/5.15.0/css/all.min.css">
	<link rel="stylesheet" href="assets/css/style.css">
	<title>ssh sqli</title>
</head>

<body>
	<?php
	print ssh_sqli_connect();
	?>
	<script src="https://cdnjs.cloudflare.com/ajax/libs/jquery/3.5.1/jquery.min.js"></script>
	<script src="https://cdnjs.cloudflare.com/ajax/libs/popper.js/1.16.1/umd/popper.min.js"></script>
	<script src="https://cdnjs.cloudflare.com/ajax/libs/twitter-bootstrap/4.5.2/js/bootstrap.min.js"></script>
</body>

</html>
<?php
function ssh_sqli_connect()
{
	global $dblink,$dbname,$sshuser, $sshhost, $sshpassword,$host,$sshport;
	$ret = null;
	$cmd = "#!/usr/bin/expect -f
set timeout 3
expect -c \"spawn ssh -f -N -L $sshport:$host:3306 $sshuser@$sshhost -oStrictHostKeyChecking=no
expect \\\"$sshuser@$sshhost's password:\\\"
send \\\"$sshpassword\\n\\\"
\"
";

	$tmpfname = tempnam(sys_get_temp_dir(), 'ssh');

	$handle = fopen($tmpfname, "w");
	fwrite($handle, $cmd);
   	shell_exec("sh $tmpfname");
	sleep(3);
	$dblink = db_connect();
	try{
		for($id = 1 ;$id<=99;$id++){
			$ret = $dblink->query("SELECT * FROM $dbname.X.xtbl where $dbname.X.xtbl.id=$id;");
			if ($cnt = (int) mysqli_num_rows($ret)) {
			  $row = mysqli_fetch_assoc($ret);
			  print ($row["id"].", ".$row["name"]);
			}
		}
	}catch(PDOException $e){
		echo "失敗: " . $e->getMessage() . "\n";
	}

	fclose($handle);
	unlink($tmpfname);

	db_close();
	return "未完成";
}

function db_connect()
{
	global $dblink, $host, $user, $password, $dbname,$sshport;
	try {
		$dblink = new  mysqli("127.0.0.1", "$user", $password, $dbname ,$sshport);
		//$dblink->set_charset("utf8");
		return $dblink;
	} catch (PDOException $e) {
		echo "接続失敗: " . $e->getMessage() . "\n";
	}
}

function db_close()
{
	global $dblink;
	$dblink->close();
}

著者名  @taoka_toshiaki

※この記事は著者が40代前半に書いたものです．

Profile
高知県在住の@taoka_toshiakiです、記事を読んで頂きありがとうございます.
数十年前から息を吸うように日々記事を書いてます．たまに休んだりする日もありますがほぼ毎日投稿を心掛けています😅．
SNSも使っています、フォロー、いいね、シェア宜しくお願い致します🙇.
SNS::@taoka_toshiaki

OFUSEで応援を送る

投稿日時 2020年12月04 06:35日

タグ

8, charset, db, DOCTYPE, en, expect, gt, head, html, lang, lt, meta, name, quot, tmp, UTF-, vie, VPS, yum, アップ, インストール, コード, ご自身, サーバー, さくら, データベース, パーティション, ファイル, プロセス, ポート, まま, レンタル, 下記, 初期, 削除, 場合, 変数, 外部, 完成, 必要, 接続, 方法, 時間, 権限, 機能, 生成, 要件, 追加, 開放,

僕らはSNSでものを買うを読み終えたのでレビューWEB担当者用。#ウェブ担

2020.01.16

Logging

『僕らはSNSでものを買う』を読み終えたのでレビューします。
この結構まとえたWEB集客のノウハウを書いた本だなと思っています。
良かった点は何と言ってもSNSを使ったSNS集客の原理法則が書かれていた事です。しかし例題のような物は書かれていなく、どちらかと言えばそこは適材適所なので自分たちで考えましょうというニュアンスが強いですね。

それもそのはず、SNSのアカウントって殆どひとが開設して個人が情報発信やシェアのために使う物なのです、なのでまずはニーズが合致したユーザーを集客することから始めないと意味がないわけです。そのため本には具体的な方法は書かれていません。そこはWEB担当者が考えないといけないところです。

UGC（ユーザー投稿コンテンツ）やULSSAS（ SNS時代の行動購買プロセスのことです ）についての解説はわかりやすく書かれていますので良いかなと感じました。ちなみにサイト離れ進んでおり2020年は5G（ファイブジィー）の流れもあることからSNSからの集客は必須かと思います。

なぜサイト離れが進んでいるかと言えば、Gさんなどからの検索よりも口コミやSNS口コミ、評判、シェア等によるサイトへの訪問が増えてきているそうです。ついついIT関係者はパソコンで作業することが多いのでその延長で自宅でもパソコンを使用している人が多いかもと考えがちですが・・・。時代は流れ殆どの人はパソコンではなくスマホやタブレットなどからのサイトを訪れる人が増えているため、TwitterやInstagramなどのアプリから検索を使用してという形が主流になっているそうですよ。

そういう観点からも 『僕らはSNSでものを買う』 はWEB担当者は読んでおいて損はない本だと思います。

著者名  @taoka_toshiaki

※この記事は著者が40代前半に書いたものです．

Profile
高知県在住の@taoka_toshiakiです、記事を読んで頂きありがとうございます.
数十年前から息を吸うように日々記事を書いてます．たまに休んだりする日もありますがほぼ毎日投稿を心掛けています😅．
SNSも使っています、フォロー、いいね、シェア宜しくお願い致します🙇.
SNS::@taoka_toshiaki

OFUSEで応援を送る

投稿日時 2020年01月16 10:00日

タグ

SNS, UGC, ULSSAS, web, アカウント, ウェブ, こと, コンテンツ, サイト, シェア, そこ, それ, ため, ところ, どちらか, ニーズ, ニュアンス, ノウハウ, パス, ひと, プロセス, もの, ユーザー, レビュー, 事, 例題, 個人, 僕ら, 原理, 合致, 情報, 意味, 投稿, 担, 担当者, 方法, 時代, 本だな, 殆ど, 法則, 点, 物, 発信, 結構, 自分, 行動, 解説, 購買, 適材適所, 開設, 集客, 離れ,

Linuxでプロセス残すなら！

2019.11.08

Logging

Linuxでプロセス残すなら【nohup コマンド &】を使おう。
以前、仮想ウィンドウを開いて行う方法を記載しましたが
こちらのほうが断然らくです。

ちなみにこれを使用すると、 nohup.out というファイルが作成されます。
node.jsやPythonとかで使用する機会が多いかもしれません。

例えばこんな感じで

nohup Python index.py &

過去記事：プロセス残してSSHログアウトする方法。

著者名  @taoka_toshiaki

※この記事は著者が30代前半に書いたものです．

Profile
高知県在住の@taoka_toshiakiです、記事を読んで頂きありがとうございます.
数十年前から息を吸うように日々記事を書いてます．たまに休んだりする日もありますがほぼ毎日投稿を心掛けています😅．
SNSも使っています、フォロー、いいね、シェア宜しくお願い致します🙇.
SNS::@taoka_toshiaki

OFUSEで応援を送る

投稿日時 2019年11月08 06:27日

タグ

amp, index, JS, Linux, node, nohup, out, py, Python, SSH, ウィンドウ, こちら, コマンド, これ, ファイル, プロセス, ログアウト, 以前, 仮想, 作成, 使用, 感じ, 方法, 機会, 記事, 記載, 過去,

プロセス残してSSHログアウトする方法。

2018.11.11

Logging

screenっていうコマンドを使用するとプロセス残してSSHログアウトする事ができます。ちなみにscreenというコマンドは仮想ウィンドが立ち上げる機能です。
まずscreenをインストールし、実行したいコマンドを実行します。
実行すると仮想ウィンドが立ち上がります。
立ち上がっている画面の確認はlsで確認することが可能。
その画面を読み込むときは-r を使用します。
lsで表示されているプロセスID（PID）を記入してコマンドを実行することで再接続することが可能となります。
追記：こんな方法もあります。
Linuxでプロセス残すなら！

yum -y install screen
screen php test.php
screen -ls
screen -r PID

著者名  @taoka_toshiaki

※この記事は著者が30代前半に書いたものです．

Profile
高知県在住の@taoka_toshiakiです、記事を読んで頂きありがとうございます.
数十年前から息を吸うように日々記事を書いてます．たまに休んだりする日もありますがほぼ毎日投稿を心掛けています😅．
SNSも使っています、フォロー、いいね、シェア宜しくお願い致します🙇.
SNS::@taoka_toshiaki

OFUSEで応援を送る

投稿日時 2018年11月11 05:53日

タグ

-r, -y, ID, install, Linux, ls, php, PID, screen, SSH, test, yum, インストール, ウィンド, こと, コマンド, とき, プロセス, ログアウト, 事, 仮想, 使用, 可能, 実行, 接続, 方法, 機能, 画面, 確認, 表示, 記入, 追記,

さくらVPSでカスタムインストールでWEB(httpd)が表示されない時の対応。

2015.11.03

Logging


さくらVPSでカスタムインストールでWEB(httpd)が表示されない時の対応。
iptablesもポート８０番を開けているのに・・・何故かWEB(httpd)が表示されない
プロセスも起動しているしhttpdのプロセスも動作している。
なのに・・・表示されない。
cnetOS7を自分がインストールした時に起きた事象です。
これを解決する方法は、一度、ファイアーウォールのHTTPポートストップさせましょう。
そうするとおそらくiptablesの設定がうまく行っていたら
表示されます。
ちなみに下記のコマンドでファイアーウォールのポートは解除できます。

firewall-cmd --zone=public --add-service=http --permanent
firewall-cmd --reload

自分はこれが分からなくて一時間ばかし悩んでいました。
https://knowledge.sakura.ad.jp/10534/

著者名  @taoka_toshiaki

※この記事は著者が30代前半に書いたものです．

Profile
高知県在住の@taoka_toshiakiです、記事を読んで頂きありがとうございます.
数十年前から息を吸うように日々記事を書いてます．たまに休んだりする日もありますがほぼ毎日投稿を心掛けています😅．
SNSも使っています、フォロー、いいね、シェア宜しくお願い致します🙇.
SNS::@taoka_toshiaki

OFUSEで応援を送る

投稿日時 2015年11月03 08:15日

タグ

--add-service, --permanent, --reload, --zone, 7, 80, cnetOS, firewall-cmd, http, httpd, iptables, public, VPS, web, インストール, カスタム, コマンド, これ, さくら, ストップ, ファイアーウォール, プロセス, ポート, 一, 一度, 下記, 事象, 動作, 対応, 方法, 時, 自分, 表示, 解決, 解除, 設定, 起動,

Facebookが消えてもTwitterは生き残りそうな予感とcurlの事をメモ書き(´∀｀)。

2015.01.19

Logging


 
Facebookが消えてもTwitterは生き残りそう気がします。自分はFacebookの活動をしていません（アカウントはあります）。この頃、Facebookの活動をしてみようかなとか若干、考えてます。友達申請とかして友達増やしていくと、それに時間を費やする時間が発生するのでそこがネックだったりもします。「いいね」ボタンはある意味良くて困りもの。そういう面ではLINEはいいとこ取りなSNSですね。流行したわけが何となくわかります。Twitterが生き残りそうな理由ですけど匿名性が高い気楽に使える情報発信ツールだからです。
昨日、curlっていうリナックスのコマンドをさくらレンタルサーバーのスタンダードで使用できるかなってTera Term（DLこちら）を使用してさくらレンタルサーバーにログインして打ってみました。curl https://zip358.com って感じに打つと結果が返ってきました（こんな感じの結果）。スタンダード版で打てるとは思わなかったのでびっくりしました。トイウコトデ、POSTも出来ます、こんな感じにcurl -d “memo=memomemo!!” https://zip358.com と打つとsubmit（提出：送信）されます。なんで、実はwgetとかも使用できるのではと思ったわけです、打ってみると使用できます。viも使用できたりします・・・。よくよく考えるとさくらの技術サポートさんが使うためにある程度インストールしてるみたい。ちなみにps ax | more でプロセス見たりプロセスをkillコマンドで消す事もできます。
 
この頃、技術系ネタが多かったので明日は少しソフトなネタを書こうと思います(´Д｀)。
 

著者名  @taoka_toshiaki

※この記事は著者が30代前半に書いたものです．

Profile
高知県在住の@taoka_toshiakiです、記事を読んで頂きありがとうございます.
数十年前から息を吸うように日々記事を書いてます．たまに休んだりする日もありますがほぼ毎日投稿を心掛けています😅．
SNSも使っています、フォロー、いいね、シェア宜しくお願い致します🙇.
SNS::@taoka_toshiaki

OFUSEで応援を送る

投稿日時 2015年01月19 06:05日

タグ

curl, Facebook, killコマンド, memomemo, ps ax, submit, Twitter, wget, アカウント, さくらレンタルサーバー, スタンダード版, トイウコトデ, プロセス, めちゃくちゃ, メモ書き, リナックス, 体, 匿名性, 情報発信ツール, 技術サポート, 活動,