記録

30万件のデータを扱っている方の話を聞いて一瞬😱となる。 #laravel #Queue #worker #jobs

おはよう12月!!。皆さんおはようございます。今日から寒くなるそうですね。

先日、面談の中で30万件のデータを扱っている方の話を聞いて一瞬尻込みしましたが、自分でもその処理を捌くことが出来そうだなと思ったので、ダミーデータを作って今月中に捌いてみようと思います。なお、ローカルサーバーを使用して捌くのでレンタルサーバーやクラウドサーバーでメモリリークなんかで落ちたりしたらごめんなさい🙇。

因みに30万件のデーターをどう捌いているかといえば、非同期処理(Queue)で捌いているとの事。フレームワークはLaravelを使用し、非同期処理はララベルの機能であるキューを使用してバックエンドで処理を立ち上げているとの事。要は個々プロセス複数立ち上げて並列処理で動かすという事です、プロセスを立ち上げ過ぎたら、メモリ食いすぎてサーバー事態が落ちる可能性があるので別サーバーで動かすのが理想ぽっい、その場合はコネクションの設定してあげないといけない事やプロセスをどれぐらい立ち上がると良いのかなどの設定が必要みたいですね。

php artisan queue:table
php artisan migrate

ともあれ自分でダミーデータを用意して試してみないと感覚が掴めないし、実際上手くいくかなどが分からないので試してみます😳。

明日、1万件のダミーデーターを複製(コピペ)して30万件のエクセルファイル作る方法を記載します。



【DMM FX】口座開設のお申込みはこちら


OFUSEで応援を送る

clear light bulb planter on gray rockCSSファイルの設定を読み込んで一括背景色変更するコード。 #cssfile #javascript #coding #colors前のページ

Excelでは読み込むことができないような大容量のデータもPowerQueryでは処理できます😤。 #PowerQueryExcel #30万件次のページthree multicolored jellyfishes

関連記事

  1. 記録

    天気予報を取得するアレを使用してみた(Openweathermap_api)。

    ご自由にお使いください。尚、openweathermap.or…

  2. 記録

    お金とは

    https://www.youtube.com/watch?v=c…

  3. 記録

    安倍政権もういい。

    安倍政権もういい。正直飽きた。誰から支持率得ているの…

  4. 記録

    BrainとはBで雨なのだろう。

    英語で脳はBrain。じゃなぜBでrainなのだろう。これは…

  5. 記録

    覚悟の磨き方 超訳 吉田松陰を少しほど読んでみて(´Д`)感想などを。

    覚悟の磨き方という本を本屋(TSUTAYA)で見かけて衝動買い{こ…

  6. 記録

    Let’s Encrypt の無償のSSLメモ!!

    Let’s Encrypt の無償のSSLメモ!!自分用SSL認証…

2022年12月
 1234
567891011
12131415161718
19202122232425
262728293031  

カテゴリー

アーカイブ

PAGE TOP