３０万件のデータを扱っている方の話を聞いて一瞬😱となる。 #laravel #Queue #worker #jobs

2022.12.01

Logging

おはよう12月!!。皆さんおはようございます。今日から寒くなるそうですね。

先日、面談の中で３０万件のデータを扱っている方の話を聞いて一瞬尻込みしましたが、自分でもその処理を捌くことが出来そうだなと思ったので、ダミーデータを作って今月中に捌いてみようと思います。なお、ローカルサーバーを使用して捌くのでレンタルサーバーやクラウドサーバーでメモリリークなんかで落ちたりしたらごめんなさい🙇。

因みに３０万件のデーターをどう捌いているかといえば、非同期処理(Queue)で捌いているとの事。フレームワークはLaravelを使用し、非同期処理はララベルの機能であるキューを使用してバックエンドで処理を立ち上げているとの事。要は個々プロセス複数立ち上げて並列処理で動かすという事です、プロセスを立ち上げ過ぎたら、メモリ食いすぎてサーバー事態が落ちる可能性があるので別サーバーで動かすのが理想ぽっい、その場合はコネクションの設定してあげないといけない事やプロセスをどれぐらい立ち上がると良いのかなどの設定が必要みたいですね。

php artisan queue:table
php artisan migrate

ともあれ自分でダミーデータを用意して試してみないと感覚が掴めないし、実際上手くいくかなどが分からないので試してみます😳。

明日、１万件のダミーデーターを複製（コピペ）して30万件のエクセルファイル作る方法を記載します。

タグ

12, 30, jobs, Laravel, Queue, worker, エンド, キュー, クラウド, こと, サーバー, ダミー, データ, データー, バック, フレームワーク, プロセス, メモリ, ララベル, リーク, レンタル, ローカル, 一瞬, 万, 並列, 中, 事, 事態, 今日, 今月, 使用, 個々, 先日, 処理, 動, 可能性, 同期, 方, 機能, 皆さん, 自分, 複数, 要, 話, 面談,

disられてる？勘違いでもない気がするかも?。

2020.08.11

Logging

なんかdisられてる気がする。勘違いでもない気がするかも?、疲れているのかなぁ？ディスリスペクトしているひとはイケハヤさんなのだけど、どうもイケハヤ大学とセカンドチャンネルでディスられてる気がする。ここ最近のここのブログネタとイケハヤさんの動画投稿を見比べてみてください、なんか軽くディスられているような気がします、勘違いかもしれないけれども・・・。

どうもイケハヤさんこの頃ネタがないじゃないのか・・・と。イケハヤさんの動画をブログに貼り付けたことが原因だろうけど、残念だけど別にテーマ決まっていなくても良いですよ。

確かにテーマ決めると読まれやすいので、自分も過去に同じようなアドバイスした事があります。だがしかし、絵日記系はテーマいらいないのですね、デザイン系やプログラム系のごった煮でも需要がアレばアクセスは付きます。

要は需要に答えれているかということです。そしてもし本当にディスられても自分はどうでも良いです。自分もたまにネタにしているわけだから。

『ふぅ?。』

タグ

dis, アクセス, アドバイス, アレ, イケハヤ, ここ, ごった煮, こと, セカンド, チャンネル, テーマ, ディス, デザイン, ネタ, ひと, ブログ, プログラム, リスペクト, 事, 動画, 勘違い, 原因, 大学, 投稿, 最近, 本当, 残念, 気, 絵日記, 自分, 良, 要, 過去, 需要, 頃,

日本語で機械学習のことを解説しているチャネル。

2019.12.14

Logging

探していたらあったよSONY！！。
昨日、「YOUTUBEで日本語で人工知能の解説している動画あまりないよね。」
と記載していたのだけど・・・。

解説している動画がありました。
SONYがオープンで解説している、、やっぱりこういう事を
公開しているということは人手が足りないですね。

人工知能（機械学習）を理解してゴニョゴニョして
遊びができないひとが結構多いだなとちなみに品質の良いモデル作りが
機械学習では要になるそうです。

勉強したい方は下記のリンクからどうぞ
https://www.youtube.com/channel/UCRTV5p4JsXV3YTdYpTJECRA

タグ

３, 4, 5, channel-, com, JsXV, SONY, UCRTV, youtube, YTdYpTJECRA, こと, ゴニョゴニョ, チャネル, ひと, モデル, リンク, 下記, 事, 人工, 人手, 公開, 勉強, 動画, 品質, 学習, 方, 日本語, 昨日, 機械, 理解, 知能, 要, 解説, 記載,

間違いを。

2017.09.12

Logging

間違い。
 
 

タグ

ミス, 上司, 体制, 原因, 問題, 役割, 後手後手, 成長, 最中, 本人, 社員, 納期, 自分自身, 要, 言葉, 責任, 責任者, 限り,

非公式土佐電つぶやきBOTが完成したが速攻ロックされた件。

2017.07.31

Logging

非公式土佐電つぶやきBOTが完成したが速攻ロックされた件だけど
正直な所、少し予想はしていました。
世の中、よく思わない人々がいることは確かなことです。
今回の非公式土佐電つぶやきBOTの制作経緯ですけど・・・
作ろうと構想をねってから５年ほど月日が流れていたモノなんですね。
何故、ここまで時間がかかったかというと土佐電交通の時刻表が簡単に
プログラムで抽出することが不可能なんです。
なので・・・。
当初は人力でデータを入れ込もうと考えていました。
これが一番、長引く原因になったわけです、データを登録しようと
何度も頑張ってみたのですが、情報量が多いので途中で挫折すること何度か。
結局これでは埒が明かないので、
他の方法を考えた結果、WEBストライピングするという事です。
要はサイトのデータ抽出することで解決したのですが、
公式ページはあんな感じなので、よくある電車検索サイトから
データ抽出してきました。
路面電車の時刻表を検索できるサイトを
探すのに手間がかかりましたが、抽出事態は、一日ぐらいで
コーディングする事で何とかなりました。
ちなみにある大手の検索できるサイトからデータを抽出しています。
今回、作って思ったことは
公式ページがPDFじゃなく電車の時刻表が検索でき時刻表が表示されるサイトを作ったら
良いのにと思いました。バスアプリは作っているのに・・・。
https://twitter.com/tosaden_net

｛非公式｝土佐電時刻表検索を始めました。
https://tosaden.net/

タグ

5, BOT, web, ここ, こと, これ, サイト, ストライピング, データ, プログラム, ページ, もの, ロック, わけ, 不可能, 世, 中, 予想, 事, 交通, 人々, 人力, 今回, 他, 件, 何度, 何度か, 何故, 公式, 制作, 原因, 土佐, 埒, 完成, 少し, 当初, 情報, 感じ, 所, 抽出, 挫折, 方法, 時刻表, 時間, 月日, 検索, 構想, 正直, 登録, 簡単, 経緯, 結果, 要, 解決, 途中, 速攻, 電, 電車,