CSVのデータ数万行とかをVBAでデータを加工するよりも
CSVのデータ数万行とかをVBAでデータを加工するよりもPowerShellから加工するべし、、。
まず、いま勤めてる会社、WEB会社なんですが
WEBシステムに使うデータの加工をする機会が結構あったりします。
時には数万行とかのデータを取り込んで
加工することがあるですね。
今まで数万行のデータは分割して
処理をしていたのですが、PowerShellで取り込んで処理する
方法があるみたいなので、これからはソチラで
加工しようかなとか思っています。
ちなみにExcelやPHPだとMバイトのデータを
扱うと処理が落ちる場合が結構あります。
とくにPHPだとファイルをアップロードする場合や
扱えるメモリの設定により処理落ちする事は
多々あります。
なので、PHP側でどうしても
処理を行いたい場合は事前にファイルを分割するか、
処理する時点でshellなどを使いコマンドラインで
ファイルを分割するかなどの方法を
取らないといけないのです。
ファイルをアップロードする時点で
処理を行うか前もって処理を行なったデータを
SQLで読み込むかなど、いろいろな方法があります。
- 投稿者: @toshiaki_taoka
- Logging
- CSV, Excel, Mバイト, php, powershell, SQL, VBA, WEBシステム, コマンドライン, ソチラ, データ, データ数万行, ファイル, メモリ, 事前, 処理, 処理落ちする事, 加工, 方法, 時点
関連記事
-
Logging
おそらく来年、村上隆の五百羅漢図展を見に行きます。もしかしたら今年…
-
Logging
アナログをデジタル化しただけで成功していた時代だった。そんな時代が…
-
Logging
数値を日本語桁数の読み方に変換するWEBサービスを作りました。…
-
Logging
映画、「怒り」を観てきました。唯唯、良かったです、こんなにも言い表す…
-
Logging
SuKiMaはまだまだあると彼の動画がみていると思います。車輪の再発…
-
Logging
海賊版でもWindows10へ無償アップデートだそうです。この背景に…
アーカイブ
