ヘッドレスChrome=ヘッドレスブラウザ

2018.08.04

Logging


ヘッドレスブラウザとはGUIのないブラウザことを指す。
コマンドで操作できるブラウザのことを言います。
そのヘッドレスブラウザにChromeブラウザがお仲間に入っていることを
最近知りましたが!!、Centos系は使えないということ、
何だか、Ubuntu系がこの頃人気なんですよね。
ラズパイもそうだけどUbuntu系のコマンドも
そろそろ覚えていてもよいのかもしれないと思っていますが
まだまだ、レンタルサーバとかはCentos系で動いている方が
多いとは思いますが、今後は徐々にUbuntu系へシフトされるのかもしれません。
WindowsがUbuntuを採用したところから
徐々に雲行きが怪しい気がします。
会社のサーバ運用を担当しているのですが
いろいろとリセットしたい、むしろ全て削除して
入れ替えたい気がする今日このごろ。
で、headless Chromeですけど
こちらにヘッドレスブラウザ(Chrome)でスクレイピングする手法を
書いています。
ちなみにCentOS系とか言ってますが・・・レッドハット系が正しい言い方です!?
知ってって面倒くさいので・・そんな感じで書いてます。
https://qiita.com/devneko/items/9ac978965717d5513aa5
 

タグ

B07D54GVHD, Centos系, chromeブラウザ, headless Chrome, Ubuntu, Ubuntuサーバー徹底入門, Ubuntu系, コマンド, サーバ運用, スクレイピング, スクレイピングする手法, ヘッドレスChrome, ヘッドレスブラウザ, ラズパイ, レンタルサーバ, 今日このごろ, 正しい言い方, 雲行き,

laravel5の古いバージョンをインストールする。{laravel5.2}

2018.03.24

Logging


laravel5の古いバージョンをインストールする。{laravel5.2}
Composerが入っていることを前提に記事を書いていきます。
まず、インストールしたい環境を指定(プロジェクト名=ディレクトリが作成されます)します。
コマンドラインからこんなコマンドを打ちます。

composer create-project laravel/laravel laravel-test 5.2.* --prefer-dist

そうするとlaravel-testというフォルダが作成されます。
そしてその中にある、/config/app.phpの42行目を任意のURL変更します。
その後、下記のフォルダのパーミッションを777に変更して下さい。
storageのフォルダの配下
bootstrap/cacheフォルダ
こちらを変更することにより
任意のURL/public/というアドレスを入力することにより
デモページが表示されます。
フォルダとか言っていますけど、ディレクトリとか言うのが
普通みたいです(。-ω-)zzz. . . (。゚ω゚) ハッ!そうだった。
こんな感じでララベルの5.2をインストールすることが出来ました。
ちなみに5.2にするとPHP5.6ぐらいからPHP7.1ぐらいまで動作するという
事なので便利かなと思います。トイウカ、laravel、最先端を走りすぎているのか
日本のサーバ環境が古いのか分からないですが・・・
日本ではPHP5.6環境でざらで動いているのが結構あります。
なので5.2のバージョンで開発するのがベストかなと思います。
ちなみに自分の勤めている会社でもそろそろ導入するのかなと思っています。
そろそろと去年あたりから言ってますけど、、、、
仕事が立て込んでいて中々、移行するのが難しいですね、、、、。
一段落したかと思うと別の案件が・・・悩ましい。
合間合間で作るのは何だか気が引けるので未だに未着手なんです。
自分が担当している部分を変更するのはそれ程、時間はかからないとは思います。
ただ、未だにチーム開発ではないのが・・・難儀。
 

タグ

--prefer-dist, AM, app.php, Bootstrap, cacheフォルダ, composer create-project laravel, laravel laravel-test 5.2, laravel5.2, Laravel入門, PHP5.6, PHP5.6環境, PHP7.1, コマンド, ディレクトリ, トイウカ, パーミッション, フォルダ, ララベル, 古いバージョン, 未着手,

laravelをインストールするまで。

2017.10.20

Logging


laraveをインストールするまで、普通の環境ならそれ程、時間もかからないでしょう。下記のURLを参照すればちょこっとした時間でインストール出来るのですが php-cgi環境がしっかりと理解できない場合、うまくインストールされない事があります。
https://laravel.com/
例えばphp-cgiの環境は一通り整っているのに、php -v とバージョンを確認すると以前のバージョンが表示される場合、モジュール版のphpを削除したのにもかかわらず以前のバージョンが実は残っているのです。
その為、サーバ上はうまくそれぞれのPHPのバージョンが動いているのに、コンポーザーでコマンドラインからlaravelをインストールを行うと以前のバージョンが悪さをしてうまくインストールされない場合があります。
対処法として、コマンドラインで動いているPHPを探し出し削除を行い、シンボリックリンクか何かで、ソースからインストールしたPHPにリンクを張ってあげましょう。
そうすることにより、うまくインストールされます。
それでもインストールが出来ない場合は、GitHubより最新版のlaravelをダウンロードすることにより動作することが可能ですが、試してはないです。
https://github.com/laravel/laravel?(PHP7なら動きそう)
ちなみにインストールをコンポーザーから行うとPHPのバージョンを確認して、それに対応したバージョンを自動的に インストールすることが可能です。

何故・・・laravelをインストールすることになったかというと
会社でお試し使用することがキッカケです。その為、会社で環境構築を行い、じぶんでも同じように環境構築したという事です。
PHPフレームワーク、実は殆ど使用したことがなく、どんな機能があるのかなど 本当に未知数なですね・・・。でもコレをゴリゴリと使用することが可能になれば、かなり開発が早くなりそうな予感がします。

タグ

-v, com, https, larave, Laravel, php, php-cgi, url, インストール, コマンド, コンポーザー, サーバ, シンボリック, ソース, それぞれ, バージョン, モジュール, ライン, リンク, 下記, , 以前, 削除, 参照, 場合, 対処法, 時間, 普通, , 理解, 環境, 確認, 表示,

文字の置き換えはコマンドラインから

2017.09.19

Logging


文字の置き換えは「sed」というコマンドを使うことで
文字の置き換えは可能ですが、文字の置き換えを行なった後、
ファイルの保存もしくは上書き保存を行わないと意味が無いので
注意が必要になります。
例えばリナックス系のサーバで文字を置きたい場合、このような感じに
記述すると文字の置き換えが可能となります。

sed -i -e "s/utf8mb4/utf8/g" mysql.sql

結構、大きめサイズのテキスト形式のファイルも難なく
置き換えが可能です、ちなみにWindowsでも同じようにコマンドから
文字の置き換えすることは可能ですが少々面倒なので、リナックスでの
置き換えを自分は推奨します。
ちなみに文字コードがUTF8ではない場合は
文字コードをiconvでUTF8に置き換え後、文字列の置き換えを
すれば良いのでとても楽です。


ちなみにこちらの動画は悪い例↑
?

タグ

-i, 4, 8, e-, iconv, mb, MYSQL, quot, sed, SQL, UTF-, Windows, コード, こちら, こと, コマンド, サーバ, サイズ, テキスト, ファイル, ライン, リナックス, 上書き, , 保存, 動画, 可能, 場合, 大きめ, 形式, , 必要, 意味, 推奨, 文字, 文字列, 注意, 自分, 記述, 面倒,

指定時間になったら自動的に復帰(スリープ/休止状態)

2015.11.18

Logging

rtcwake -m mem -s 3600
rtcwake -m disk -s 3600
rtcwake -m mem -t $(date +%s -d "2015-11-18 06:30")

上記のコマンドで指定時間になったら自動的に復帰(スリープ/休止状態)する
事ができます。ちなみに3600とは3600秒(1時間後)という意味です。
menはスリープ状態を指し、diskはサスペンドを指します。
スリープ状態では電源ボタン等で指定時間内でも復帰が出来ますが
サスペンドモードでは電源ボタンを押してもパソコンは起動しないので
注意が必要です。
———————
自分はローカルサーバーを立ち上げているのですが
平日など自分が使わない時間帯などはスリープ状態にしています。
そうすることで、電気代の節約をしています。
ローカルサーバーと言っても使わない時間帯は余計な電力は
使いたくないですから(。>?<。)。
Ubuntuなどはこの方法ではうまく行かないと思います。
Ubuntuの事はあまり知らないので分からないのですが・・・・。
※リナックス(Linux)、CentOSの話です。

タグ

```, -m, -s, -t, 06, , 11, 18, 2015, 30, 3600, D-, date, disk, mem, men, quot, rtcwake, こと, コマンド, サーバー, サスペンド, スリープ, パソコン, ボタン, モード, ローカル, 上記, , 休止, 余計, , 平日, 復帰, 必要, 意味, 指定, 時間, 注意, 状態, 節約, 自分, 起動, 電力, 電気, 電源,

さくらVPSでカスタムインストールでWEB(httpd)が表示されない時の対応。

2015.11.03

Logging


さくらVPSでカスタムインストールでWEB(httpd)が表示されない時の対応。
iptablesもポート80番を開けているのに・・・何故かWEB(httpd)が表示されない
プロセスも起動しているしhttpdのプロセスも動作している。
なのに・・・表示されない。
cnetOS7を自分がインストールした時に起きた事象です。
これを解決する方法は、一度、ファイアーウォールのHTTPポートストップさせましょう。
そうするとおそらくiptablesの設定がうまく行っていたら
表示されます。
ちなみに下記のコマンドでファイアーウォールのポートは解除できます。

firewall-cmd --zone=public --add-service=http --permanent
firewall-cmd --reload

自分はこれが分からなくて一時間ばかし悩んでいました。
https://knowledge.sakura.ad.jp/10534/

タグ

--add-service, --permanent, --reload, --zone, 7, 80, cnetOS, firewall-cmd, http, httpd, iptables, public, VPS, web, インストール, カスタム, コマンド, これ, さくら, ストップ, ファイアーウォール, プロセス, ポート, , 一度, 下記, 事象, 動作, 対応, 方法, , 自分, 表示, 解決, 解除, 設定, 起動,

WinSCPというソフトが有るのだけど。

2015.07.16

Logging


WinSCPというソフトが有るのだけど自分はこのソフト、FTPのソフトだと思い込んでいたけど・・。SCPという名前の通りSCP(転送プロトコル)機能がついてたりする。面倒くさい事をさらっとやってくれるフリーソフトなわけです。そうとは知らず今までインストールすることが無かったんですけど、この度、インストールしました。ちなみに何が良いかというとFTPサービスをサーバ環境へインストールしなくてもファイルのアップロードが可能だということです。FTPがインストールされていない環境だととても重宝しそうな気がします。
ダウンロードはこちらから、WinSCP
メモがてらにもう一つ、大量のsqlデータを一括でインポートしなくてはならなくなり、昨日、調べていたらこのようなコマンドで解決することがわかりました。まず、Linuxサーバでかつポート22番が開いている事が前提です。windowsですとTera Termでサーバにログインし下記のコマンドを入力します。

mysql -u ユーザー名 -D データベース名 -p
//エンター後、Passwordの入力を行ってください。
次にMYSQLに切り替わったら、下記のコマンド入力してインポートを行います。この時の注意点ですがエラーなどが出る場合はエクスポートしたsqlファイルの最終行あたりに記入されているデータベース名やユーザー名が移行する側の名前になっているかが大事になります。なっていない場合、修正をかけ再処理を行うとインポートが行えるはずです。
尚、サーバ上に事前にsqlファイルをアップロードして置いてから処理を行ってください。
USE データベース名(インポートしたい)
SOURCE 階層を含むファイル名(/xxxx/xxxx.sql)

            

タグ

22, FTP, Linux, My, SCP, SQL, Tera, Term, Windows, WinSCP, アップロード, インストール, インポート, こちら, こと, コマンド, サーバ, サービス, ソフト, ダウンロード, データ, ファイル, フリー, プロトコル, ポート, メモ, もう一つ, ログイン, 一括, 下記, , , 入力, 前提, 可能, 名前, 大量, , 昨日, 機能, , 環境, 自分, 解決, 転送, 通り, 重宝,

最後のWindowsが夏頃、リリースされます。

2015.05.14

Logging


最後のWindowsが夏頃、リリースされますが、ちょっと様子見でWindows7のままで使用しようと思っています。恐らく無償版のアップグレードするとダウングレードすることが出来ないと思うので自分は様子見です。話、脱線して昨日の続きです。PHPを使用しPOSTしてデータを渡し受け取る方法ですが、SSLでなければ下記のコマンドをLinux上で打てば処理されます。なのでコマンドとPHPとの合わせ技で処理します。

curl http://hoge.com -d "name=hoge" -d "pass=pass_hoge"

上記の様に記載したshファイルを任意の場所に置き、Linuxで処理するか、PHPで実行させるかなど方法があります。今回はPHPで実行する方法を記載します。上記のファイルをhello.shというファイルに保存したと過程して、PHPファイルで実行させた場合の処理を記載します。下記のコードをPHPファイルに記載すれば実行可能です。

$put =nl2br(shell_exec('sh hello.sh'));
echo $put;

あとは戻ってきた値を処理して必要な情報だけを抽出するコードを書けばいろいろな事が可能です。ちなみに今回はPOSTとする方法でしたが、それ以外にも階層のファイルの一覧を抽出した場合などもshに記載して結果を返す方法などが可能です。
※shファイルのパーミッション設定には注意が必要です。
 

タグ

'sh hello.sh', $put, Linux, nl2br, PHPファイル, POST, shell_exec, shファイル, Windows7, アップグレード, コード, コマンド, パーミッション設定, 上記, 下記, 合わせ技, 夏頃, 方法, 無償版, 階層,

ドメインを使用(登録)する際に住所、名前がわからないようにするには?

2014.12.12

Logging

ドメインを登録する際に住所、名前がわからないようにするには、代行サービスをしようすると良いです。例えば、お名前.comの場合、ドメインを登録する場合、代行サービスでwhoisなどのコマンドでドメインから住所など調べようとしても調べれないようにする事が可能です。
一番やっかいなのは、人の住所なまえを勝手に使用すること、これが一番やっかいな輩です。軽犯罪なのですが、通報しない限りわからないという事が多いです。なので、ドメインを登録する際はお気をつけてください。
※あと、使用期限がきれて廃止になったドメインをしようする業者などがいます。自分も数年前、使用していたドメインが誰かわからない人に、使用されていて迷惑な状態になっています。なので使用しなくなったドメインもなるべく契約を継続することをオススメします。
※ちなみに自分は今、このサーバしか使用していません。

タグ

, whois, お名前, お気, コマンド, サーバ, ドメイン, 代行サービス, 住所なまえ, 使用期限, 契約, 廃止, 数年前, 業者, 状態, 登録, 軽犯罪, , 限り, ,