@Blog{zip358.com}

Pythonを分離しました.これはVPSサーバーとかしか出来ない事かも.

2025.02.16

Logging

おはようございます.有言実行と言うことでPythonを分離しました.これはVPSサーバーとかしか出来ない事なのかも知れないですね.コンテナとDockerfileをチラッとお見せします.こちらはローカルでの設定ですので本番環境とは違います.

services:
  testfastapi:
    image: python:3.9.21
    build:
      context: .
      dockerfile: Dockerfile
    container_name: testfastapi
    restart: always
    ports:
      - "8000:8000"
    volumes:
      - ./app:/app
    environment:
      - PYTHONUNBUFFERED=1
    command: ["python", "-m", "uvicorn", "app.main:app", "--host", "0.0.0.0", "--port", "8000"]

# Python 3.9.21 の公式イメージを使用
FROM python:3.9.21
# 環境変数の設定（バッファリングを無効化）
ENV PYTHONUNBUFFERED=1
# requirements.txt をコピーして依存関係をインストール
COPY /app/requirements.txt /app/
RUN pip install --no-cache-dir -r /app/requirements.txt

fastapi
uvicorn

from fastapi import FastAPI
app = FastAPI()

@app.get("/")
def read_root():
    return {"text": "Hello, FastAPI with Python3.9.21!"}

またfastAPIのバージョン上がっていくに連れてこの書き方では動か無くなる恐れがあるので、その時は公式サイトをご確認ください.

所感としてPythonとPHPを切り離すこと出来たのは良かったなと思います.内部的じゃない方法Equal外部的なAPIとして使用するにはNginx, Apache／（プロキシサーバ）と組み合わせて使用する必要があります.

明日へ続く

タグ

インストール, こんてな, サーバー, バージョン, バッファリング, プロキシサーバ, 使用, 依存関係, 公式イメージ, 公式サイト, 所感, 方法外部的, 書き方, 有言実行, 本番環境, 無効化, 環境変数, 設定,

VPSサーバーで学習済みのモデルを動かすことが出来るのか.

2025.02.14

Logging

おはようございます.VPSサーバーで学習済みのモデルを動かすことが出来るのかな…一度、こっそり試してみたけど動かなかった.2Gでは無理、最低4Gメモリは必要みたいです.この4Gというのは生成AIの回答なので本当なのかは分からないけど、小さなモデル？ならVPSサーバーでも動かすことは可能だと思います.

あと、それとは別にPythonのAPIフレームワークを使用して内部的に処理することを検討中です.今までも例えばPythonのライブラリMeCabとかを使用して形態素解析をさらっと処理してもらっていたのですがサービスAにもサービスBにも導入したい時にいちいち新たにファイルを生成するもの手間なのでFastAPIというフレームワークを導入したいなって思っています.

其の為、新たにコンテナを追加する予定です.こういう時にコンテナ運用は楽ですね.

なお、非公開APIですので外部からは叩け無いようにしたいなって思っています.こちらの構築したものを近日中に出来たら公開したいなと思っています.

明日へ続く

タグ

こんてな, コンテナ運用, サーバー, サービス, フレームワーク, モデル, ライブラリ, 一度, 其, 回答, 外部, 学習済み, 形態素解析, 手間, 最低メモリ, 検討中, 無理, 近日中, 非公開,

Dockerの事がよくわからない.ドッカーって機能追加はあとから出来ないのかな？

2025.02.12

Logging

おはようございます.Dockerの事がよくわからない.ドッカーって機能追加はあとから出来ないのかな？ymlファイルに後から修正して下記のコマンドを実行すると再度、初期化された状態になる.

docker-compose up -d --build

なのでDockerfileやボリュームとかいう物があるだと思います、それを使用して何とか凌ぐしかないかな.これだと後からコンテナの追加は出来るものの辛いものがある.サーバーを機能追加ために止めたくないのです.こうすれば良いよと教えてくれる方は一言コメントからアドバイスをお願いいたします🙇‍♂️.

生成AIに相談した所、どうも無理だという回答が返ってきたので恐らく無理なんだと思います.これからDockerが進化していけばそこら辺も変わってくるのだろうと思うものの、ちょっと不便さを感じる.

Dockerの良いところは簡単に環境構築が出来るところにあるだと思う反面、本番環境ではコンテナ運用はちょっと辛いものがある.そこら辺をクリアしたらめちゃ便利なツール何だけどね.

そういう痒いところに手が届くのはお高いけどAWSやGCP、Azureというものがあるのだろうね.何度か余裕資金がある時に使用したけどアレ高額請求が怖くて辞めてしまいました.

因みに先日のサーバがダウンしていたのはDockerでいろいろと試みていた結果.コンテナが壊れてしまい復旧作業に時間がかかっていました.

明日へ続く

タグ

アドバイス, アレ高額請求, コマンド, こんてな, コンテナ運用, サーバ, サーバー, そこら辺, ドッカー, ファイル, ボリューム, 一言コメント, 再度, 反面, 回答, 復旧作業, 本番環境, 環境構築, 生成, 結果コンテナ,

休日のひとり反省会と知見とかを書いていきます.慣れないことは慣れるまで.#恥は書き捨て

2025.01.27

Logging

おはようございます.先日、レンタルサーバからVPSサーバに移行したのだけど結構たいへんでした.今回はエンジンエックスをプロキシサーバして使い、Apacheサーバに飛ばしているという仕様ですがやってみて己の知識の無さを痛感しました.知識の無さを生成AIで補って何とか安定した運用になっているみたいです.

メモリがカツカツになって当初計画していた運用は断念しました.人生思い通りに、計画していた通りにならないという事を改めて痛感.まず、コンテナ運用はメモリを食うということを学びました.

メモリを食うならメモリを掃除してもらうアプリを入れたら良いじゃないのかと思うでしょうけど、2Gのメモリでは直ぐにカツカツになります.なので先日も書いた通りコンテナは少なめに抑えましょう.

次にプロキシサーバとかにしているとWordPressページを開くとループしてしまう問題があります.そちらを解決策はこちらを参照ください.

次にコンテナで運用しているとWordPressで書き込みが出来なくなるという事が発生する場合があります.そちらを解決するには下記の方法が良さげかと思います.

usermod -u 1000 apache && groupmod -g 1000 apache

あとWordPressのコンフィグに下記の設定しておくのも良いです.

define('FS_METHOD', 'direct');

因みにメールサーバは外部サービスを使用しています.このサーバが落ちてもメールサーバは動くという形になります.

一番、時間を費やしたのがファイル転送です.コマンドでもファイル数が多いと転送に時間がかかります、なにせ45G有ったみたいなので…チリツモで一番このドメインが多かったです.

scp -rp ユーザの名前@リモートのホスト名:コピーするリモートのファイル ローカルのコピー先

これでかなり速く転送してくれます.レイヤーが低いほど速いですねぇ.FTPソフトとか使用していると萎えます.

あと、今回知ったのですが広告掲載とかしている人でプロキシサーバ経由でサーバ起てている人は下記の設定をApacheサーバに記載が必要になります.これは警告を受けたわけではないのだけども、やっとくと損はないと思います.

RemoteIPHeader x-forwarded-for

以上が今回得た教訓であり知見です.

明日へ続く

タグ

エンジンエックス, コマンド, こんてな, コンフィグ, サーバ, チリツモ, プロキシサーバ, プロキシサーバ経由, メールサーバ, メモリ, ユーザ, リモート, レイヤー, レンタルサーバ, 己, 教訓, 痛感, 知見, 警告, 転送,

サーバー移行に完了したと思ったら落ちていた（笑

2025.01.26

Logging

おはようございます.サーバー移行に完了したと思ったら落ちていた（笑）ので深夜ごろから復旧作業を行っています.その作業がいま先ほど終わりました.

何故、落ちていたかと言うとコンテナを量産して各コンテナにdomain一つだけの割り当ていたら数時間で落ちることが分かったので早急に対応したわけだけども、まだ不完全なので….

結局のところ、お休みをすべて使った形になりますとは言っても、あとはバックグラウンドで処理している作業などを設定して上げれば完了になります.

落ちるだろうなと思っていたのだけど、踏ん張ってくれなかった.ドメインが複数あってコンテナ運用したい場合はかなりメモリが必要だということです.2Gでは足りないと思っていたほうが良さげ…

数個のコンテナ運用だと大丈夫そうです.

明日へ続く

タグ

お休み, かなりメモリ, こんてな, コンテナ運用, サーバー移行, すべて, ところ, ドメイン, バックグラウンド, 作業, 各コンテナ, 完了, 形, 復旧作業, 数個, 数時間, 深夜ごろ, 笑, 良さげ, 複数,

8割のドメインをVPSサーバーで運用に切り替えました.あとの2割

2025.01.25

Logging

おはようございます.8割のドメインをVPSサーバーで運用に切り替えました.あとの2割も切り替える予定です.正直な所、もう一ランク上のVPSサーバーで運用するべきだったと後悔しています.メモリ2Gあれば十分かと思っていたけどそうでもない.

因みに移行していないドメインはここのドメインとHドメインとTドメインになります.こちらのドメインも来週中に移行する予定です.ただメモリの関係上、移行することができない場合もあります.たぶんギリ大丈夫そうなんですけどねぇ.

サーバー移行の際にエンジンエックスプロキシ（リバースプロキシ）のコンテナ起てて、ドメインをそれぞれのコンテナに振り分けて運用しているわけですが、WordPressのサーバーがドメインを叩くと無限ループに陥るのですね.この解決策を探るのにかなり時間を費やしました.

解決策はwp-config.phpにこれを記載すれば無限ループから開放されます.

define('FORCE_SSL_ADMIN', true);
if ( ! empty( $_SERVER['HTTP_X_FORWARDED_PROTO'] ) && $_SERVER['HTTP_X_FORWARDED_PROTO'] == 'https' ) {
       $_SERVER['HTTPS']='on';
}

明日へ続く

タグ

```, エンジンエックスプロキシ, かなり時間, キリ, こんてな, サーバー, サーバー移行, それぞれ, ドメイン, メモリ, リバースプロキシ, 割, 所, 無限ループ, 解決策, 運用, 関係上, 際,

VPSサーバーのお試しをお試している、契約するかは考え中です.

2025.01.15

Logging

おはようございます、さくらのVPSサーバーのお試しをお試している、契約するかは考え中です.一応、XでもポストしているようにDockerで構築するつもりでいるのだけど、どうなるかは未定.

WEBで管理できるコンテナ管理のツールを入れるかどうかに悩んでいる.入れたら管理は楽になりそうなんだけど、セキュリティ的に弱くなるかなという思いがあるので考え中です.GUIで可視化できるコンテナ管理できるものを社長に教えてもらったとても良さげportainer（ポーテナー）というものです.

ポーテナーは良い感じなツールですが、自分がセキュリティ知識が乏しいので自信がないですよね.今回は頑張りたいですが、やや慎重に運用したいと思っています.

明日へ続く

タグ

お試し, こんてな, コンテナ管理, サーバー, さくら, セキュリティ知識, ツール, ポーテナー, 可視化, 未定, 社長, 管理, 自信, 自分, 良い感じ, 良さげ,

音声文字起こし試してみたローカル環境・Srtファイルにコンバート

2024.08.31

Logging

おはようございます．某会社のブログで音声文字起こしのやり方を記載されていたのを見てローカル環境でも文字起こしが出来そうだなって試してみたら出来たのでお裾分けです．

最初、Docker環境でwhisperとffmpeg–pythonがあれば上手く機能すると思っていたのだけど甘かった．ffmpeg–pythonだけインストールしても動かないようなのでffmpeg本体を公式サイトからダウンロードして来なくてはならない．ここらへんWindowと考え方が同じなんだなぁ．

LinuxのOSでダウンロードするffmpegが違います、またCPUによっても違うので、今回githubにアップしているDockerfileでは上手くいかない可能性もあります！、昨今ではCPUがAMDって人も多そうです．

そこら辺を合わして下記のコマンドを打つと実行されます．

docker-compose up -d --build

コンテナが起動したらコンテナ内から下記のコマンドを続けて打ってください．

python app.py

Srtファイルの変換には少々時間がかかりますが変換されます．なお、容量の大きいな音声データは恐らく落ちると思います．

では健闘を祈ってます．

https://github.com/taoka3/srt_convert

明日へ続く．

タグ

AMD, CPU, d --build, docker-compose up, dockerfile, Docker環境, ffmpeg, ffmpeg-python, ffmpeg本体, github, Linux, python app.py, Srtファイル, whisper, お裾分け, コマンド, こんてな, そこら辺, らへんWindow, 健闘,

DockerとMysql

2024.03.07

Logging

おはようございます、Dockerデスクトップのコンテナが別れている時、他のコンテナからMysqlサーバーに繋ぎたいという事がありますよね。その繋ぎ方を自分は勘違いしていたので記事として残しときます。Dockerを使いだして一年目で気づく間違いです（泣）。外部コンテナのMysqlサーバーに繋ぎたい場合、下記の画像のようにmysqldbに繋がないとコネクションが出来ません。自分はMYSQL_HOSTだと思っていたのですがどうも違うようです。

これを知った時、正直なところ「えっ」って声が出たぐらい衝撃的でした。Dockerを使う前はバーチャルボックスというものを長年使っていたのですが、いまではDocker系が使いやすいです。Dockerデスクトップに慣れていたのに、DockerCLOUDの時代なんですよねぇー。

明日へ続く。

タグ

docker, DockerCLOUD, Dockerデスクトップ, Docker系, MYSQL_HOST, mysqldb, Mysqlサーバー, コネクション, こんてな, ところ, バーチャルボックス, 下記, 声, 外部コンテナ, 時代, 画像, 繋ぎ方, 自分, 記事, 長年,

windows11を初期化した話。バックアップ失敗？

2023.06.17

Logging

おはようございます。前々から初期化しようと思っていた、メインのパソコンを初期化しました。これは先日の話になります。

初期化は比較的にすんなりと出来たのですが、Dockerのimageデータが読み込めないという問題が発生しました。バックアップを取る際にMacなどのOS用のコマンドを使用してバックアップを取っていたのが問題でした。

docker save ubuntu -o ubuntuv.tar
docker load -i ubuntuv.tar

docker save ubuntu > ubuntuv.tar
docker load < ubuntuv.tar

上記のことを知らずにリナックス用のバックアップコマンドで行い、load確認をせずに初期化を強行してしまったのが間違いでした。結果、データは残っていたので再度、DockerComposeからコンテナを立ち上げ直し、なんとか対応出来ましたが心臓に悪いなって感じましたね。

タグ

docker, docker save ubuntu, DockerCompose, gt, i ubuntuv, imageデータ, load確認, lt, Mac, tar, ubuntuv.tar, ubuntuv.tar docker load, コマンド, こんてな, バックアップ, バックアップコマンド, リナックス用, 再度, 前々, 心臓,

dockerでlaravel環境構築したお話。 #hosts

2022.12.08

Logging

おはようございます、今日は早朝に明日の記事を書いています😆。

さて、dockerでlaravel環境構築したお話を書いていきます、Dockerの環境でApacheをインストールし、バーチャルホストを設定してwindows側のhostsも変更しDocker側のhostsも設定、起動確認も取れたので、一旦Dockerを終了し再度立ち上げるとDocker側のhostsが初期値に戻っている🤔。

これDockerの仕様らしいので、下記のようにdocker-compose.ymlを設定(extra_hosts)するか、Docker runでコンテナを立ち上げる場合はパラメーター–add-hostを付与してあげないといけない😳。

version: "3"
services:
  web:
    image: almalinux:latest
    container_name: Apache_v2.4
    ports:
      - 80:80
    privileged: true
    command: /sbin/init
    extra_hosts:
      - "example1.com:127.0.0.1"
      - "example2.com:127.0.0.1"
    volumes:
      - E:\var\www\html:/var/www/html

docker run --add-host=example1.com:127.0.0.1 .....

尚、Docker側のhostsを変更しないまま、立ち上げてもLaravelは動かないと思います。何故、動かないかはここでは割愛させて頂きます🙇。

タグ

--add-host, ３, almalinux, ap, Apache, container, docker, docker-compose, extra, hosts, image, Laravel, latest, name, quot, run, services, Version, web, Windows, yml, インストール, お話, これ, こんてな, バーチャル, パラメーター, ホスト, 一旦, 下記, 今日, 仕様, 付与, 側, 再度, 初期, 場合, 変更, 早朝, 明日, 構築, 環境, 確認, 終了, 記事, 設定, 起動,

Dockerは楽だなという事を今頃理解しましたよ。 #vbox #docker

2022.10.03

Logging

おはようございます、月曜日の朝はテンション低めな方も多いはず😇。

さて、今日は先週の木曜日と金曜日にふと今後のためにDockerをもう少し触ってみようと思い作業終了後触ってみました、触れて気づいた事は開発環境を作るのがとても楽だということ（気づくの遅い？🫠）。自分は昔の人間なのでvisualboxばかり触っていたのですがDockerは素晴らしい。サーバー周りが得意な人にイメージを作ってもらってそれを共有すれば皆、同じ環境下で開発が出来るので良いという事に今頃気づいた・・・。

 docker run -it -d -v C:\var\www\html\:/var/www/html --privileged -p 80:80 --name こんてな命名 イメージid /sbin/init

※Visualboxでも可能ですけどね。Dockerのだとそこが楽だしマウント（フォルダ共有）もスムーズに行くので自分は良いなと感じました。

ちょっと残念だった点は自宅で作業している中、バッファローのNAS🍆に作業ファイルを入れているのですが、それとは共有出来なかった点です、対応として実PCをrobocopyしてNASと同期を取るという形にしました。これで問題はなくテスト環境下で開発ができます。尚、高級なNASではそういう問題なく上手くいくそうですよ。※NASはバックアップデータになりました。

robocopy <コピー元> <コピー先> /E /DCOPY:DAT

尚、mirのオプションにしなかったのには理由があります。コピー元のファイルが消えたり、ディレクトリが破損した場合、コピー先のファイルやディレクトリが消えて無くなるらしいので・・・。完璧なミラーリングは辞めました。

こんな感じで快適なテスト環境が作れます（上記のコマンド参考に）。

タグ

--privileged, -p, -v, 80, D-, docker, html, ID, init, IT, name, run, sbin, var, vbox, Visualbox, www, イメージ, こと, こんてな, サーバー, スムーズ, そこ, それ, ため, テンション, パス, フォルダ, マウント, 事, 人, 人間, 今後, 今日, 今頃, 低め, 作業, 先週, 共有, 可能, 周り, 命名, 得意, 方, 昔, 月曜日, 朝, 木曜日, 理解, 環境, 皆, 終了, 自分, 行, 金曜日, 開発,