@Blog

AIで記事を学習して新たな記事を生み出すにはお金が必要だと思っていたがそうでも.

2025.06.22

Logging

おはようございます.AIで記事を学習して新たな記事を生み出すにはお金が必要だと思っていたがそうでもなくローカルPCでそこら辺に落ちているLlamaモデルを持ってきてチューニングすれば何とかなるじゃねぇという思いに至った.

実はあなたの手元にあるPCと、そこら中に「落ちている」オープンソースのAIモデル、特にLlama 3があれば、十分記事が生成できるんです。

ローカルAI記事生成は、もはや夢物語じゃない

「AIで記事生成」と聞くと、SFのような世界や、大企業だけが使える特権のように感じるかもしれません。しかし、今は違います。オープンソースの強力な言語モデル、特にMetaが公開したLlama 3の登場は、この常識を大きく覆しました。

Llama 3は、その性能の高さにもかかわらず、誰でも無料で利用できるという点が最大の魅力です。さらに、80億パラメータの8Bモデルであれば、最新のゲーミングPCとまではいかなくとも、ある程度の性能を持つPCであれば十分に動作します。これにより、高額なクラウドサービスを利用せずとも、自分のPCでAI記事生成の環境を構築することが現実的になりました。

なぜLlama 3があなたのPCと相性抜群なのか？

Llama 3がローカルPCでの記事生成に適している理由はいくつかあります。

• 完全無料のオープンソース: 利用に費用がかからないため、予算を気にせずAIを試したり、本格的に導入したりできます。
• 選べるモデルサイズ: Llama 3には様々なサイズのモデルがあり、PCのスペックに合わせて選べます。特に8Bモデルは、個人利用に最適なバランスを持っています。
• 活発な開発者コミュニティ: 世界中の開発者がLlama 3を使った新しいツールや効率的なチューニング方法を日々共有しています。困ったときには助けを借りられる心強い味方です。
• 「量子化」でさらに軽量に: モデルのサイズを大幅に小さくする「量子化」という技術を使えば、より少ないメモリでLlama 3を動かせるようになります。これにより、より多くのPCで利用の道が開けます。

あなたのPCを「記事生成マシン」に変える秘訣

もちろん、いきなりプロのライター並みの記事をAIに書かせるのは難しいかもしれません。しかし、ちょっとした工夫で「何とかなる」レベルの記事生成は十分に可能です。

1. 少量のデータでファインチューニング: 大量の記事データは不要です。あなたが書きたい記事のテーマやスタイルに合った、質の良い記事を数十〜数百程度集めてLlama 3を学習（ファインチューニング）させれば、その分野に特化した記事生成能力が格段に向上します。
2. プロンプト（指示文）の工夫: AIへの「指示の出し方」は非常に重要です。具体的で明確なプロンプトを与えることで、チューニングが完璧でなくても、驚くほど質の高い記事が生成できます。これはまるで、優秀なアシスタントに的確な指示を出すようなものです。
3. 効率的な学習方法の活用: 「LoRA（Low-Rank Adaptation）」のような効率的なファインチューニング手法を使えば、少ないGPUメモリでも短時間でモデルを特定のタスクに最適化できます。

あなたの創造性が、今、AIで加速する

かつては一部の専門家や企業にしか手の届かなかったAIによる記事生成が、今やあなたのPCで実現できる時代になりました。これはまさにAI技術の「民主化」です。

とまぁそういう訳なので何とかしてみますが、ファインチューニングにどれぐらい時間がかかるのかが未知数だったりする.

ファインチューニングPythonコード

以下のPythonコードは、Llama 3モデルをロードし、提供されたテキスト記事でファインチューニング（LoRA使用）を実行し、結果を保存します。 上記の入力値は、このコードに自動的に反映されます。 このコードをPythonファイル（例: `finetune_llama.py`）として保存し、実行してください。

import os
import torch
from datasets import load_dataset
from transformers import AutoTokenizer, AutoModelForCausalLM, BitsAndBytesConfig, TrainingArguments, Trainer
from peft import LoraConfig, get_peft_model, prepare_model_for_kbit_training, TaskType

# GPUの利用可能性を確認
print("GPUが利用可能か確認中...")
if not torch.cuda.is_available():
    print("GPUが見つかりません。Fine-tuningにはGPUが強く推奨されます。")
    # GPUがない場合は、ここでスクリプトを終了するか、CPUモードで続行するか選択できます。
    # exit("GPUがないため終了します。")
else:
    print(f"GPUが利用可能です: {torch.cuda.get_device_name(0)}")

# --- 1. モデルとトークナイザーのロード ---
# Llama 3モデルのパスを指定します。Hugging Faceのモデル名（例: "meta-llama/Llama-3-8B"）
# またはローカルにダウンロードしたモデルのパスを指定してください。
MODEL_NAME = "meta-llama/Llama-3-8B" # ユーザーが入力したパスがここに挿入されます

print(f"モデルとトークナイザーをロード中: {MODEL_NAME}")

# 4bit量子化設定 (GPUメモリの節約に役立ちます)
# bnb_4bit_compute_dtypeは、Ampere以降のNVIDIA GPUに推奨されるbfloat16を使用しています。
bnb_config = BitsAndBytesConfig(
    load_in_4bit=True,
    bnb_4bit_use_double_quant=True,
    bnb_4bit_quant_type="nf4", # NF4 (NormalFloat4) 量子化タイプ
    bnb_4bit_compute_dtype=torch.bfloat16 
)

# トークナイザーをロード
tokenizer = AutoTokenizer.from_pretrained(MODEL_NAME, trust_remote_code=True)
# Llama 3はデフォルトでbos_tokenを付与しないことがあるため、明示的に追加。
# また、padding_side='right'はLlamaモデルに推奨される設定です。
tokenizer.pad_token = tokenizer.eos_token
tokenizer.padding_side = "right"

# モデルをロードし、量子化設定を適用し、自動的にGPUにマッピングします。
model = AutoModelForCausalLM.from_pretrained(
    MODEL_NAME,
    quantization_config=bnb_config,
    device_map="auto", # 利用可能なデバイス（GPU）に自動的にモデルを分散
    trust_remote_code=True # リモートコードの実行を許可
)
print("モデルロード完了。")

# k-bit学習用にモデルを準備 (PEFTライブラリのため)
# gradient_checkpointingを有効にすることで、メモリ使用量をさらに削減できます。
model.gradient_checkpointing_enable()
model = prepare_model_for_kbit_training(model)
print("k-bit学習用にモデルを準備しました。")

# --- 2. データセットの準備 ---
# あなたのテキスト記事ファイルが格納されているディレクトリを指定します。
# 例: 'your_article_data/' の中に 'article1.txt', 'article2.txt', ... と置かれている場合
DATA_DIR = "./your_article_data/" # ユーザーが入力したパスがここに挿入されます

print(f"データセットをロード中: {DATA_DIR}")

# 'text'形式でデータセットをロードします。指定されたディレクトリ内のすべての.txtファイルを読み込みます。
# 各ファイルが1つのエントリとして扱われます。
try:
    dataset = load_dataset('text', data_files={'train': os.path.join(DATA_DIR, '*.txt')})
    print(f"データセットのサンプル数: {len(dataset['train'])}")
except Exception as e:
    print(f"データセットのロード中にエラーが発生しました。ディレクトリとファイル形式を確認してください: {e}")
    exit("データセットロード失敗。")

# データセットをトークン化する関数
# 長い記事をモデルの最大入力長に分割します。
def tokenize_function(examples):
    # Llama 3の最大入力長は通常8192ですが、お使いのGPUのVRAMに合わせて調整してください。
    # ここでは一般的な値として2048を設定しています。
    max_length = 2048 
    # truncate=Trueで最大長を超えるテキストを切り捨てます。
    return tokenizer(examples["text"], truncation=True, max_length=max_length)

# データセットをトークン化します。
# num_procはCPUコア数に応じて並列処理を行い、処理を高速化します。
tokenized_dataset = dataset.map(
    tokenize_function,
    batched=True,
    num_proc=os.cpu_count(),
    remove_columns=["text"] # 元のテキスト列は学習に不要になるため削除します。
)
print("データセットのトークン化が完了しました。")

# --- 3. PEFT (LoRA) の設定 ---
# LoRA (Low-Rank Adaptation) は、元のモデルの重みをフリーズし、
# 小さなアダプター層を追加して学習させることで、効率的にファインチューニングを行います。
# これにより、GPUメモリの使用量を抑えつつ、高い性能を実現できます。
lora_config = LoraConfig(
    r=16, # LoRAのランク。値を大きくすると表現力が増すが、メモリ消費も増える。
    lora_alpha=32, # LoRAのスケーリング係数。rの2倍程度が推奨されることが多いです。
    target_modules=["q_proj", "k_proj", "v_proj", "o_proj", "gate_proj", "up_proj", "down_proj"], # LoRAを適用する層。Llamaモデルで一般的な層。
    bias="none", # バイアスを学習しない設定。
    lora_dropout=0.05, # ドロップアウト率。過学習を防ぐために設定します。
    task_type=TaskType.CAUSAL_LM, # タスクタイプを因果言語モデルに設定。
)

# モデルにLoRAアダプターを追加します。
model = get_peft_model(model, lora_config)
print("モデルにLoRAアダプターを適用しました。")
model.print_trainable_parameters() # 学習可能なパラメータ数を確認します。

# --- 4. 学習の実行 ---
# 学習済みモデルを保存するディレクトリ
OUTPUT_DIR = "./llama3_finetuned_model/" # ユーザーが入力したパスがここに挿入されます

# 学習の設定
training_args = TrainingArguments(
    output_dir=OUTPUT_DIR,
    num_train_epochs=3, # エポック数。データセットのサイズと希望する精度に応じて調整してください。
    per_device_train_batch_size=1, # GPUあたりのバッチサイズ。VRAMが少ない場合は1に設定。
    gradient_accumulation_steps=4, # 勾配を蓄積するステップ数。実質的なバッチサイズは per_device_train_batch_size * gradient_accumulation_steps になります。
    optim="paged_adamw_8bit", # 8bit AdamWオプティマイザを使用し、メモリ効率を向上させます。
    save_steps=500, # 500ステップごとにモデルを保存します。
    logging_steps=100, # 100ステップごとにログを出力します。
    learning_rate=2e-4, # 学習率。
    fp16=True, # 混合精度学習を有効化 (GPUが対応している場合)。VRAM削減と高速化に寄与します。
    max_steps=-1, # num_train_epochsに基づいて学習します。
    group_by_length=True, # 同じ長さのシーケンスをグループ化し、パディングを削減します。
    lr_scheduler_type="cosine", # 学習率スケジューラーのタイプ。
    warmup_ratio=0.03, # ウォームアップ比率。
    report_to="none", # レポート先を指定しない (wandbなどを使用しない場合)。
)

# トレーナーの初期化
# data_collatorは、モデルの入力形式に合わせてデータを整形します。
trainer = Trainer(
    model=model,
    train_dataset=tokenized_dataset["train"],
    args=training_args,
    data_collator=lambda data: {
        'input_ids': torch.stack([f['input_ids'] for f in data]),
        'attention_mask': torch.stack([f['attention_mask'] for f in data]),
        'labels': torch.stack([f['input_ids'] for f in data]), # 因果言語モデルでは、入力自体がラベルとなります。
    },
)

# 学習の開始
print("Fine-tuningを開始します...")
trainer.train()
print("Fine-tuningが完了しました。")

# --- 5. 学習済みモデルの保存 ---
# LoRAアダプターのみを保存します。これにより、ファイルサイズが小さく、効率的に管理できます。
trainer.save_model(OUTPUT_DIR)
print(f"学習済みLoRAアダプターが '{OUTPUT_DIR}' に保存されました。")

# 保存したアダプターを使って推論を行う方法の例 (コメントアウトされています):
# このコードは、ファインチューニング後にモデルをロードして推論を行うための参考例です。
# from peft import PeftModel
#
# # 元のモデルをロード (学習時と同じ量子化設定を使用します)
# base_model = AutoModelForCausalLM.from_pretrained(
#     MODEL_NAME,
#     quantization_config=bnb_config,
#     device_map="auto",
#     trust_remote_code=True
# )
#
# # 保存したLoRAアダプターを元のモデルに結合します。
# peft_model = PeftModel.from_pretrained(base_model, OUTPUT_DIR)
#
# # 推論モードに設定します。
# peft_model.eval()
#
# # テキスト生成の例
# prompt = "ローカルPCでのLlama 3ファインチューニングの利点とは"
# inputs = tokenizer(prompt, return_tensors="pt").to("cuda") # 入力をGPUに移動
#
# with torch.no_grad(): # 勾配計算を無効化し、メモリ使用量を削減
#     outputs = peft_model.generate(
#         **inputs,
#         max_new_tokens=200, # 生成する新しいトークンの最大数
#         do_sample=True, # サンプリングによる生成を有効化
#         top_p=0.9, # Nucleusサンプリングの閾値
#         temperature=0.7, # 生成の多様性を制御する温度
#         eos_token_id=tokenizer.eos_token_id # 終了トークンID
#     )
# print("\n--- 生成されたテキスト ---")
# print(tokenizer.decode(outputs[0], skip_special_tokens=True))

明日へ続く

タグ

```, ;;）, )。, アウト, アシスタント, アダプター, あたり, アップ, あなた, いくつ, ウォーム, エポック, エラー, エントリ, オープン, オプティマイザ, お金, クラウドサービス, グループ, クン, ゲーミング, コード, コア, ここ, こと, コミュニティ, コメント, これ, サイズ, サンプリング, サンプル, シーケンス, スクリプト, スケーリング, スケジューラー, スタイル, ステップ, スペック, すべて, ソース, そこら, タイプ, ダウンロード, タスク, ため, チューニング, ツール, データ, データセット, テーマ, ディレクトリ, テキスト, デバイス, デフォルト, トー, トークナイザー, とき, どれ, トレーナー, ドロップ, バイアス, パス, バッチ, パディング, パラメータ, バランス, ファイル, ファイルサイズ, ファインチューニング, ファインチューニングコード, フリーズ, プロ, プロンプト, マシン, マッピング, メモリ, モード, モデル, もの, ユーザー, よう, ライター, ライブラリ, ラベル, ランク, リモート, レベル, レポート, ローカル, ロード, ログ, 一般, 一部, 上記, 不要, 世界, 世界中, 並み, 並列, 予算, 付与, 以下, 以降, 企業, 使い, 使用, 係数, 保存, 個人, 優秀, 入力, 公開, 共有, 具体, 処理, 出力, 分割, 分散, 分野, 初期, 利点, 利用, 制御, 削減, 削除, 創造, 加速, 助け, 効率, 動作, 勾配, 十分, 参考, 反映, 可能, 向上, 味方, 因果, 場合, 多様, 夢物語, 大幅, 大量, 失敗, 学習, 完了, 完全, 完璧, 実現, 実行, 実質, 寄与, 対応, 専門, 導入, 少量, 工夫, 希望, 常識, 強力, 形式, 必要, 思い, 性能, 手元, 手法, 技術, 抜群, 指定, 指示, 挿入, 推奨, 推論, 提供, 整形, 新た, 方法, 日々, 明日, 明確, 明示, 時代, 時間, 最大, 最新, 最適, 有効, 未知数, 本格, 格段, 格納, 構築, 様々, 比率, 民主, 活用, 活発, 消費, 混合, 済み, 温度, 準備, 無効, 無料, 特定, 特権, 現実, 理由, 環境, 生成, 発生, 登場, 的確, 相性, 短時間, 確認, 秘訣, 移動, 程度, 管理, 節約, 精度, 終了, 結合, 結果, 続行, 能力, 自体, 自分, 自動的, 蓄積, 表現, 言語, 計算, 記事, 設定, 許可, 調整, 費用, 軽量, 追加, 通常, 適用, 選択, 重み, 重要, 量子, 開始, 開発, 関数, 閾値, 非常, 高速, 高額, 魅力,

にこスマでiphone se2 Aグレードを購入しました.ちなみにios18

2025.03.03

Logging

おはようございます.にこスマでiphone se2 Aグレードを購入しました、ちなみにios18に対応しています.対応していなかったら購入していない.もしios19が非対応になっても恐らくそれから7年ぐらいは使用可能だと思います.iphone se2は2020年に発売されたものになるらしい.

ちなみに今じぶんが使用しているiphoneはXSMaxなので2018年に発売されたものになります.次期iphone17は恐らくRAMも16よりは増量すると思います.なので人工知能の処理で欠かせないRAMが多くなったiphone17は買いどきかなと思っているのだけど型落ちのiphone16を購入する可能性はあります.

その理由はiphone17が大幅に一新したモデルなっていた場合、iphone16を買うという選択肢もあります.大幅に一新すると何かしら不具合や欠陥が発生する場合があるので、買うかどうか発売後に決めようと思います.

今回、にこスマで購入したiphone se2は想像通り見た目キレイで申し分ない感じでした、Aグレードで2万6千7百円は結構オトクな感じですね.これからどれぐらい使用できるか分からないけど当分持ちそうな印象です.

明日へ続く

タグ

グレード, こスマ, じぶん, モデル, 万千百円, 人工知能, 使用, 処理, 印象, 可能性, 増量, 年, 想像通り見た目キレイ, 欠かせない, 欠陥, 次期, 理由, 発売後, 選択肢, 非対応,

VPSサーバーで学習済みのモデルを動かすことが出来るのか.

2025.02.14

Logging

おはようございます.VPSサーバーで学習済みのモデルを動かすことが出来るのかな…一度、こっそり試してみたけど動かなかった.2Gでは無理、最低4Gメモリは必要みたいです.この4Gというのは生成AIの回答なので本当なのかは分からないけど、小さなモデル？ならVPSサーバーでも動かすことは可能だと思います.

あと、それとは別にPythonのAPIフレームワークを使用して内部的に処理することを検討中です.今までも例えばPythonのライブラリMeCabとかを使用して形態素解析をさらっと処理してもらっていたのですがサービスAにもサービスBにも導入したい時にいちいち新たにファイルを生成するもの手間なのでFastAPIというフレームワークを導入したいなって思っています.

其の為、新たにコンテナを追加する予定です.こういう時にコンテナ運用は楽ですね.

なお、非公開APIですので外部からは叩け無いようにしたいなって思っています.こちらの構築したものを近日中に出来たら公開したいなと思っています.

明日へ続く

タグ

こんてな, コンテナ運用, サーバー, サービス, フレームワーク, モデル, ライブラリ, 一度, 其, 回答, 外部, 学習済み, 形態素解析, 手間, 最低メモリ, 検討中, 無理, 近日中, 非公開,

釣りマップなう

2024.03.19

Logging

おはようございます、ある程度出来たのでリリースしました．これからはデータ削除とかが出来なくなりました．ローカルで検証してファイルアップロードとか行う感じになりますね．

『釣りマップなう』というサイトは、一応TensorFlowのJSを使用して魚の画像か判別しています．大量の魚が写っている画の場合、魚と判定されない場合があります、また、小さな魚の画像でも同様に魚の画像と判定されないです．この判定を良いものにするにはモデルを自分で生成してあげる必要がありそうです．

魚の動画から水回しして魚を学習させれば良いらしいのですが、商用利用でも可能な魚の動画を探すので苦戦しています．

学習させればあとは、学習済みのモデルをTensorFlow.jsでも使用できるようにコンバーター（変換）させて上げれば良いのです．

さて、馬しかな自分でも機械学習出来るようになってきました．ここはレッドオーシャンなのかもしれません．

明日へ続く．

タグ

JS, tensorflow, Tensorflow.js, コンバーター, データ削除, ファイルアップロード, モデル, レッドオーシャン, 判定, 動画, 商用利用, 学習済み, 感じ, 機械学習, 水, 画, 画像, 自分, 馬, 魚,

次世代生成AI、gemini(ジェミニ)バージョン1.0

2023.12.15

Logging

おはようございます、先日、次世代生成AI、gemini(ジェミニ)バージョン1.0がリリースされました。このモデルがGさんのBardにも順次搭載されるということです。

いままでのBardは結構お利口さんですが、もう少し情報量の多い回答をして欲しいなぁという思いがあったのでそれをカーバー出来ていることを期待します。もうYOUTUBEでは海外版を使用してレビューしている人もいるのですが、自分が知りたいのは日本語で質問をしたときの回答率です。

この記事がUPされている頃には、CHATGPTを超えた回答をしているとGさんは思わしてくれることでしょう。結構、動画を見る限りではコーディング力も腕を上げているようなのでちょっと憂鬱なのですけどねぇーーー😂。

明日へ続く。

タグ

Ｂａｒｄ, ChatGPT, gemini, Gさん, カーバー, コーディング力, ジェミニ, バージョン1.0, モデル, 動画, 回答, 回答率, 多い回答, 少し情報量, 日本語, 次世代生成AI, 海外版, 腕, 自分, 順次,

機械学習でオススメ記事を作ってみる。

2023.10.24

Logging

おはようございます、機械学習でオススメ記事を作ってみる。仕組みはこんな感じです😄。

• 記事から同じ傾向の記事を取得する。
• 記事のMeCabを使用して分割。分離したものを機械学習に投入。
• 出来上がったモデルから似ている傾向の記事を抽出。
• 新規記事を投稿した場合、再学習させモデルに追加。

上記の流れをCHATGPTに投げ込んでコードを生成してもらい、そのコードを再修正してAPI化したものを仕事終わりに週末作ろうと思っています。出来ればそれを元に自分だけしか使えないプラグインにしてWordPressに取り組むつもりでいます。

これでどれぐらいの精度がでるのかは、やってみないと分かりませんが試す価値はあるかなって思っています。あと、作りたいのはクリックしたものを機械学習させて何か出来たら良いなって思っています、また、記事学習モデルから、チャット形式でこんな記事はどうですかってオススメする物を作りたいですね。

明日へ続く。

タグ

API化, ChatGPT, Mecab, WordPress, コード, チャット形式, プラグイン, モデル, 仕事終わり, 価値, 傾向, 元, 分割, 投入, 抽出, 機械, 機械学習, 精度, 記事学習モデル, 週末,

Line3.8bバージョンとline1.7b バージョン使ってみたけど何か。

2023.08.20

Logging

おはようございます、Line3.6bバージョンとline1.7b バージョン使ってみたけどエヌビディア（GPT）が入っていないと動かないだって、でもどうしても動かしたいと思っている方！CPUでも動かせるように変換してくれている人がいます。ありがたや～☺。

https://huggingface.co/mmnga/line-corp-japanese-large-lm-3.6b-ggml/tree/main

上記のURLへ移動して頂き、READMEを参照すればメモリが2Gあれば何とか最小のモデルが動かせるみたいです、ローカルで動かしたい方はエヌビディアさんのCUDA(Compute Unified Device Architecture)とCUDAツールキットも必要になります。あと、torch(pytorch)のバージョンとドライバが合っていないと上手く動かないようです。参考リンクはこちら👉https://qiita.com/nabenabe0928/items/7962dcf3030889667de4 https://pytorch.org/get-started/previous-versions/

なお、Windowsでは今のところ動かない可能性が高いですね(・・;)、ウブントゥとエヌビディアが最強ポッい。

タグ

Compute Unified Device Architecture, CPU, CUDA, CUDAツールキット, GPT, Line3.6bバージョン, pytorch, README, torch, url, Windows, ウブントゥ, エヌビディア, エヌビディアさん, ドライバ, バージョン, メモリ, モデル, 最小, 最強ポッい,

機械学習は学習するのにどれぐらいのデータが必要？

2022.09.06

Logging

今日は大荒れ☔との事です、おはようございます。

８月の半ばにとある事情で機械学習で人の顔かどうかを判別させるモデルをTensorFlowで作ってみたのですが、結果、学習のデータが少なかったのが原因なのか分からないけども・・・。人工無能と言いたくなるほど無能な機械学習が出来上がりました。犬の画像を見せてもこれは人ですと判定してくれるので正直、ホントげんなりでした。

画像分類の作り方は簡単です、学習したいディレクトリとテスト用のディレクトリを作り、それぞれの階層に分類ディレクトリを設置し、その中に学習の画像データとテスト用の画像データを入れてサンプルコードをちょちょっと修正してテンソル（Pythonを実行）で学習してもらうだけです。

尚、自分のテストデータは100枚ほどしかなかったので、全然駄目な結果になりましたが３０００枚以上の画像データがあればちゃんとした判別が出来たのかも知れません。

スマホの顔認証は動画データを画像データー変換して学習させているのでしょうね。そうすれば数千枚の画像は生成出来ると思います。

例えばopencv-pythonなんかで画像変換するのが良さそうですよ。

pip install opencv-python

タグ

100, 3000, 4, 8, Python, tensorflow, コード, これ, サンプル, ゼーロ, それぞれ, ちょ, データ, ディレクトリ, テスト, テンソル, どれぐらい, ヒーロー, ホント, モデル, 中, 事, 事情, 人, 人工, 今日, 作り方, 修正, 分類, 判別, 判定, 半ば, 原因, 器, 大荒れ, 学習, 実行, 必要, 機械, 正直, 無能, 犬, 画像, 簡単, 結果, 自分, 設置, 階層, 顔, 駄目,

お金2.0を今頃読んだので感想とか書いてみました。

2022.07.30

Logging

おはようございます、結局、映画ジュラシックワールドは見送ろうと思っています（Twitterのつぶやきより）

さて、今日は積本になっていた、お金2.0を今頃読んだので感想を書いていきます。まず自分が気になったところの目次（大・目次と小・目次）を紹介します。

• AIとブロックチェーンによる無人ヘッジファンド
• デジタルネイティブからトークンネイティブへ
• 第4章「お金」から解放される生き方
• 若者よ、内面的な「価値」に着目せよ
• おわりに

これらの所が気になったのところです、特にAIヘッジファンドのお話は興味深い話でした。機械学習したモデルを提供することでそのモデルの能力により報酬が得られるなどの情報は知らない人からすれば貴重な話です。次に今まさにそういう様になってきている価値主義の話（お金より○×）です、お金目当てより自分に価値を出す方が最終的には良い結果になるというお話、その為にはどうしたら良いかなどや具体的な話が書かれてあって良かったと思います。

おわりに書かれていたアインシュタインの言葉なども響きましたね、そして著者：佐藤航陽 氏は本当に先見の明のある人だと思いました、これを書かれたのは２０１７年のことなんですからね。本当に凄いなってとても世の中を俯瞰して見ているなって感じました。そして世界2.0も電子書籍で購入済みなので時間の合間に徐々に読んでいきます。読了したらまた感想記事として記載します。

タグ

○×, 2.0, 4, AI, Twitter, おわり, お話, お金, こと, これら, ジュラシック, チェーン, デジタル, トークン, ところ, ネイティブ, ブロック, ヘッジファンド, モデル, ワールド, 主義, 人, 今, 今日, 今頃, 価値, 報酬, 大, 学習, 小, 情報, 感想, 所, 提供, 方, 映画, 機械, 気, 為, 無人, 生き方, 目当て, 目次, 着目, 積本, 紹介, 結果, 能力, 自分, 若者, 解放, 話,

物体認識ではラズパイが必ず必要でもないとふと思った。

2022.06.24

Logging

おはようございます。記事の投稿の時間帯から変えようか悩んでいます。

さて、今日のお題は「物体認識ではラズパイが必ず必要でもないとふと思った。」です。Iot（Internet of Things）で脚光を浴びたのが小さなパソコンとも言われるラズベリーパイです。これを使用して温度計や湿度、気圧などを測ったりそれを記憶出来たりします。ラズパイにカメラを接続し機械学習させて物体認識なども可能です。

ただ、物体認識に言えばお使いのWindowsやMacの入ったパソコンでもそういや出来てしまうなと思ったので、それを記事にしました。物体認識で重要なのはやはり学習なのですが世の中にはオープンソースで機械学習をある程度してくれているモデルが出回っています。なので、そちらをベースに再学習させる事により学習が可能かと思います。

物体認識するためには、WEBカメラが必要ですし、機械学習が出来る環境構築も必要になります。例えばTensorFlow(テンソルフロー)が動作出来る環境だとか、、、因みに古いパソコンでもTensorFlow(テンソルフロー)のバージョンを変えれば動きます。githubのmasterを使用せず古いバージョンを使いさえすれば。

タグ

Internet, IoT, Mac, of, te, Things, web, Windows, オープン, お使い, カメラ, これ, ソース, そちら, それ, ため, はい, パソコン, ベース, モデル, ラズ, ラズベリー, 世, 中, 事, 今日, 使用, 可能, 学習, 帯, 必要, 投稿, 接続, 時間, 構築, 機械, 気圧, 温度計, 湿度, 物体, 環境, 脚光, 記事, 記憶, 認識, 重要, 題,

日本でもテスラのモデルYが発売されるそうです。お値段はなんと！！

2022.06.13

Logging

おはようございます。梅雨梅雨…☔。

日本でもテスラのモデルYが発売されるそうです。価格は619万円からだそうです、オプションで自動運転機能が付けれるそうですが日本ではその機能は殆どは使えないらしい？、そもそも日本はまだ自動運転の走行させて良い地域が少ないし、価格も庶民的とはまだ言えないので自分は今回の買い替えは見送りします。

尚、自分は自動運転車が街中で走り回るような時代になると思っていて、そうなると通勤が大変楽になると感じます。朝の通勤って渋滞込みで計算した場合、田舎などでは１時間ぐらいは通勤時間に消費するわけです。この運転を自動運転車が変わってくれれば、通勤時間にも隙間時間が発生するので、凄く喜ばしいことだと思います。ただ・・・その頃にはゆーるFIRE（Financial Independence, Retire Early movement：早期リタイア）しているかもしれませんが・・・。

タグ

１, ６19, Early, Financial, FIRE, Independence, movement, Retire, オプション, こと, テスラ, モデル, ユー, リタイア, 万, 今回, 価格, 値段, 地域, 場合, 日本, 早期, 時代, 時間, 朝, 梅雨, 機能, 殆ど, 消費, 渋滞, 田舎, 発売, 発生, 自分, 自動, 街中, 計算, 走行, 通勤, 運転, 隙間, 頃,

コロナワクチン接種、3回目モデルナワクチンを打って思うこと。

2022.04.28

Logging

おはよう御座います。

先日、モデルナワクチンを打ってきました、ブースター接種になります。１回目、２回目はファイザー製を打ち、3回目にモデルナワクチンを打ちました。打った直後はどうもなかったのですが、その日の夜中から翌日の４時ぐらいまで発熱と倦怠感があり散々でした😭。

コロナワクチンってコロナウィルスを弱毒化したものを接種しているわけですが、弱毒化してこれかよと思うとコロナに感染したらかなり辛いものになりそうな気がします。そんな訳なので健康な人は必ずワクチン接種した方が良いです。副作用もあるかもしれないけれど、それに当たる確率は限り低いと思いますので、若い世代も接種するべきだと感じますね。

翌日は熱冷ましの薬を飲んだのですが、飲んでいても倦怠感は残りました。

次の日はしれっと仕事にカムバックしましたが、若干、何時もより疲れを感じましたね😌。

タグ

１, 2, ３, 4, ウィルス, かなり, カムバック, クチン, こと, これ, コロナ, しれっと, それ, ナワ, ブースター, ファイザー, モデル, もの, ワクチン, 世代, 人, 仕事, 何時も, 倦怠感, 健康, 先日, 副作用, 夜中, 弱毒, 感染, 接種, 散々, 方, 日, 次, 気, 熱冷まし, 発熱, 直後, 確率, 翌日, 若干, 薬, 訳,

南海トラフ地震はタイムプレディクタブルモデルで大体分かる！？

2021.09.26

Logging

昨日は自転車で高知県の高須にある宮脇書店に行ってきました、行きより帰りのほうが早く感覚的に時間の進みは早かったのですが、タイムは行きも帰りもそれほど変わりがなかったです。

南海トラフ地震はタイムプレディクタブルモデルで大体で分かる？、いやーあと9年プラス１?5年で大地震が起こるらしいので、今からドルで資産を貯めていこうと自分は思っているけど、こんな生活を送っているので未だに貯蓄に進んでいない。それにしても5分で津波が押し寄せてくるって衝撃ですね、そろそろ地震が起こってもおかしくない時期になったら海には近づかないように気をつけたいです。怖すぎる！！因みに大阪や兵庫なんかも被害が出るみたいですからね。今から出来ることはしておきたいとNewsPicksの対談（成毛眞 × 鎌田浩毅）を見て思いました?。

一番最悪なシナリオは南海トラフ巨大地震が起きて直ぐに首都直下型地震と富士山噴火が起こることだろうと思います、そうなると日本沈没ですよねぇ。経済麻痺にもならないためにも京都に移せるものは今からシフトするべきだろうと感じました。怖や怖や・・・・。

タグ

5, 574, ９, amp, com, https, newspicks, sTSjQLIKxdA, watch, www, youtube, くだ, こと, タイム, トラフ, ドル, プラス１, プル, プレディ, モデル, 今, 兵庫, 南海, 地震, 大体, 大地震, 大阪, 宮脇, 対談, 成毛眞, 昨日, 時期, 時間, 書店, 未だ, 気, 津波, 海, 生活, 自分, 自転車, 衝撃, 被害, 貯蓄, 資産, 鎌田浩毅, 高知県, 高須,

Twitterプロフィールからスパムみたいなアカウントかを機械学習で判定してみた。

2021.06.28

Logging

Twitterプロフィールからスパムみたいなアカウントかを機械学習で判定してみました。

何故、このような事を考えたかはスパムみたいなアカウントってぱっと見で人は区別できるよねって思ったのでLobeというソフトを使って画像解析（機械学習）してモデルをエクスポートし、そのモデルをテンソルフローで使用して動作確認してみました。

結果は、まぁまぁの精度だったのでモデルをお裾分けしますね。因みにTwitterのプロフィール画像のスクリーンショットを行った時のソースコードも提供します。

尚、機械学習に使用したプロフィール画像は400枚ほど（少ない?）です、ok-image（一般人）とng-image（スパムみたいなアカウント）というラベルを付けて学習させてます。

model::https://zip358.com/ai-model/tw-profile/saved_model.pb (?モデルの中身はtensorboardでご確認を！)

zip358com
zip358

# Generated by Selenium IDE
import time
from selenium import webdriver
from webdriver_manager.chrome import ChromeDriverManager

from selenium.webdriver.common.by import By
from selenium.webdriver.common.action_chains import ActionChains
from selenium.webdriver.support import expected_conditions
from selenium.webdriver.support.wait import WebDriverWait
from selenium.webdriver.common.keys import Keys
from selenium.webdriver.common.desired_capabilities import DesiredCapabilities
from selenium.webdriver.support.ui import Select

class twss():
	def setup_method(self):
		self.driver = webdriver.Chrome(ChromeDriverManager().install())
		self.vars = {}

	def teardown_method(self):
		self.driver.quit()

	def screenshots(self):
		self.driver.get("https://twitter.com/")
		self.driver.set_window_size(945, 900)
		with open('twname.dat','r',encoding="utf-8") as f:
			for line in f:
				FILENAME = "X:\\var\\www\\html\\labo_ai\\twss\\image\\screen_" + line.replace('\n', '') +".png"
				self.driver.get("https://twitter.com/" + line.replace('\n', ''))
				time.sleep(2)
				self.driver.save_screenshot(FILENAME)
		f.close()
		self.driver.quit()
twss = twss()
twss.setup_method()
twss.screenshots()

タグ

358, 400, ai-model, com, https, lobe, model, ng-image, ok-image, SA, tw-profile, Twitter, zip, アカウント, エクスポート, お裾分け, コード, ショット, スクリーン, スパム, ソース, ソフト, テンソル, フロー, プロフィール, モデル, ラベル, 一般人, 事, 人, 何故, 使用, 判定, 動作, 区別, 学習, 提供, 時, 機械, 画像, 確認, 精度, 結果, 解析,

TensorFlow Lite（テンソルフロー ライト）をインストールしモデル実行まで。

2021.06.14

Logging

ラズベリーパイ3にTensorFlow Lite（テンソルフロー ライト）をインストールしモデル実行まで軽く字幕で紹介した動画が下記になります。インストール方法は公式に書かれた通りに実行すれば上手くインストール出来るはずです。比較的に低スペックのマシンでも動くはずなのです、どうしてもエラーが出て動かないようであれば、それはおそらくあなたのマシンに問題があります?。

動画でハマりどころがあるという事をブログで解説しますと書いていますので、そのハマりどころを解説します。。。

TensorFlow Lite（テンソルフロー ライト）で動かす場合、label_image.pyの修正箇所が公式に書かれていると思いますが・・・?、ここで自分がハマり、実行するコマンドを打ってもパラメーターがどうたらというエラーが出力されて動きませんでした。結論から言うと原因はマスターのソースコードにあったのです。修正を要領よく修正しては駄目だった。直接的な原因となったのは–num_threadsのパラメーターを投げていたのが原因でした。

公式では下記の内容に変更しなさいと書かれています。tf.lite.Interpreterの部分を置き換えればよいだろうと思っていたのです。

interpreter = tf.lite.Interpreter(model_path=args.model_file)

マスターのソースコードは若干、公式とは違ってこのようなソースコードになっていました。

  interpreter = tf.lite.Interpreter(
      model_path=args.model_file, num_threads=args.num_threads)

渡す引数が一つ増えていたので、自分はそれを残していたのですが・・・?、これでは動かないのです。そう・・num_threads=args.num_threadsは削除してあげないとモデルを動かすことが出来なかったのです。それがわからず渡すパラメーターが駄目なんだとか思って四苦八苦していました。

自分みたいな修正方法している方も中にはいると思ったので、今回、初心者がハマった沼を紹介しました?。

タグ

３, image, label, LITE, py, tensorflow, あなた, インストール, エラー, コード, ここ, コマンド, スペック, ソース, それ, テンソル, はい, パス, パラメーター, フロー, ブログ, マシン, マスター, モデル, ライド, ラズベリー, 下記, 事, 修正, 公式, 出力, 動画, 原因, 問題, 場合, 字幕, 実行, 方法, 箇所, 紹介, 結論, 自分, 解説, 通り,

人工知能のお手軽モデル生成がGUIで出来るやつtensorflow対応。

2021.05.12

Logging

人工知能のお手軽モデル生成がGUIで出来るやつtensorflow対応しているからね。本当に便利だと思います。以前ブログで紹介したかもしれません、もしくはツイートしたか記憶が定かではないのですが再度改めて記載します。このlobeというソフト（アプリ）は人工知能の学習を行い、学習データからテストもできるのです。一番良いところは学習データ＝モデルをエクスポートしてテンソルフロー(tensorflow)で動かせるところです。

テンソルフロー(tensorflow)で動かし方を解説している記事がありますので、そちらのリンクを貼っときますね。
https://dev.classmethod.jp/articles/lobe-lobe-export-tensorflow-lite/

これから先、人工知能の学習は誰でもできるようになり誰でも人工知能を使ったものがお手軽で作れるようになっていくと思います。あと数年後で自分が思うにはエクセルでも人工知能の学習で判定できるような関数が搭載されてもおかしくはないと思います。それぐらい人工知能は浸透してきていますね。因みに人工知能（教師あり機械学習）ってデータが多いほど、精度の良い結果を出してくれます、なのでデータは結構大事になりますよ！

タグ

articles, classmethod, dev, GUI, https, jp, lobe, lobe-lobe-export-tensorflow-lite, tensorflow, アプリ, エクスポート, これ, そちら, ソフト, ツイート, データ, テスト, テンソル, ところ, フロー, ブログ, モデル, もの, やつ, リンク, 人工, 以前, 便利, 先, 再度, 学習, 対応, 本当, 生成, 知能, 紹介, 解説, 記事, 記憶, 記載, 誰,

m3を買うよりはwh-1000xm4を買うべしかも！？

2021.02.04

Logging

m3を買うよりはwh-1000xm4を買うべしかも！？と自分が思っています。来月あたりに買うつもりでいます。なぜ、型落ちモデルを買うよりはこちらが良いかというのは、差を調べたからいえることなのですが・・・。

一番はマルチ機能とノイズキャンセリング機能の向上されているぽっい所が自分の中で買いかなと思った次第です。因みにお値段は結構高いです、約4万円になる価格で、やっぱ高級ヘッドホンなので買うのに尻込みしそうです。

タグ

1000, ３, 4, wh-, xM, キャン, こちら, こと, セリング, つもり, ノイズ, ヘッドホン, マルチ, モデル, 一, 万, 中, 価格, 値段, 向上, 型落ち, 差, 来月, 機能, 次第, 自分, 高級,

手前味噌な機械学習！？。

2020.09.01

Logging

分類分けで機械学習教師ありのモデルを作り、新たなデータで推測するという一連の過程をやってみたよーーー?
ちなみに分類分けとしてはあまり機能していないだけどね・・・。
何が難しかったか・・・Pythonをサーバで動かすようにするところと・・・何故かすんなり動いてくれなかった。そして機械学習させるデータを作るのがやはり面倒だった、途中から分類分けって感じじゃなく１分類という感覚で重み付けしました。

尚、サンプルとして表示しているのは、機械学習させてモデルを保存させるやつです。この他にもいろいろなファイルがあるのだけど、例えばデータを生成させたりする処理ファイルや保存したモデルから推測させる処理ファイルなどいろいろなファイルがあるのだけど、全て解説するのはちょっと面倒なので今回はこれだけです。

あと質問箱と連携するのは今後の質問によって決めようと思います。いちおう、ほぼその部分も完成しています。コードを手直してそれぞれをファイル連携してゴニョゴニョするという作業が残っています。

追記：きっちり分類分けしてそのデータをansの中に正解解答としていれてあげて学習させるとまぁまぁ良い感じです。

from sklearn.linear_model import LinearRegression
model = LinearRegression()

import pandas as pd
from sklearn.tree import DecisionTreeClassifier
import pickle
X = pd.read_csv("Question.csv", header=None).values.tolist()
ans = []
val = 0
for num1 in range(len(X)):
	for num2 in range(len(X[num1])):
		if float(X[num1][num2])>=0.5:
			val = val + 1
	val = float(float(val) / float(len(X)) * 100)
	ans.append(str(val))
	val = 0
model = DecisionTreeClassifier(max_depth=999)
model.fit(X,ans)
print(ans,"<==>",model.predict(X))
# モデルを保存する
filename = 'Q_model.sav'
pickle.dump(model, open(filename, 'wb'))

タグ

１, Python, あと, いろいろ, コード, これだけ, サーバ, サンプル, それぞれ, データ, ところ, ファイル, モデル, やつ, 一連, 今回, 今後, 他, 何, 保存, 全て, 処理, 分け, 分類, 学習, 完成, 感覚, 手前味噌, 手直, 推測, 教師, 機械, 機能, 生成, 表示, 解説, 質問, 途中, 連携, 過程, 部分, 重み, 面倒,

日本語で機械学習のことを解説しているチャネル。

2019.12.14

Logging

探していたらあったよSONY！！。
昨日、「YOUTUBEで日本語で人工知能の解説している動画あまりないよね。」
と記載していたのだけど・・・。

解説している動画がありました。
SONYがオープンで解説している、、やっぱりこういう事を
公開しているということは人手が足りないですね。

人工知能（機械学習）を理解してゴニョゴニョして
遊びができないひとが結構多いだなとちなみに品質の良いモデル作りが
機械学習では要になるそうです。

勉強したい方は下記のリンクからどうぞ
https://www.youtube.com/channel/UCRTV5p4JsXV3YTdYpTJECRA

タグ

３, 4, 5, channel-, com, JsXV, SONY, UCRTV, youtube, YTdYpTJECRA, こと, ゴニョゴニョ, チャネル, ひと, モデル, リンク, 下記, 事, 人工, 人手, 公開, 勉強, 動画, 品質, 学習, 方, 日本語, 昨日, 機械, 理解, 知能, 要, 解説, 記載,

難しいの基準（プログラム初心者へ）

2019.11.15

Logging

難しいの基準、プログラムが難しいと思っている人がいますが
そんなに難しいものではないです。

つい最近、人工知能のさわりを試行錯誤しながら
行ってみました。Aという文章から新たな文章を生成するというものです。
機械学習の部分はあらかじめ学習済みのモデルを取ってきて
試してみたのです。なんとか文章を生成する流れまで出来ました。

プログラムが難しいひとは、参考書をみて何だか意味がわからないと
思っているひとが殆どだと思います。
まず、参考書を読むのをやめて作りたいもののプログラム言語が何か
そして作りたい機能はなにか考えて、ググりましょう。

例えば【PHP 掲示板 作り方】などと検索すると作り方の方法が
ヒットします。最初はそのソースコードをそのままコピーして
動作するところまで試してみましょう。

次に動作するところまで出来たら、そのソースコードを
編集してみましょう。そうすることでどういう処理なのか理解できます。

理解できるようになったら参考書を開いてみましょう。
何となく参考書の意味が理解できるようになるはずです。
最初から参考書を理解できるタイプと理解できないタイプがいると思います。
理解できないタイプはググって覚えるという方法で
プログラムを身につけるほうが効率的です。

タグ

php, コード, こと, コピー, さわり, ソース, つい, ところ, ヒット, ひと, ひとは, プログラム, モデル, もの, 人, 人工, 作り方, 処理, 初心者, 動作, 参考書, 基準, 学習, 意味, 掲示, 文章, 方法, 最初, 最近, 検索, 機械, 機能, 次, 殆ど, 理解, 生成, 知能, 編集, 言語, 試行錯誤, 部分,

cakePHPを勉強しています。

2015.06.28

Logging

cakePHPを勉強しています。昨日から丸一日、ブログ更新もそっちのけでcakePHPで掲示板の作成をしてましてました。何とかベースが制作出来た感じですが、まだまだ改良するべきところが多いので公開まではしばらくかかると思います。勉強していてつまずいて参考書が必要だなと思ったわけですがいまのところ、購入していません。
一番のつまずきは、ファイル名やDB名などを名前の振り方やモデルやビューなどの関係などありとあらゆる事を理解するのに時間がかかりました。間違っていないはずなのにと思っていた事柄がうまく行かなかったわけが凄く単純なミスだったりと・・・言うこともあり。そのバグを探すのにかなりの時間を潰しました。結果的にこういう積み重ねで覚えていくしか無いだろうと思いますが、出来ないと時間だけが過ぎてしまい休みが台無しになってしまいます。
トイウコトデ、本日は休日を消化します(´∀｀)。

タグ

cakePHP, DB名, つまずき, トイウコトデ, ところ, バグ, ビュー, ファイル名, ベース, モデル, 事柄, 休み, 休日, 作成, 公開, 参考書, 振り方, 掲示板, 時間, 積み重ね,