stable-diffusion-webuiを使ってみた。
2024.03.14
おはようございます、stable-diffusion-webuiを使ってみました。結論から言うとプロンプト大事だという事とプロンプトを制御しないとろくな画像は生成されない。フリーで使用できるだけマシですけどこれで良いものを作るのは至難の業だということを使って理解しました。
これを使用する方法はgitとPythonとcudaがインストールされていることが前提条件にあります。そしてWindowsの場合はwebui.batを叩くMacなどはwebui.shを叩いて動かすのですが、動作はご自身のPCスペックに比例します。
ミッドジャーニーがどれほど優秀なのかが比べてみると分かります。
明日へ続く。
タグ
CUDA, git, Mac, PCスペック, Python, stable-diffusion-webui, webui.bat, webui.sh, Windows, ご自身, プロンプト, ミッドジャーニー, 前提条件, 動作, 方法, 業, 画像, 結論, 良いもの,
データサイエンティストって
2024.03.03
おはようございます、chatGPTとGeminiに「これから先に未来がありそうな職業はなにか」と質問したところ、人工知能に関わっている職業を提示された、人工知能以外には遺伝子医療やクリエイターなどだそうだ（Geminiの結果では）。
人工知能技術はこれから先、需要は伸びそうだけどもエンジニア止まりな気がしてならない。いまから勉強する人はPythonは必須だと思います。そして出来ればAPIを使用してナニカするより人工知能にデータを学習させてモデルを生成しそのモデルを使用して画像認識や制御するなどが出来る人が優遇される気がします。
プロンプトという職業は、誰もが慣れるのでたぶんすぐに飽和すると思います。先行有利なのでいますぐに（2024年）始めないと無理だと思います。速い人は2020年頃に始めているので、今からなかなか厳しいのではないだろうかと。
先日、OpenAIが発表したテキストから一分間の動画が生成される「Sora」を見てこれからは誰でもクリエイターだなって。でも誰もが人工知能でクリエイターに慣れる中で、本物のクリエイターは生き残るだろうなって感じました、そしてこれからは今まで以上に作る過程も大事になるだと思います。
明日へ続く。
タグ
API, chatGPTとGemini, gemini, OpenAI, Python, Sora, エンジニア止まり, クリエイター, テキスト, プロンプト, 人工知能, 人工知能以外, 人工知能技術, 必須, 本物, 気, 職業, 過程, 遺伝子医療, 需要,
#久しぶりのコード｀Xにポストするコード｀
2023.11.17
おはよう御座います、さて正月休みは11日ぐらいあります、いやー正月休みはネトフリとゲームざんまいしてみたいと思っているのですが、結局どこかに出ていったりとかして目標達成できずにズルズルと休みを過ごすことになりそうです。👈前と言っていることが違いますね🙇。
さて、久しぶりにコードを書きました、この記事だけ見るとプログラマーじゃないかって思われるので最初に記載しときます。毎日のように仕事ではコードを書いています、仕事以外でコードを書いたのは一週間ぶりかなぁ。でも、このコードはポストでも書いている通り、特に難しいコードでもないのでオープンに公開しました。
このコードには必要ないコードが紛れているのはこのコードが使いましたコードだからです😂。
<?php
date_default_timezone_set('Asia/Tokyo');
ini_set("display_errors", 0);
require_once "../tw-config-v2.php";
require_once "../vendor/autoload.php";
use Abraham\TwitterOAuth\TwitterOAuth;
class merukari{
public $connection = null;
public $pdo = null;
public function __construct()
{
$this->connection = new TwitterOAuth(APIKEY, APISECRET,ACCESSTOKEN,ACCESSTOKENSECRET);
$this->connection->setApiVersion("2");
}
public function tweet($pattern)
{
$result = $this->connection->post("tweets", ["text" =>$pattern], true);
}
public static function pattern()
{
$pattern = [
'メルカリで参考書を取り扱ってます📖 どれも綺麗な状態です。#学び #python Cシャープ #プログラム ⏭ https://jp.mercari.com/user/profile/808093563',
'メルカリで参考書を出品してます📖 どれも綺麗な状態です。#学び #機械学習 #AI #プログラム ⏭ https://jp.mercari.com/user/profile/808093563',
'メルカリで参考書を売ってます📖 どれも綺麗な状態です。#学び #人工知能 #python #プログラム ⏭ https://jp.mercari.com/user/profile/808093563',
'メルカリで参考書を取り扱ってますよ📖 どれも綺麗な状態です。#学び #テック #企業 #学び #プログラム ⏭ https://jp.mercari.com/user/profile/808093563',
];
return $pattern[ (int)rand(0,(count($pattern)-1))];
}
}
try {
if($argv[1] === 'merukari'){
(new merukari())->tweet(merukari::pattern());
}
} catch (\Throwable $th) {
//throw $th;
}
もしかしたら、以前にもコードを公開して2回目になっていたりするかも知れません。そうだったらごめんなさい、無駄に記事を量産しています（反省。
そうそうXのハッシュタグ廃止は誤解だそうです。思い出したので書いときます、、、。
明日へ続く。
タグ
argv, Asia, catch, connection, construct, int, lt, null, pattern, Python, quot, rand, return, throw, Throwable, true, try, Tweet, use AbrahamTwitterOAuthTwitterOAuth, vendor,
メルカリ出品しました、過去形。
2023.11.02
おはようございます、メルカリ出品しました、過去形。先日、メルカリに参考書を１４点、出品したわけですが、この記事が投稿されているときには何点か売れていることを願っています。
https://jp.mercari.com/user/profile/808093563
ちなみにほぼ機械学習とPython、C#の参考書になります。これが全部売れたら良いなって思ってはいますが、実際、完売することはないだろうって事も同時に思っています。
商品の価格は、自分が損しない設定で市場価格等は意識していません、因みにメルカリ便で発送させていただきます。実際、商品が売れてからヤマト運輸さんの支店でお願いすることになると思いますが、今のところメルカリ便（匿名配送）なんてしたことがないので、所々、心配です😄。
完売すると利益が７０００円ぐらいはあるじゃないかな？
少なくても今の値段を値下げしなかったら５０００円以上の利益を得れると思っています。今までブックオフとかに持って行ってたら、１４点でおそらく１５００円ぐらいでの買い取りになる所を自分で配送とかすることにより、商品が売れるかもしれないですからね。
そう思うと自分で価格設定して売る方が利益を生みやすいかもしれないです。元より低い値段で売っているので…。損をしているのかもしれませんが・・・減価償却費と考えるとどうなんでしょうね🤔。
悩ましい。
明日へ続く。
タグ
C++, Python, ところメルカリ便, ブックオフ, メルカリ, メルカリ便, ヤマト運輸さん, 低い値段, 値段, 元, 全部, 利益, 匿名配送, 所々, 損, 支店, 機械学習, 減価償却費, 過去形, 配送,
レンタルサーバーへ移行。コンプリ😗
2023.10.18
おはよう御座います、レンタルサーバーへ移行致しました。最後のドメインも無事移行してAPIでデータを取得するように変更しました。この方法に変えたことによりいろいろな事がAPIを介して出来るようになります。
例えばレンタルサーバーでは難しい、生成AIなどを自前生成AIをAPIを介して取得することも可能です。ただ、GPUがVPSサーバーはショボいので、限りなく難しいですが出来ないことはないです。またpythonやnodejsでしか出来ないことなどもAPIを介して可能になります。
難点はレスポンスが気になるところです、あと負荷がかかるとうまく機能しない事もあります。なので、重たくなればまた新たな方法を考えます。いまの感じだと最後に移行したサービスは当分このままで、処理できると思います。
アクセス数も安定していて増えもせず、減りもしない状態のまま推移しています。このサービスをもう自分は誰かに譲渡したいのですが、運営してくれる人がいれば売却したいなって思ってますが…。今のところ見つからないので自分が運営していくしかないのかな🤔。
ここからは少しボヤキになります。アクセス数はあるのだけど、収益があまり上がっていないのが現状です、恐らく表示されている広告がミスマッチなんだろうなって思っていますが、どうすれば広告を変更することが出来るのかがあまり分かっていないのですね。うまくマッチした広告を出すことに成功すれば恐らく、いまの倍以上の収益が得れそうな気もします。なので、近々、調査してみます🚧。
明日へ続く。
タグ
API, GPU, nodejs, Photo by Pixabay on Pexels.com, Python, VPSサーバー, ｼｮﾎﾞ, データ, ドメイン, ミスマッチ, レスポンス, レンタルサーバー, 収益, 少しボヤキ, 最後, 現状, 生成AI, 自前生成AI, 負荷, 難点,
Open Interpreterってのがヤバい？
2023.09.22
おはようございます、Open InterpreterをBard（バード）に説明してもらいました。
Open Interpreter は、自然言語によるプログラミングをローカルで実現するオープンソースツールです。Python、JavaScript、Bash などの言語に対応しています。
Open Interpreter は、ChatGPT の Advanced Data Analysis（旧Code Interpreter）と同様の機能をローカル環境で動かすことができます。
Open Interpreter の機能には、画像生成、動画の編集、データ分析、資料作成などがあります。
Open Interpreter の活用事例には、メール文章の作成・自動送信、S&P500 の 20 年分のデータのプロットなどがあります。
Open Interpreter は、OpenAI が提供する ChatGPT の「Advanced Data Analysis(旧Code Interpreter)」のオープンソース版とも言われています。
https://bard.google.com/
これオープンソースライセンスなので、無料で使用できるみたいです。清水亮（Ryo Shimizu）氏が解説している動画があったので掲載しときます。
因みにこの記事は、名探偵ポアロを観て帰ってきた日の深夜書いています。これが公開される日にも映画を観に行く予定です。9月の後半から11月まで観たい映画が連チャンで上映されるので映画ヲタには楽しみですが出費でもあります。明日へ続く～。
タグ
Advanced Data Analysis, Ｂａｒｄ, bash, ChatGPT, Open Interpreter, OpenAI, Python, Ryo Shimizu, S&, ソースライセンス, パート, プログラミング, プロット, 出費, 名探偵ポアロ, 旧Code Interpreter, 映画ヲタ, 清水亮, 言語, 連チャン,
機械学習は学習するのにどれぐらいのデータが必要？
2022.09.06
今日は大荒れ☔との事です、おはようございます。
８月の半ばにとある事情で機械学習で人の顔かどうかを判別させるモデルをTensorFlowで作ってみたのですが、結果、学習のデータが少なかったのが原因なのか分からないけども・・・。人工無能と言いたくなるほど無能な機械学習が出来上がりました。犬の画像を見せてもこれは人ですと判定してくれるので正直、ホントげんなりでした。
画像分類の作り方は簡単です、学習したいディレクトリとテスト用のディレクトリを作り、それぞれの階層に分類ディレクトリを設置し、その中に学習の画像データとテスト用の画像データを入れてサンプルコードをちょちょっと修正してテンソル（Pythonを実行）で学習してもらうだけです。
尚、自分のテストデータは100枚ほどしかなかったので、全然駄目な結果になりましたが３０００枚以上の画像データがあればちゃんとした判別が出来たのかも知れません。
スマホの顔認証は動画データを画像データー変換して学習させているのでしょうね。そうすれば数千枚の画像は生成出来ると思います。
例えばopencv-pythonなんかで画像変換するのが良さそうですよ。
pip install opencv-pythonタグ
100, 3000, 4, 8, Python, tensorflow, コード, これ, サンプル, ゼーロ, それぞれ, ちょ, データ, ディレクトリ, テスト, テンソル, どれぐらい, ヒーロー, ホント, モデル, 中, 事, 事情, 人, 人工, 今日, 作り方, 修正, 分類, 判別, 判定, 半ば, 原因, 器, 大荒れ, 学習, 実行, 必要, 機械, 正直, 無能, 犬, 画像, 簡単, 結果, 自分, 設置, 階層, 顔, 駄目,
Excel（API）の関数WEBSERVICEの作り方と考え方。
2022.09.01
おはようございます。昨日の雷はかなりヒヤヒヤドキドキものでした😭（パソコンが壊れるのではないかと）。
さて、本日は巷で流行っているExcel（API）の関数WEBSERVICEの作り方と考え方です。考え方はURLにパラメーター付きの値を渡して返却した値を受け取るという考え方です。多分、このサイトを訪れた方は返却処理を自作したいと考えている方だと思います。
返却処理を自作したい場合はローカルサーバーもしくは、レンタルサーバーが必要になります。
また、WEBサーバーでphpやPythonなどの言語が動作する環境が必要になります。尚、レンタルサーバーの場合、最安値のサーバーでもPHPは動作します。例えばさくらレンタルサーバーライト版でも動作します。そういう環境下でPHP言語やPython言語を動作出来るスキルがまず前提条件で必要です。
それが出来る方は下記のサンプルコードの意味が理解出来ると思います、APIと言っても簡単です。受け取ったパラメーター（GET値）を内部で処理しているだけです。クロスドメインエラーを回避する記述を先頭行に書き、その後はGET値からご自身が処理したいコードを記載し最後に結果をprintで出力しているだけです。
<?php
//すべてのドメインからのリクエストを許可
header("Access-Control-Allow-Origin: *");
$first = strip_tags($_GET["first"]) ? strip_tags($_GET["first"]) : "";
$last = strip_tags($_GET["last"]) ? strip_tags($_GET["last"]) : "";
$word = $first . strip_tags($_GET["word"]) . $last;
print $word;社内にシステムエンジニア（SE）部門がある方は、処理してほしい内容を依頼してみてはどうでしょうか。恐らく承諾してくれると思います。出来ないSEはいないと思います…🤔。
タグ
$last, Excel, FIRST, lt, php, print, Python, quot, quot;Access-Control-Allow-Origin, quot;first", quot;last", quot;word", strip_tags, Word, クロスドメインエラー, パラメーター, レンタルサーバー, ローカルサーバー, 許可 header, 関数WEBSERVICE,
楽天証券で自動売買する方法を記載しときます。あくまでも方法論です😌
2022.04.26
おはよう御座います。何だかこの頃、雨の日が多くなった気がします、梅雨の季節になるのかなぁ😅。
楽天証券で自動売買する方法は意外にもプログラマーだったら出来るじゃないかって思いました、ただ自動売買のソースコードは記載しません。方法は結構簡単です。
まず、楽天証券が提供しているマーケットスピード２RSSをダウンロードしインストールします、その前に楽天証券に口座開設しとかないと使えないですがね、そこは割愛します。次にマーケットスピード２RSSを使えるように規約同意などをします。
ここから手順を記載します。必ず前処理を行って手順に進んでください。
- マーケットスピード２RSSを起動しログインします。
- エクセルを開きマクロの登録をします。この際にvbaも使用できるようにしときましょう。
- 楽天証券のマーケットスピード用のサンプルエクセルをダウンロードします。
- サンプルエクセル開き動作確認をしましょう。
- Pythonをインストールしましょう。
- エクセル関数をこちらのPDFから確認しましょう。
- エクセルを操作するプログラムをPython言語を使用して自動売買処理を書きましょう。
Pythonでエクセルを操作する方法やエクセルの関数を実行する方法はググれば出てきますので、こちらは割愛します。株取引が始まった時点から終了までリアルタイム処理出来ないといけません。尚、機械学習などで予測したい場合、Yahoo!ファイナンス（有料）からデータをダウンロードし学習後は解約し、リアルタイムの取引データを蓄積させながら学習するのがまぁ・・・定石でしょう。ここらへん、スクレイピングの技術などが必要になります。
機械学習などを使わずに売買アルゴリズムを作って取引するのも有りかと思います。あと本番前にバックテストを必ず行うように！！
RssTickListRssStockOrderhttps://marketspeed.jp/ms2_rss/onlinehelp/ohm_002/ohm_002_06.html
タグ
pdf, Python, Python言語, RssStockOrder, RssTickList, VBA, エクセル, エクセル関数, サンプルエクセル, スクレイピング, ファイナンス, プログラマー, リアルタイム, 何だかこの頃, 売買アルゴリズム, 定石, 手順, 梅雨, 楽天証券, 関数,
クロスプラットフォーム開発（アプリ）をPythonで行う。
2021.05.21
PyQt5でクロスプラットフォーム開発（アプリ）を行う事が出来るだってさ。ただし、PyQt5は商用利用に縛りがあるのだとか、個人で使用する分には問題なしだということ。CSSとPythonの記述が分かっていればそれほど難しくない難易度かと自分は下記の動画を見て思いました。
pip install PyQt5Python：パイソンがインストールしている環境で上記のコマンドを打つことでPyQt5はインストール可能です。あとはコードを書いて実行するだけでアプリが実行されます。
PyQt5の使い方を解説している人がいます。リンク先のように書けばチェックボックスなども設置可能です。因みにコードを一々書くのは面倒だという方はQt Designerと連携することでGUIの設計は楽になると思います。
環境構築を説明しているリンクを貼っときます。こちらでPyQt5のプログラムを使用しQt Designerで開発を行えます。
この頃はクロスプラットフォーム開発も多様化していろいろな言語で開発ができるようになってきてますね。楽になったものだと・・・。
追伸：商業利用でクロスプラットフォーム開発が行いたい場合はPySideを使用するべしです。理由はこちら
https://www.kimoton.com/entry/20181202/1543724518
タグ
5, css, Designer, GUI, install, pip, PyQt, Python, Qt, あと, アプリ, インストール, えま, クロス, コード, こちら, こと, コマンド, チェック, パイソン, プラットフォーム, プログラム, ボックス, リンク, 上記, 下記, 事, 人, 使い方, 使用, 個人, 分, 利用, 動画, 可能, 商用, 実行, 方, 構築, 環境, 縛り, 自分, 行, 解説, 記述, 設置, 設計, 説明, 連携, 開発, 難易, 面倒,
いや良いだけどちょっと悔しい。
2020.10.20
NewsPicksの社員さんと地方のITエンジニアさんとのお給料を考えたときにちょっと悔しいなと思いました、いやお金じゃないだけど・・・ちょっとお給料のことがヨギリマシタよ。
フル視聴はこちら https://newspicks.com/live-movie/907
でも一般人はこれが普通なのかもしれないのかもしれないなと感じました、そんな自分もエクセルの操作やマクロは全然知らないですけど、ググれば操作やマクロは直ぐに出来る気がします。ITエンジニアになるとVBAやPythonやC#で解決します、たぶんそうなるし、そもそもITエンジニアはグーグルスプレッドシートの方を使うほうが多いです？、共有することは簡単だからかな？でもエクセルごりごり使用できれば事務作業はかなり効率化になると思います。
因みに動画でも仰っていますが、基本スタイル覚えれば良いので全ての関数などを覚える必要はないです！！あとはググれば答えはネットに大体落ちてます。
タグ
907, com, https, IT, live-movie, newspicks, Python, VBA, あと, エクセル, エンジニア, お給料, お金, かなり, グーグル, こちら, こと, これ, シート, シタ, スタイル, スプレッド, とき, ネット, プル, マクロ, ヨギ, りま, 一般人, 事務, 作業, 使用, 全て, 共有, 効率, 動画, 地方, 基本, 必要, 操作, 方, 普通, 気, 直ぐ, 社員, 答え, 簡単, 自分, 視聴, 解決, 関数,
iPhone12買いますか？
2020.10.16
https://www.apple.com/jp/iphone-12/ iPhone12を買いますか？自分は収入が不安定なのでいまは買うことはないでしょう。でも、魅力的なのは確か…。だけど5G対応したはじめてのiPhoneだから、もしお金があっても自分はスルーするつもり。
いまそんな事より仕事を見つけることが優先順位高いです。そして仕事探しの他にアプリを作ることを勉強中です。あとjavaを学習中です。この２つのことで気づきはjavaは大事だわ。java学習していると他の言語で応用がかなり楽になるということが身を持って気づきました。
あとios系アプリ作るのにswift(スウィフト)という言語も触っているのですが、言語はPythonとJavaの掛け合わせみたいな書き方だなと感じています。因みにios系のアプリを作るにはMacが必要です。そして開発環境はxcodeです。xcodeを触っていて・・・outlet(アウトレット)という考え方があるのですが、これが最初なれないなと感じました。今でもめんどくさいなと思っています。
タグ
12, 2, 5, apple, com, https, iOS, iPhone, java, jp, Mac, outlet, Python, swift, www, xcode, アウトレット, あと, アプリ, いま, お金, かなり, こと, スウィフト, スルー, つもり, ハジメテ, 不安定, 事, 仕事, 他, 優先, 勉強, 収入, 大事, 学習, 対応, 必要, 応用, 書き方, 環境, 系, 自分, 言語, 身, 開発, 順位,
PowerShellであれ使えるだな。
2020.10.15
wget "ダウンロードするファイルのURL" -OutFile "保存先ファイルパス"あれというのはwgetというダウンロードするときなどに使用するcommandです。リナックス系を使用している人には使っている方も多いかもしれない。そんな素敵なcommandがウィンドウズ10のPowerShell7では使用できるみたいだ。
大量画像にダウンロードする必要があったのでダウンロードファイルをリスト化、command打つように変換した。結果、とても楽です。
事務作業している方でIT好きな方はVBAを勉強してみると確実に仕事の効率化に繋がると思っています、たまにPythonをオススメするひともいるだけど、自分はあまりオススメしません。
なぜなら、一般的な事務員さん全員がそれを取り扱えるとは思わないからです。なのでクリックすれば動くよみたいな物が作れてパソコンの環境を変えないで良いのはVBAぐらいかと思います。PowerShellでもパソコンの環境を変更しないと動かないですからね。
バッチ処理などは一般的なひとはやはりハードルが高いと思ふ・・・?
タグ
-Command, -OutFile, 10, 7, IT, powershell, Python, quot, url, VB, VBA, wget, あれ, ウィンドウズ, おすすめ, クリック, それ, ダウンロード, たま, とき, パス, パソコン, ひと, ファイル, リスト, リナックス, 事務, 人, 仕事, 作業, 使用, 保存, 全員, 効率, 勉強, 変換, 大量, 必要, 方, 物, 環境, 画像, 素敵, 結果, 自分,
手前味噌な機械学習！？。
2020.09.01
分類分けで機械学習教師ありのモデルを作り、新たなデータで推測するという一連の過程をやってみたよーーー?
ちなみに分類分けとしてはあまり機能していないだけどね・・・。
何が難しかったか・・・Pythonをサーバで動かすようにするところと・・・何故かすんなり動いてくれなかった。そして機械学習させるデータを作るのがやはり面倒だった、途中から分類分けって感じじゃなく１分類という感覚で重み付けしました。
尚、サンプルとして表示しているのは、機械学習させてモデルを保存させるやつです。この他にもいろいろなファイルがあるのだけど、例えばデータを生成させたりする処理ファイルや保存したモデルから推測させる処理ファイルなどいろいろなファイルがあるのだけど、全て解説するのはちょっと面倒なので今回はこれだけです。
あと質問箱と連携するのは今後の質問によって決めようと思います。いちおう、ほぼその部分も完成しています。コードを手直してそれぞれをファイル連携してゴニョゴニョするという作業が残っています。
追記：きっちり分類分けしてそのデータをansの中に正解解答としていれてあげて学習させるとまぁまぁ良い感じです。
from sklearn.linear_model import LinearRegression
model = LinearRegression()import pandas as pd
from sklearn.tree import DecisionTreeClassifier
import pickle
X = pd.read_csv("Question.csv", header=None).values.tolist()
ans = []
val = 0
for num1 in range(len(X)):
for num2 in range(len(X[num1])):
if float(X[num1][num2])>=0.5:
val = val + 1
val = float(float(val) / float(len(X)) * 100)
ans.append(str(val))
val = 0
model = DecisionTreeClassifier(max_depth=999)
model.fit(X,ans)
print(ans,"<==>",model.predict(X))
# モデルを保存する
filename = 'Q_model.sav'
pickle.dump(model, open(filename, 'wb'))タグ
１, Python, あと, いろいろ, コード, これだけ, サーバ, サンプル, それぞれ, データ, ところ, ファイル, モデル, やつ, 一連, 今回, 今後, 他, 何, 保存, 全て, 処理, 分け, 分類, 学習, 完成, 感覚, 手前味噌, 手直, 推測, 教師, 機械, 機能, 生成, 表示, 解説, 質問, 途中, 連携, 過程, 部分, 重み, 面倒,
Yahoo!ニュースをPythonで取得するできました(´・ω・`)ｖ
2020.05.01
早朝、YOUTUBEライブ配信で行ったものはタイトルとリンクが若干異なるところがあったので、修正したソースコードを貼っときます。Python言語少しずつ 少しずつ理解できてきた。
書き方が慣れればPHPより書くのは楽かな。＄の記号がPHPの変数を書く場合、絶対必要になるけどPythonは書かなくて良いからね。
import requests
from bs4 import BeautifulSoup
r = requests.get("https://news.yahoo.co.jp/")
soup = BeautifulSoup(r.content, "html.parser")
#ニュース一覧のテキストのみ抽出
f = open("link.csv",mode = "a")
for t,a in zip(soup.find_all("div", "newsFeed_item_title"),soup.find_all("a", "newsFeed_item_link")):
f.write(t.text + "," + a.get('href') + "\n")
f.close()タグ
4, BeautifulSoup, bs, co, content, CSV, find, For, from, GET, html, https, import, in, jp, link, mode, News, open, parser, php, Python, quot, requests, soup, ｖ, Yahoo, youtube, zip, コード, ソース, タイトル, テキスト, ところ, ニュース, もの, ライブ, リンク, 一覧, 修正, 取得, 場合, 変数, 必要, 抽出, 早朝, 書き方, 理解, 若干, 言語, 記号, 配信,
pip3がうまく動かない(´・ω・`)ｖ
2020.04.30
pipがうまく動かないときの対応。下記の3点が入っていないとpython3をインストールしたとしてもpipが動かないそうだ。これが分かるまでに2時間を費やした時間を返してください(´・ω・`)ｖ
yum install -y openssl-devel
yum install -y libffi-devel
yum install -y zlib-develちなみにPython3のインストールは下記のURLの説明を参考しました。ソースコードをビルドしインストールしている。こうすることでバージョンの使い分けができる。PHPは慣れたもので簡単に使い分けできるですけどね・・・。PythonはPythonは・・・。
最後にソースコードをビルドしてインストールしてpipを使用する場合、pip3で動かない場合はpip3.8とか試してみてくださいね。
コピペでWEBスクレイピングしてみた動画をUPしています。ちなみにpython 初心者vlogをアップして駄目駄目さ見せつけています。PHPはスイスイ?と出来るのですがPythonはズブの素人です。
徐々に上達するでしょう。
タグ
-y, 2, ３, 3.8, install, libffi-devel, openssl-devel, php, pip, Python, UP, url, ｖ, web, yum, zlib-devel, インストール, コード, こと, コピペ, これ, してい, スク, ソース, とき, バージョン, ビルド, ピング, もの, レイ, 下記, 使用, 動画, 参考, 場合, 対応, 時間, 最後, 簡単, 説明,
いまからITエンジニアになりたい方は何を学ぶべきか？
2020.04.19
いまからITエンジニアになりたい方は何を学ぶべきか？まずプログラム言語ではなく英語を、次に大学受験レベルの数学知識をひと通り身につけることが大事。それが身についたらjavaかPythonの言語を学ぶべし。この2つのプログラム言語はこれからもある一定の需要がある言語です。今からWEB系のエンジニアになりたい方は辞めておいたほうが良い、これから先はそれほど需要が高くない。いまはいろいろお仕事が有るけれど、現在、大学や高校生の方は卒業する頃にそれらの職業の需要があるかといえば、おそらくだけど需要はあまりないと思います。
ましてや今、小学生だった子が大学を卒業する頃にはおそらくITエンジニアという職業はほぼ枯渇していると思います。高度な技術者はその時も仕事を失うことはないだろうけれど、ほとんどのITエンジニアは必要とされなくなりコーディングなどのお仕事は人工知能が行うようになるだろうと思います。
ちなみに自分はPython言語を勉強しています。ゼロベースからPythonを勉強中です。YOUTUBEでVLOGを明日からUPしていきます。良かったら見てください。
タグ
2, IT, java, Python, web, いま, いろいろ, エンジニア, お仕事, コーディング, こと, これ, それ, それら, プログラム, ほとんど, レベル, 一定, 人工, 今, 仕事, 何, 先, 卒業, 受験, 大事, 大学, 子, 小学生, 必要, 技術者, 数学, 方, 時, 枯渇, 現在, 知能, 知識, 系, 職業, 自分, 英語, 言語, 身, 需要, 頃, 高度, 高校生,
Linuxでプロセス残すなら！
2019.11.08
Linuxでプロセス残すなら【nohup コマンド &】を使おう。
以前、仮想ウィンドウを開いて行う方法を記載しましたが
こちらのほうが断然らくです。
ちなみにこれを使用すると、 nohup.out というファイルが作成されます。
node.jsやPythonとかで使用する機会が多いかもしれません。
例えばこんな感じで
nohup Python index.py &過去記事：プロセス残してSSHログアウトする方法。
タグ
amp, index, JS, Linux, node, nohup, out, py, Python, SSH, ウィンドウ, こちら, コマンド, これ, ファイル, プロセス, ログアウト, 以前, 仮想, 作成, 使用, 感じ, 方法, 機会, 記事, 記載, 過去,
Pythonコード：demo
2019.11.05
#!/usr/local/bin/python3
# coding:utf-8
import os
import sys
import MeCab
import gensim
import markovify
import unicodedata
model = gensim.models.KeyedVectors.load_word2vec_format('/var/www/html/model.vec', binary=False)
f = open('merosu.txt')
tagger = MeCab.Tagger("-Owakati")
tagger.parse('')
text0 = tagger.parse(f.read())
text1 = text0
text0 = text0.replace('\n','')
text0 = text0.replace('\r','')
text1x = text0.split(" ")
text2 = []
try:
for item in text1x:
if item.strip():
results = model.most_similar(positive=[item],topn=2)
#"print(results)
for val1 in results:
text2.append(val1[0] + "\n")
#
# print (text1)
# print (" ".join(text2))
model_a = markovify.Text(text1 + "\n")
print(str(model_a.make_sentence()).replace(' ',''))
model_b = markovify.Text(" ".join(text2))
print(str(model_b.make_sentence()).replace(' ',''))
model_combo = markovify.combine([model_a, model_b], [1, 1])
print(str(model_combo.make_sentence()).replace(' ',''))
except Exception as e:
print("動作エラー", e.args)
pass
タグ
-Owakati, 'merosu, 0, １, 2, ３, 39, 8, bin, binary, coding, demo, false, format, gensim, html, import, KeyedVectors, load, local, markovify, Mecab, model, models, open, OS, parse, Python, quot, read, replace, sys, tagger, Text, txt, unicodedata, usr, UTF-, var, Vec, Word, コード,
phpばっかり触っていた人がPython触ってみて！？
2019.11.02
phpばっかり触っていた人がPython触って
実際コードを書いてみて思ったことは、括弧（かっこ）が無いことで
コードが見ずらい、なれるまで時間がかかりそうです。
片っ端からサンプルコードを見ていてやっとなれてきたかなってところですね。
Functionなんかが入るとまだまだ怪奇です。
PythonのコードはPHPとは真逆で、感覚的にはnode.jsなんかと同じかなと。
web上での動作的な考え方もnode.jsに似てますね。
特にPythonは学術的なコードで計算式からグラフなどを表示するなどは
いろいろなライブラリーが存在していますし、ご存知かと思いますが
AI（人工知能：機械学習）には欠かせない言語の一つかなと思います。
ちなみに音声をグラフ化するのも簡単でした。下記のような感じで表示可能です。
タグ
AI, function, JS, node, php, Python, web, いろいろ, かっこ, グラフ, コード, こと, ご存知, サンプル, ところ, なんか, らい, ライブラリー, 一つ, 上, 下記, 人, 人工, 動作, 可能, 存在, 学習, 実際, 怪奇, 感じ, 括弧, 時間, 機械, 片っ端, 知能, 簡単, 考え方, 表示, 言語, 計算, 音声,
部屋の温度と湿度をリアルタイムでうぅううします。
2018.09.01
https://zip358.com/tool/kion_shitudo/
IOTとかいう奴ですね、Raspberry Piを使用して部屋の温度と湿度を
90秒置きに表示するようなものを作りました。
あぁぁエアコンとか平日はつける事はないので
部屋の温度はこの時期、汗だくです・・・。
ふふふうふ?。
ちなみに温度センサーのプラスとマイナスをRaspberry Piに反対接続して
なんか温度センサーが熱い状態になってましたが
何とか問題なくいまは動いてます・・・・。
あとはPHPとPythonでそれぞれプログラムコードを書いて
ゴニョゴニョしてサーバ側に表記しています。
タグ
-Physi, 01, ３, 4, 90, asin, Clear, com, CSFZ, Decker, IoT, JG, jp, kion, model, php, Pi, ple, Python, Raspberry, shitudo, tool, zip358, あと, いま, エアコン, ケース, コード, ゴニョゴニョ, サーバ, セット, センサー, それぞれ, ふうふ, プラス, プログラム, ポート, マイナス, もの, リアルタイム, 事, 使用, 反対, 奴, 対応, 平日, 接続, 時期, 温度, 湿度, 状態, 表示, 表記, 部屋,
Raspberry3（ラズパイ3）を仕込んでゴニョゴニョする前段階。
2018.07.28
ラズパイ３届きました! pic.twitter.com/kKNOnSnVzi
— 田岡 寿章@taoka_toshiaki🦌 (@taoka_toshiaki) July 28, 2018
Raspberrypi3が届きました。
早速、開封して設定、ディスプレイはもともと余っていたディスプレイに
接続してOSインストールしてみました。
思った以上に簡単にOSインストールが出来ましたので、
速攻Apache２とPHPをインストールしてみました。
これもコマンドでゴニョゴニョするだけで良いです。
root権限で設定してあげないといけないのでターミナルよりrootの
パスワードを設定しその後、root権限に切り替えてからインストールしてみてください。
ぐぐるとroot権限のパスワード設定もApache２やPHPのインストール方法も
記載しているサイトはあります。自分がやってみたいことは
温度センサーとPythonとApache２とPHPでTwitterに温度をつぶやくBOTを作りたいのです。
本当はPythonとApache２があれば温度をつぶやくTwitterBotを作るのは
容易ですが、敢えてそこにPHPを仕込んでみようという事です。
これも簡単にできると思います、Pythonから加工されたデータを
PHPにパラメータとして投げてあげれば良いだけですから。
ちなみに温度センサーはこちらをチョイスしました。
なんだかハンダコテ取り付けとかいらないみたいなので。
タグ
ABOX Raspberry Pi 3 Model b, Apache2, B00U8MRHJW, B07FQ9678G, Python, Raspberry3, Raspberrypi3, root権限, SODIAL, twitterbot, カードリーダ ネジ, ゴニョゴニョ, ディスプレイ, パスワード, 品質HDMIケーブルライン ヒートシンク, 感度コントロール温湿度センサー, 温度センサー, 速攻Apache2,
レンタルサーバさくらVPSでWEBサーバを構築するメモ書き。
2015.11.19
レンタルサーバさくらVPSでWEBサーバを構築するメモ書き。
yum -y install httpd yum -y install php #iptablesの設定はさくらのサポート等を参照 #mysqlのmariadbはググッてください（下記参照など）。 firewall-cmd --add-service=http firewall-cmd --permanent --add-service=http firewall-cmd --add-service=mysql firewall-cmd --permanent --add-service=mysql systemctl restart firewalld systemctl start httpd systemctl enable httpd
iptablesの設定
https://help.sakura.ad.jp/app/answers/detail/a_id/2423
mysqlのmariadbの設定
http://qiita.com/akito1986/items/98a8430d936b293cb354
これだけでWEBサーバが起動できます。
PHPの拡張をインストールしないといけない場合があります。
その他、rubyやPythonなどもインストールする事は可能です。
タグ
--add-service, --permanent, １, AM, firewall-cmd, iptables, mariadb, MYSQL, Python, systemctl enable httpd, systemctl restart firewalld, systemctl start httpd, WEBサーバ, y install httpd, y install php, yum, ググッ, メモ書き, レンタルサーバさくらVPS, 下記参照, 拡張, 設定,
グーグルさんが機械学習ライブラリ「TensorFlow」をオープンソースで公開した。
2015.11.11
グーグルさんが機械学習ライブラリ「TensorFlow」をオープンソースで公開した。
（ニューラルネットワークとかいうものを使って学習するそうです！！）
Apache2の環境で動作するそうだ。
その前に機械学習って何だろう？
ググッてみてもあまり情報が出てこない・・・。
データを投げて、統計生成や統計から予測、パターン抽出などを
してくれるのが、機械学習だそうだ。
TensorFlowはPythonで動かすそうだ。
公式サイトを見ていてわかったこと、
Apache2の環境で言語はPythonがないと
動作しない、画像認識：＝一致（猫の画像から猫らしき
画像を見つけたり出来る）、また、文字認識などが出来る・・・うん？
数字のサンプル提供・・・・。
文字認識が出来る新たなスパム対策が必要になるじゃないか・・・・
オープンソースでこんなの出すなよ・・・・。
悪用しようとすれば出来るじゃないか・・・・。
但し数字だけ提供しているので文字は今のところ提供していない
との事です。見ていて思ったのですが、データはやはり提供してくれない
みたいなので、企業向けだなと感じました。
膨大なデータがないと機械学習は不可能に近いので
個人がどうこうするには、もう少し時間が必要ポッいです。
WEBクローラーなどで情報を収集して
機械学習させてｺﾞﾆｮｺﾞﾆｮ…(ﾉﾟдﾟ(;￣Д￣)することは
可能(´∀｀*)ﾎﾟｯいですが、どちらにせよ。
機械学習のことが分からないと素人には無理(´∀｀*)ﾎﾟｯい。
ちなみにグーグルのデータを活用できる機械学習サービスとして
prediction APIがあります。
https://cloud.google.com/prediction/?hl=ja
関連リンク
http://googledevjp.blogspot.jp/2015/11/tensorflow-google.html
タグ
１, Apache2, ITエンジニア, prediction API, Python, tensorflow, WEBクローラー, グーグル, ググッ, ゴニョゴニョ, データ, ニューラルネットワーク, パターン抽出, 但し数字, 文字認識, 機械学習サービス, 機械学習ライブラリ, 機械学習理論入門, 統計生成,