何でもどうぞとすごく挑戦的ですね。グーグルさんの検索入力ボックス

2019.11.10

Logging

グーグルさんの検索入力ボックス 何でもどうぞとすごく挑戦的ですね。
ついに何でも検索できるようになったのか?

プレースホルダー(placeholder:入力ボックスの灰色文字部分)の文字が
「何でもどうぞ」になっている件、恐ろしいついにAI(人工知能)が
人の意味を理解してきたのか、それとも罠?

人工知能にガンガン学習させるために、
こんな挑戦的な「何でもどうぞ」とかいう文字にしているのか。
何だか、Gさんの試み(意図)は後者が強そうですね、、、。

そして挑発されたひとがガンガン、人工知能に
学習させて結果、何でも検索できるようになるという
オチだと思います。

タグ

AI, placeholder, オチ, グーグル, ため, ひと, プレース, ボックス, ホルダー, , 人工, , 入力, 学習, 後者, 意味, 意図, 挑発, 文字, 検索, 灰色, 理解, 知能, 結果, , 部分,

エンジニアはクラウドなんたらで働くより稼げる方法。

2019.11.10

Logging

フリーランスのエンジニアはクラウドなんたらで働くより稼げる方法は
エージェント(代理人)を通してお仕事をもらう方法が良い思います。

それなりに経験があるエンジニアさんは
この方法で働いたほうが稼げます、ちなみに関東、関西などで
働くということが大体、前提条件ですが、リモートワークの仕事もあります。

そのうち、リモートワーク案件も増えていくと思います。
東京で住んでいれば間違いなくフリーランスになっていたと思います。

【フリーランス エージェント】などで検索すればいろいろなサイトが
表示されます。【フリーランス エージェント 比較】などで
調べても良いかもしれません。

エージェント名 案件
(現場)数
フォロー
体制
最高単価 強みのある職種
フォスターフリーランス 
(旧スキルサーフィン)
人月
230万円
・ITエンジニア全般
レバテックフリーランス 人月
160万円
・多種多様なWebエンジニア
・多種多様なWebクリエイター
・Web/UIデザイナー
ハイパフォエンジニア 人月
130万円
・航空会社システムエンジニア
・FinTech関連立ち上げ
・消費財メーカーECサイト構築
・上流工程ITコンサル案件
Midworks
(ミッドワークス)
人月
160万円
・UIデザイナー
・Scala(スカラ)エンジニア
・ブロックチェーン(C#)
・AIエンジニア(Python)
・アプリエンジニア(Swift)
・Ruby(ルビー)エンジニア
techcareer freelance
(テックキャリアフリーランス)
人月
120万円
・サーバーサイドエンジニア
・アプリエンジニア
・フロントエンドエンジニア
・UI/UXデザイナー
Pe-BANK
(ピーイーバンク)
人月
200万円
・経験豊富なエンジニア
ハイパフォコンサル
(High-Performer Consultant)
人月
200万円
・航空会社システム移行推進PMO
・SAPシステムの再構築
・データイノベーション推進支援
ビッグデータナビ
(BIGDATA NAVI)
人月
150万円
・データサイエンティスト 
・SREエンジニア 
・レコメンドアルゴリズム構築 
・ビッグデータ基盤構築 
・各種データ解析 
・DevOpsエンジニア
ワークシップエージェント
(Workship AGENT)
人月
80万円
・UI/UXデザイナー 
・AngularJSエンジニア 
・Node.jsエンジニア 
・フルスタックエンジニア 
・広報/人事フリーランス 
・財務/ファイナンス 
・プランナー/マーケター 
・編集/ライター
ポテパンフリーランス 人月
100万超
・エンジニア
※特にRuby on Rails(レイルズ)
ITプロパートナーズ 人月
130万円
・Laravel開発エンジニア
・Salesforceエンジニア
・PHPエンジニア
・iOSエンジニア
・Androidエンジニア
・PHPエンジニア
・AWSサーバーエンジニア
・Javaサーバーエンジニア
・React.JS開発エンジニア
・UI/UXディレクター
・SEM広告ディレクター
・SEOディレクター
・Webディレクター
クラウドテック
(Crowdtech)
人月
120万円
・フロントエンドエンジニア
・Webデザイナー
・Webエンジニア
ギークス
(geechs job)
人月
100万円
・アプリエンジニア
・ゲームエンジニア
・ゲームデザイナー
エンジニアルート
(Engineer-Route)
人月
75万円
・Webデザイナー 
・フロントエンドエンジニア 
・AIエンジニア
みらいワークス 
(FreeConsultant.jp)
人月
180万円
・業務コンサルタント 
・ERP導入コンサルタント 
・PMO/SAP/BPR/PM
flexy 
(フレキシー)
人月
100万円
・アプリ開発エンジニア 
・PHPエンジニア 
・UI/UXデザイナー
Waris 人月
100万円
・営業/マーケター 
・コンサルタント 
・広報担当
ザッピーリンク 人月
160万円
・Webディレクター 
・Webライター 
・Webメディア編集者 
・Webマーケター

↑引用: https://web-director-lifehack.info/freelance-agent-refer/

タグ

いろいろ, うち, エージェント, エンジニア, お仕事, クラウド, こと, サイト, それなり, たら, フォロー, フリー, ランス, リモート, ワーク, 仕事, 代理人, 体制, 前提, 単価, 大体, 強み, , 方法, 最高, 条件, 東京, 案件, 検索, 比較, 現場, 経験, 職種, 表示, 関東, 関西,

眩(くらら)?北斎の娘?が良かったー!

2019.11.09

Logging

眩(くらら)?北斎の娘?というドラマがNHKで放送されていたのですが
これ、かなり大好きな作品です。内容が良いです、ほんとに。

モノづくりをしている=クリエイターがみると
共感できるところがあるじゃないかなとそんな内容が散りばめられています。

そんな 眩(くらら)?北斎の娘? がBlu-rayで発売されていました。
やっぱりなと、発売してほしいという人がいるだろうなと
自分が検索したときにはNHKオンデマンドで視聴も出来なかったのですが
いまでは視聴も出来るようになっています。

尚、葛飾北斎の娘役で宮崎あおいさんが出演しています。

7月27日発売!眩(くらら)~北斎の娘~ PR動画

NHKオンデマンド: https://www.nhk-ondemand.jp/goods/G2017081436SA000/

追記2021:眩(くらら)?北斎の娘?を購入しました。

タグ

000, 2017081436, 2021, Blu-ray, goods, https, jp, NHK, nhk-ondemand, SA, www, あおい, いま, オンデマンド, かなり, くらら, クリエイター, これ, たー, とき, ところ, ドラマ, ほんと, もの, , 作品, 共感, 内容, 出演, 北斎, , 娘役, 宮崎, 放送, 検索, 発売, , 自分, 葛飾北斎, 視聴, 購入, 追記,

自分の務めてる会社の1次入社試験(過去問)

2019.10.12

Logging

自分の務めてる会社の入社試験(過去問)です。
これぐらいのことは出来てもらわないと困るという事で出題したのですが
どうもこの問題難しいのか?
ここまで漕ぎ着けて採用された人はひとりしかいない。
大手の会社にはこんなの簡単だよという人は
たくさんいると思いますが、自分の務めてる会社は
どちらかと言えば零細企業です。
こういう問題出しても中々、解けない人が多くて
採用まで至らないのが現状です。
※今は募集していません。
■問題
郵便番号入力すると検索結果を表示するようにせよ。
また下記の条件を満たしていることとする。
1.サジェスト機能がある。
2.PHP言語を使用。
3.非同期処理。
単なるこれだけでも、中々出来る人が来ない。
これが零細企業地方の現状です。
https://zip358.com/tool/postal_code_search/

タグ

, 2, , 358, Code, com, php, postal, search, tool, zip, ここ, こと, これ, これぐらい, これだけ, サジェスト, たくさん, どちらか, ひとり, また下, 中々, , , , 企業, 会社, 使用, 入力, 入社, 処理, 出題, 募集, 同期, 問題, 地方, 大手, 採用, 条件, 検索, 機能, 現状, 番号, 簡単, 結果, 自分, 表示, 言語, , 試験, 過去問, 郵便, 零細,

動画を無音声に変換するバッチ

2019.09.28

Logging

こらからプログラムしている所のVlogを撮ろうと
月曜日に、WEBカメラを新調しました。
いざ撮影してみると部屋の雑音などが入ってしまうので
音声カットする方法は無いのかなと
フリー編集ソフトをググっていたのだけど
フリーの動画編集ソフトは動画の最初に開発会社のロゴが
表示されるものが多くて何だかやだなーと思い
断念、よくよく考えると自分プログラマーじゃないかということを
思い出しffmpegの存在を思い出して、、、。
ffmpegで無音声で検索すると音の切り離しができる事を知り
バッチを作る事が出来たのでその方法をおすそ分け。
Windows用のffmpeg(解凍したフォルダffmpeg)がC:の直下に入っているとした場合の
バッチです、尚、解凍したフォルダはffmpegに名前変更済とします。
下記のコードをテキストファイルにコピーしてその後、拡張子をbatと変更し
お使いください。動かない場合、下記のプログラムを正しく理解するか
知り合いのIT関係者にヘルプしたら大体の方はわかると思います。
※環境変数には登録していないのでexeにパラメータを渡します。

@echo off
set /P INMP4="動画ファイル名(絶対パス)を入力ください"
set /P OUTMP4="出力動画ファイル名(絶対パス)を入力ください"
cd C:ffmpegbin & ffmpeg.exe -i "%INMP4%" -vcodec copy -an "%OUTMP4%"
echo "complete"

 
無事、無音声の動画に音楽をYOUTUBEで付与することが出来ました。
https://www.youtube.com/watch?v=0-0FH3iaEP4

タグ

Bat, ffmpeg, Vlog, web, Windows, おすそ分け, お使い, カット, カメラ, コード, こと, コピー, ソフト, だなー, テキスト, バッチ, , ファイル, フォルダ, フリー, プログラマー, プログラム, もの, ロゴ, 下記, , 動画, 名前, 場合, 変換, 変更, 存在, , , 拡張子, 撮影, 断念, 新調, 方法, 最初, 月曜日, 検索, , 直下, 編集, 自分, 表示, 解凍, 部屋, 開発, 雑音, , 音声,

SQLの無知さ加減。

2019.07.13

Logging

select id,namae,furigana
from passport
where id = ANY(select id from travellist where namae like "田中%");

自分のSQLに関しての無知さ加減は半端ないと思います。
メンターがいないので自分で調べないといけないのです、
こんな構文すら知らなかったのは痛い。
サブクエリの存在は前から知っていたのですが、ANYを前に
付けると、複数のHITにも対応できることを知った。
ちなみに更新作業や削除作業の際に
主キーを検索対象に入れていないと処理がもっさりします。
そう考えると一番最初に働いていたIT会社のSQLは
今思うと初歩的な構文が多かったのかもしれない。
何気ない事なのかもしれないけど
動いていた構文に追加対応とか行う際にもっとその構文を
解析すれば良かったなと思います。
やはりSQLで行ったほうが早いことって結構あります。
 

タグ

ANY, from, furigana, HIT, ID, IT, like, namae, passport, select, SQL, travellist, where, キー, クエリ, こと, サブ, はり, メンター, , , 会社, 作業, 処理, 削除, , 加減, 半端, 存在, 対応, 対象, 更新, 最初, 検索, 構文, 無知, 田中, 自分, 複数, 解析, 追加, ,

tensorflowは簡単にインストールできるけど、そこから何やれば

2019.02.09

Logging

tensorflowは簡単にインストールできるけど、そこから何やれば
良いのか、よくわからない。
いま流行りの人工知能ですが、こういうこと出来るよってのは
知っている、例えば画像の仕分けとか。
そこからオリジナルに適応できないのだ。
若造なら画像収集とか考えそうです、、、えぇぇ。
10代なら若気の至りだろうけど、40代間近になると
さすがに無いなと思うわけです。
収集していたらグロ画像が釣れそうな気がしますし
怖くてできません。ちなみに
逃げるは恥だが役に立つグーグル画像検索ダウンロードコンソールアプリを
公開しているのですが、これ変更すればえぇまぁ出来そうですね。
■人工知能を仕事で活用するならば。
人工知能で出来ることで、人の顔にモザイクをかけることが出来るということ。
他には、画像の仕分けとか、本屋さんで小耳に挟んだことですが
工事現場とかでは結構写真を取らないといけないらしく
それを分別するのが面倒だとか、
こういうのには人工知能は大活躍しそうですね。
 

タグ

10, 40, tensorflow, アプリ, いま, インストール, オリジナル, グーグル, グロ, こと, これ, コンソール, さすが, そこ, ダウンロード, モザイク, , 人工, 仕事, , 公開, 写真, 収集, 変更, 小耳, 工事, , , 本屋, 検索, , 活用, 現場, 画像, 知能, 簡単, 若気, 若造, 適応, 間近, ,

google NewsをRSSで取得してjsonで返却するPHPプログラム

2018.12.22

Logging

<?php
//$_POST["sh"]...検索キーワード 
if ($_POST["sh"]) {
	$sh = urlencode(@xss_defence($_POST["sh"]));
	$res = simplexml_load_file("https://news.google.com/news/rss/headlines/section/q/$sh/?ned=jp&hl=ja&gl=JP");
	rss($res);
}
function rss(object $obj = null):void
{
	if (isset($obj->channel->item)) {
		if ($obj->channel->item) {
			$cnt = 0;
			foreach ($obj->channel->item as $item) {
				$result[$cnt]["title"] = (string)$item->title;
				$result[$cnt]["link"] = (string)$item->link;
				$result[$cnt]["pubDate"] = (string)$item->pubDate;
				$result[$cnt]["description"] = (string)$item->description;
				$result[$cnt]["source"] = (string)$item->source;
				$cnt++;
			}
		}
	}
	echo json_encode($result);
}

function xss_defence(mixed $val):mixed
{

    if(!isset($val))return false;
    if(is_array($val)){
        foreach ($val as $key => $value) {
            # code...
            $val[$key] = strip_tags($value);
            $val[$key] = htmlentities($val[$key],ENT_QUOTES);
        }
    }else{
        $val = strip_tags($val);
        $val = htmlentities($val,ENT_QUOTES);
    }
    return $val;
}

google NewsをRSSで取得してjsonで返却するPHPプログラムです。
ご自由にご使用ください。

タグ

0, channel-, cnt, com, defence, file, foreach, function, gl, Google, gt, headlines, hl, https, if, isset, item, ja, jp, json, load, lt, ned, News, null, obj, object, php, POST, quot, res, RSS, section, sh, simplexml, urlencode, void, xss, キーワード, プログラム, 取得, 検索, 返却,

たぶん今までのSEOが有効じゃなくなる時代へ。

2017.10.31

Logging


たぶん今までのSEOが有効じゃなくなる時代へ
突入するだろうと思っています。
何故ならAIの進化が目覚ましいから、そしてビックデータの活用も
かなりに凄いところまで来ている。AIとビックデータは相性が良い、
そして、検索はAIを試すには最高の場所だと感じます。
一人ひとり違う、検索結果が表示される時代へ突入するだろうと
そして、検索はAIを駆使してページの優越を判別するようになる。
いままで何気ない挿絵として入れていたものまで良いか悪いかなどの判断基準に
なり、今までSEOだけを意識して書いていた記事は
ランクが下げられることも起こりうると思っています。
AI(人工知能)は文章の良し悪しを判断することは可能かと思います。
あと数年で今までのSEOは有効性を失うじゃないだろうかと
その時に生き残れるのは、おそらく口コミで評価の高いサイトだけだと。
たぶん、AIの進化は一般の人達が思っている以上に
進化は速いですよ。

タグ

AI, SEO, シンギュラリティ, ビックデータ, ランク, 一人ひとり, 人工知能, 人類, 何気ない挿絵, 優越, 判断基準, 時代, 有効性, 検索, 生命, 良し悪し, 近いエッセンス版, 進化,

サイトのテコ入れ。

2017.10.05

Logging


サイトのテコ入れを行うことに
このサイトはアクセス数はまぁまぁあるのでテコ入れはしません。
ですが、その他のサイトは雀の涙程度のアクセス数しかないので、モール関係のサイトの
テコ入れを行うことに決めました。
検索に引っかかりやすい作りにするには、
ゴネゴネとプログラムで作って
固定ページが有るかのようにサイトを作り直さなければ、
おそらく検索には拾ってもらえないだろうから、下記のことを行うことに、
まず、必要な単語リストを生成し、その生成した単語からページを生成する。
容量はかなりあるので、動的なサイトより静的なサイトで
ページを構築します。問題は単語リストをどうするかなのです・・・。
単語リスト=辞書データなのですが
このフリー版を見つけるのが一苦労しそうです。
静的なサイトは辞書データが見つかれば
そのデータを元にバッチ処理(一括処理)を行えば
何とかなりそうなのですが。。。。
問題は辞書データかなと。。。。
 

タグ

アクセス数, かなり, サイト, その他, テコ入れ, バッチ処理, フリー版, プログラム, モール関係, 一括処理, 下記, 作り, , 単語リスト, 問題, 固定ページ, 容量, 検索, 辞書データ, 雀の涙程度,

サイトの評価さげても意味はない。

2017.09.18

Logging


サイトの評価さげてもアクセス数を減らしても
意味はあまりない。もともと、このサイト、じぶんの日記として
始めたサイトなのでアクセス数が減ろうがグーグルの評価をさげても
続けるので、何一つ意味は無いかな。
このサイトの評価を下げるために何かしら
無駄な努力をしている人がいるのだけど、自分にとっては
無駄な時間を費やしているようにしか思えないのですね。
このサイトはグーグルの評価が下がって検索にヒットしなくても続けます。
最初は馬鹿にしていたと思いますが、毎日続けることの重要さは
日に日に増してきているのではないでしょうか?
無駄な努力はしなくても良いと自分は思っています。
一番無駄な努力とは人を毎日のように非難することです、これは一番無駄な努力です。
他者を非難することで自分の評価が上がることはないです。
むしろ下がる一方ですよ。
 
 

タグ

7, アクセス数, グーグル, サイト, じぶん, 一方, , 他者, 意味, 日記, 時間, 最初, 検索, 評価, 重要さ,

超それ!機械学習、 TensorFlow!!

2017.09.02

Logging


機械学習でどんな事出来るの?
勝手に勉強してくれるお利口さんな機械学習もあるけれど
オープンソースで提供している機械学習ってのは大体、前もって
答えを与えておいて、そこから判別するものがある。
今回、某検索サイトが提供しているTensorFlowでどんな事が出来るのだろうと
思い、ネットサーフィンしていたら、面白い記事を見つけました。
なんと、Raspberry PiとTensorflowをつかってきゅうりの仕分けができるというシステムを
開発した人がいました。この記事を読んでまさに「超それ!」
https://cloudplatform-jp.googleblog.com/2016/08/tensorflow_5.html
自分が思い描いていた機械学習でできることだと!

いやホントに凄いな、機械学習っていうのは
これからの花形になっていく存在だとつくづく思ってしまいました。
これか先、AIを作る層、AIライブラリやAI、APIを使う層、そしてAIを使う層に
別れていくだろうと思います。じぶんみたいな凡人開発者はAIを作る層には入れないですが、
AIライブラリやAI、APIなどを活用できるようにしないと、
今後、この業界で生き残っていくのは難しいじゃないかなと思っています。
なぜ、そう痛感しているのかと言えば
機械学習で検索すると数年前まではあまりヒットしなかったのに
去年あたりからな。いろいろな人が技術をオープンで公開し始めています。
この動きは止まることはないのではないかと思うのが一番の理由です。
ちなみに自分はあるサーバでTensorflowをインストールして動かしています。
まだ、テストを動かして遊んでいるぐらいで、じぶんでゴニョゴニョ開発しているわけではないです。
開発する前にやらないといけない事があるので、そちらが終わってから
Tensorflowコードをパクりながら学習しようかなと考えています。
https://www.youtube.com/watch?v=4HCE1P-m1l8
ちなみにtensorflowの公開をしますとか、言っていてからもう一年ぐらい
経過しているのかもしれません。すみません、じぶんは阿呆なので
もう少し理解するまでお時間が必要です。噛み砕いて提供できるまでには
結構、時間が必要かもしれません。
じぶんを機械学習したいこの頃でした・・・(´・ω・`)。
 

タグ

08, 2016, 5, AI, API, cloudplatform-jp, com, googleblog, html, https, Pi, Raspberry, tensorflow, オープン, お利口, きゅうり, けが, こと, これ, サーフィン, サイト, システム, ソース, そこ, それ, ネット, ホント, もの, ライブラリ, , , 今回, 仕分, , 判別, 勉強, 勝手, 大体, 存在, 学習, , 提供, 検索, 機械, 答え, 自分, 花形, 記事, 開発,

非公式土佐電つぶやきBOTが完成したが速攻ロックされた件。

2017.07.31

Logging


非公式土佐電つぶやきBOTが完成したが速攻ロックされた件だけど
正直な所、少し予想はしていました。
世の中、よく思わない人々がいることは確かなことです。
今回の非公式土佐電つぶやきBOTの制作経緯ですけど・・・
作ろうと構想をねってから5年ほど月日が流れていたモノなんですね。
何故、ここまで時間がかかったかというと土佐電交通の時刻表が簡単に
プログラムで抽出することが不可能なんです。
なので・・・。
当初は人力でデータを入れ込もうと考えていました。
これが一番、長引く原因になったわけです、データを登録しようと
何度も頑張ってみたのですが、情報量が多いので途中で挫折すること何度か。
結局これでは埒が明かないので、
他の方法を考えた結果、WEBストライピングするという事です。
要はサイトのデータ抽出することで解決したのですが、
公式ページはあんな感じなので、よくある電車検索サイトから
データ抽出してきました。
路面電車の時刻表を検索できるサイトを
探すのに手間がかかりましたが、抽出事態は、一日ぐらいで
コーディングする事で何とかなりました。
ちなみにある大手の検索できるサイトからデータを抽出しています。
今回、作って思ったことは
公式ページがPDFじゃなく電車の時刻表が検索でき時刻表が表示されるサイトを作ったら
良いのにと思いました。バスアプリは作っているのに・・・。
https://twitter.com/tosaden_net

{非公式}土佐電時刻表検索を始めました。
https://tosaden.net/

タグ

5, BOT, web, ここ, こと, これ, サイト, ストライピング, データ, プログラム, ページ, もの, ロック, わけ, 不可能, , , 予想, , 交通, 人々, 人力, 今回, , , 何度, 何度か, 何故, 公式, 制作, 原因, 土佐, , 完成, 少し, 当初, 情報, 感じ, , 抽出, 挫折, 方法, 時刻表, 時間, 月日, 検索, 構想, 正直, 登録, 簡単, 経緯, 結果, , 解決, 途中, 速攻, , 電車,

SSH.NETでSFTPとSSHの接続を確立させるまでの過程。

2016.12.11

Logging

SSH.NETでSFTPとSSHの接続を確立させるまでの過程。
ソースコードは下記です、あくまでも触りなのでココからご自分で考えて作り変えてください。ちなみにSSH.NETのライブラリを入手するには拡張機能からNuGet Package Managerという拡張機能を追加するとツールのNuGetパッケージマネージャーが現れるので、ソリューションのNuGetパッケージ管理からSSH.NETと検索しインストールすることによりライブラリが使用できます。

using System;
using System.Collections.Generic;
using System.ComponentModel;
using System.Data;
using System.Drawing;
using System.Linq;
using System.Text;
using System.Threading.Tasks;
using System.Windows.Forms;
using System.IO;
using Renci.SshNet;
using Renci.SshNet.Common;
using Renci.SshNet.Sftp;
namespace ftp
{
    public partial class Form1 : Form
    {
        String Host = "168.192.11.1";
        int Port = 22;
        String RemoteFileDIR = "/root/";
        String LocalDestinationDIR = "C:\\Users\\hoge\\Documents\\BACKUP\\";
        String Username = "admin";
        String Password = "hogehoge";
        public Form1()
        {
            InitializeComponent();
        }
        private void button1_Click(object sender, EventArgs e)
        {
            ssh_cmd();
        }
        private void dl(string filename) {
            using (var sftp = new SftpClient(this.Host, this.Port, this.Username, this.Password))
            {
                sftp.Connect();
                using (var file = File.OpenWrite(this.LocalDestinationDIR + filename))
                {
                    sftp.DownloadFile(this.RemoteFileDIR + filename, file);
                }
                sftp.Disconnect();
            }
        }
        private void ssh_cmd() {
            SshClient ssh = new SshClient(this.Host, this.Username, this.Password);
            ssh.Connect();
            string command = "cd /root && ls";
            string[] str_result;
            string str_results;
            char ptn ='\n';
            int i =0;
            var result = ssh.RunCommand(command);
            //MessageBox.Show(result.Result);
            str_results = result.Result;
            str_result = str_results.Split(ptn);
            ssh.Disconnect();
            for ( i = 0; i < str_result.Length; i++) {
                //MessageBox.Show((str_result[i]));
                if (str_result[i] != "")
                {
                    dl(str_result[i]);
                }
            }
        }
    }
}

タグ

Collections, ComponentModel, data, Drawing, Generic, Linq, Manager, net, NuGet, Package, SFTP, SSH, System, Tasks, Text, Threading, using, インストール, コード, ココ, こと, ご自分, ソース, ソリューション, ツール, パッケージ, マネージャー, ライブラリ, 下記, 使用, 入手, 拡張, 接続, 検索, 機能, 確立, 管理, 追加, 過程,

クローラーするサービスの基礎。

2016.11.19

Logging

クローラーするサービスの基礎のソースを載せときます。殆どサイボウズ・ラボの人が書いたコードです。
このサンプルソースをそのまま貼り付けても一階層のリンクしか取得できません。
再帰処理の部分をコメントアウトしているからです。ちなみにコメントアウトを外してもメモリオーバーでおそらく
大体のサーバでエラーが出力されます。どうしたら良いのかといえば、DBに1階層目のリンクデータ、2階層目のリンクデータという様に保存する機能を施す。次にajaxで階層を受け渡しながら、再帰処理を行う。
再帰処理が終わる要素はそれ以上、下階層がないことを判断する。そのためには保存したデータを検索することが重要になる。=(イコール)
新規にデータを登録しているうちは、再帰処理を終わらせないようにすることが大事になる。
これの機能を加えることで巡回する事が可能になる。ここで注意しないといけないのが、外部リンクを保存しないことです。外部リンクまで保存していると巡回は永遠に終わらないでしょう・・・。
トイウコトデ
ほぼ??コピペソースを貼っときます。

<?php
echo json_encode($obj);
exit;
function get_linkarray($link)
{
	$context = stream_context_create(array("http" => array("method" => "GET", "header" => "User-Agent: simplecrawler.library.php 0.0.1")));
	$resultR = array();
	$resultS = simplecrawler($context, $link, $link, parse_url($link));
	foreach ($resultS as $k => $v) {
		$resultR[] = $v;
	}
	return $resultR;
}
function simplecrawler($context, $link, $burl, $base, $linkArrayDat = array())
{
	$linkArrayPre = crawler_link(crawler_page($link, $burl, $base, $context), $link, parse_url($link));
	foreach ($linkArrayPre as $k => $v) {
		if (!isset($linkArrayDat[$v])) {
			$linkArrayDat[$v] = $v;
			//$linkArrayDat = array_merge($linkArrayDat, simplecrawler($context, $v, $burl, $base, $linkArrayDat));
		}
	}
	return $linkArrayDat;
}
function crawler_page($link, $burl, $base, $context)
{
	if (strpos($link, $burl) === 0) {
		$page = @file_get_contents($link, false, $context);
		return $page === FALSE ? null : $page;
	} else {
		return null;
	}
}
function crawler_link($page, $burl, $base)
{
	$linkArray = array();
	if ($page === null) {
		return $linkArray;
	}
	preg_match_all("/[\s\n\t]+href\s?=\s?”(.*?)”/i", $page, $href);
	for ($i = 0; $i < count($href[1]); $i++) {
		$link = $href[1][$i];
		if (preg_match("/^http(s)*\:\/\//", $link)) {
			$result = $link;
		} elseif (preg_match("/^\/.+$/", $link)) {
			$result = $base["scheme"] . "://" . $base["host"] . $link;
		} else {
			// echo $base["path"] . “\n”;
			$b = preg_split("/\//", dirname($base["path"]));
			$t = preg_split("/\//", $link);
			foreach ($t as $v) {
				$l = $v === "." ? true : ($v === ".." ? array_pop($b) : array_push($b, $v));
			}
			$result = $base["scheme"] . "://" . $base["host"] . join("/", $b);
		}
		$linkArray[$result] = $result;
	}
	return $linkArray;
}

タグ

, 2, ajax, db, アウト, イコール, うち, エラー, オーバー, クローラー, コード, ここ, こと, コメント, これ, サーバ, サービス, サイボウズ, サンプル, ソース, それ, ため, データ, トイウ, メモリ, ラボ, リンク, , , , , 保存, 再帰, 処理, 出力, 判断, 取得, 可能, 基礎, 外部, 大事, 大体, 巡回, 新規, 検索, 機能, 殆ど, 永遠, 注意, 登録, 要素, 部分, 重要, 階層,

OK Google?からOK human?に。

2016.07.17

Logging


土曜日は雨だと言っていたのですが、土曜日の朝は
上天気でしたね。来週の後半は雨が降る模様です。雨が降るのを
期待しているわけではないのです。ただ、雨が降ると
過ごしやすいなと感じたりします。
今日のお題は「OK Google?からOK human?に。」です。
コードを書くことが仕事な自分ですが、結構な頻度で検索に頼ってます。
検索に頼りきっているわけでもないのですが、やはりメソッド名ぐらいは
覚えておいたほうが良いなと思います。自分の場合、いろいろな
言語にまたがって仕事や私用でコードを書くことがあるので
あやふや化している所があるのですが、仕事で使う言語ぐらい
覚えておいたほうが良いなと感じだしました。
検索って仕事をする中では非効率な作業の中に
入ると自分は思っています。そういう観点からもやはりいつも
使用するPHP言語は覚えておいて損はない気がします。
ちなみに良く使うメソッドでexplodeとimplodeがあります。
このメッソドは下記のような機能になりますが、
いままで、どちらがどの機能だったのかが曖昧でしたが
この頃、英語の意味から覚えたほうが早いと思い
片方を覚えたら、もう片方も覚えた次第です。
良く使うものから、徐々に検索離れをしようと思います。
どうなることか・・・。
(文字列を配列を分解する機能と配列を文字列化する機能)

タグ

B00D3SKT0W, DVD BOX X, explode, implode, OK Google, OK human, コード, なるこ, メソッド, メッソド, 上天気, 土曜日, 文字列, 検索, 機能, 片方, 言語, 配列,

これから先のSEO、AI:SEOというものなのかも。

2016.07.02

Logging


これから先のSEO、AI:SEOというものなのかもと下記の記事を
読んでそう思いました。
人工知能はSEOを一変させる―Google RankBrainを知らない対策が危険な理由
今はAIとSEOのハイブリッドみたいなものですけど
今後、AIがサイトの内容を理解していくと、トラフィックの流れや
サイトの内容によって検索順位を変動させることに成ると思います。
もうひとつ言えることは、今でもそうですが
検索順位が意味をなさなくなるという問題もあります。
人や場所によって、検索順位が変動することによって
従来のSEOは意味をなさなくなるという事です。
じゃ、どうすれば良いのかといえば
品質の良い情報を吐き出すことと、SNSの活用することの
2つだと思います。この事が人工知能SEO対策の一番有効な
対策だと感じました。
良いサイト、悪いサイトを人工知能が分別し学習するのは
そんなにも時間はかからないと思います。

タグ

―Google, 2, AI, RankBrain, SEO, SNS, こと, これ, サイト, トラフィック, ハイブリッド, もうひとつ, もの, 一変, 下記, , , 人工, , 今後, , 内容, 分別, 危険, 品質, 問題, 場所, 変動, 学習, 対策, 従来, 情報, 意味, 時間, 有効, 検索, 活用, 理由, 理解, 知能, 記事, 順位,

いまの人工知能っていうのは意識というものは無いけれども。

2016.06.17

Logging

いまの人工知能っていうのは意識というものは無いけれども
マニュアルがあるモノは全て人工知能で代替できると自分は思っています。
(人工知能に意識は必要ないとも思います。)
なので、いまの仕事の殆どは最終的には人工知能を積んだロボットが代行すると思っています。人は仕事をしなくなったらどうなるのだろうか?

AlphaFold: The making of a scientific breakthrough


逆に言えばロボットに仕事を課すことによって人はもっと人間らしい生き方ができるようになるかもしれないし、いまの様にお金という概念に執着心や左右される事無く生きていけるのかもしれないと思っています。
おそらく、人工知能+ロボット+クラウドで今後、20年?30年で世の中、結構変わるじゃないかな?
今後50年後でロボットと人工知能がかなり社会に浸透していくと思うわけです。
ザ・セカンド・マシン・エイジという分厚い本の中にもそのような事が書かれていました。
望まなくとも研究開発は日々進んでいます、グーグル検索などやsiriなどを使ったことがある人なら、その時点で人工知能のサービスを使っていると言えます。おそらく5年後のオリンピックで自動運転車が東京では走っているでしょうし、その後、日本では自動運転車が浸透していくと思います。
5年後なんてあっという間にきます。
その頃には、世の中どうなっているのかと思うと、ワクワクしますね。
人工知能搭載されたロボットが至る所で活躍している世の中をこの目で早く見てみたいものです。
その頃には人は、今よりも宇宙へ目を向けていると思います。

タグ

20, 30, 50, siri, いま, エイジ, お金, かなり, グーグル, クラウド, こと, , セカンド, マシン, マニュアル, もの, ロボット, , , , , 人工, 今後, 仕事, 代替, 代行, 全て, 執着心, 左右, 意識, 日々, , 検索, 概念, 殆ど, 浸透, 生き方, 知能, 研究, 社会, 自分, , 開発,

誰もSEOについて語らなくなってきている。

2016.06.12

Logging


誰もSEOについて語らなくなってきている。
SEOの攻略法って基本的にソーシャルメディア以外なし。
もうひとつ付け加えるとするならば、今までのアクセス数はそのサイトの信用となりうるという事です。
ドメインも買えないならば、日々、記事を書き続けることにしか、チャンスはないとも言える。
自分が出した、いまの結論です。
簡単にいえば、サイトの構造というのは意味をなさない。javascriptのエラーが吐かれていないかとかは、注意はした
方が良いですが・・・。
※昔からあるサイト構造をガラッと変えるのはリスクを伴います。
YOUTUBEなどを貼り付けてたら、JSエラーを吐き出したりしますが、さほど、影響はないに等しいです。
そんな事より、サイトの中身を充実させたほうが今は良いんですね。どこから訪問者が来たか、検索キーワードが
何なのか分からなくなってきている中で、どうすればアクセス数が増えるかなど分かりづらくなっています。
アクセス数は百の壁、千の壁、1万の壁という様に壁があります。凡人が超えれる壁は千の壁までだと自分は
思っています。日に1000人のアクセス数を出すことは不可能ではないです。ただ、1万の壁を超えるのは難しい。
その壁を超えるには広告やメディア戦略が必須となります。なのでお金もかけないでアクセス数をUPするには
ソーシャルメディアを活用することをオススメします。
[余談]
なぜ、昔からのサイト構造を一気に変更するのにはリスクを伴うのか?
答えは簡単で、クローラーが今まで見に行っていたURLが急に見えなくなると、このサイトは移転した可能性があるという判断をするため、急激に検索順位が下がっていく可能性あります。
検索アルゴリズムは移転という可能性を排除しないからです。
なので文言や旧ファイルは残しておく事が一般的です。
?

タグ

, javascript, JS, SEO, youtube, アクセス, いま, エラー, キーワード, こと, サイト, ソーシャル, チャンス, どこ, ドメイン, メディア, もうひとつ, リスク, , , 中身, , , , 信用, 充実, , , 影響, 意味, 攻略, , 日々, , 検索, 構造, 注意, , 簡単, 結論, 自分, 記事, 訪問者, ,

映画、マネー・ショート 華麗なる大逆転が面白そう。映画の上映は3月4日から。

2016.01.24

Logging

映画、マネー・ショート 華麗なる大逆転が面白そうです。
映画、マネーボールの原作者が描き出すリーマン・ショックの真実!!
この映画、米国では2015年に上映しているので海外のブログ記事を検索するとネタバレの記事などがヒットします。
ネタバレ見ても見ないでもこういう映画は実際観てみないと面白いのかどうかはわからないと思うわけですが!!
マネーボールは観終わったあとに、じわっと来る良さが有りました。
今回のマネー・ショートは痛快感がありそうな映画に仕上がってそうです。
映画の予告を見る限りの話ですが・・・。
日本での映画の上映は3月4日からです。
追記:感想をUPしましたのでこちらもどうぞ!!

『マネー・ショート 華麗なる大逆転』 予告(90秒)

タグ

2015, , 4, UP, あと, こちら, ショート, ショック, ヒット, ブログ, ボール, マネー, リーマン, 上映, 予告, 今回, 原作者, 実際, , 感想, 日本, 映画, 検索, 海外, 痛快, 真実, 米国, , 記事, , 追記, 逆転, 限り,

これからは独自のサイトはあまり要らないのかも。

2015.11.14

Logging


これからは独自のサイトはあまり要らないのかも。
サイトの代わりに、これからはSNSやアプリでネットに繋がることが
多くなっていく気がします。
いままでオープンWEBに繋いで見ていたものが
クローズWEBにシフトしていっていると思います。
グーグルやヤフーで検索する機会が
少なくなるとという事も増えそうですね。
米国のFacebookでは
ユーザーの情報(投稿記事)を検索できるようになりました。
日本でも来年にはアカウントがあれば、オープンに
している情報を他のユーザーが検索可能になりますし
また、友達同士で公開しているものも友達なら
検索可能になります。
アカウントやアプリがあれば
情報の共有ができるけれどなければ
情報を獲れないというふうになって
行くと思います。
 

タグ

Facebook, SNS, アカウント, アプリ, グーグル, クローズWEB, サイト, ネット, ヤフー, ユーザー, 代わり, 共有, 友達同士, 情報, 投稿記事, 日本, 来年, 検索, 機会, 米国,

こういうのをバズった言うのかな?

2015.10.19

Logging


イケダハヤトさんから言えば超ミニバズったという分類に
分けられると思います。自分としては「バズった」って言います(゚∀゚)。
基本情報技術者の試験が昨日あったので
その解答を載せたらバズりました。
バズった後は、アクセス数がガックっと落ちる時が
あります。それがどうしてなるのか・・・。
グーグルさんやヤフーさんしか、分からないことです。
ちなみに昨日の訪問者はグーグルやヤフーを経由して
見に来た人よりSNS経由で見に来た人が
断然多かったです。
今の時代、検索よりSNS対策が重要だなと
ヒシヒシと感じました。
SNSの拡散や友達から友達へと
情報の共有がバズるキッカケだと感じました。
人工知能の進化しその機能を
検索に活用するようになれば、また違った
経由方法で訪問するようになると思いますが
今のところSNS対策が重要だなと
感じました。
少し前に人工知能がアレなんでSNS対策なんて
いらないよと言っていましたが、当分、SNSは
大事なSEO対策だと思います。
ちなみに昨日は400PVしました。このブログを
立ち上げて2番目か3番目に多いです。

タグ

SNS対策, SNS経由, アクセス数, イケダハヤト, ガック, きっかけ, キッカケ, グーグル, ソーシャルメディア文章術, ところSNS対策, バズ, ヤフー, 人工知能, 共有, 友達, 基本情報技術者, 拡散, 検索, 経由方法, 解答, 訪問者, 超ミニバズ,

windows10になってMSDOSに付いた機能。

2015.08.27

Logging


windows10になってMSDOSに付いた機能の中に透過機能がつきました。これは便利だなと思います。LinuxやMacには数年前からこの機能はあったので・・新鮮さは感じられません。尚、コピーアンドペーストなども使用できるようになっています。あとは文字列の検索なども追加されていますので便利かと思います。詳しくはITメディアを参照してください。
http://www.itmedia.co.jp/pcuser/articles/1508/27/news042.html

タグ

, ITメディア, Linux, Mac, MSDOS, Windows10, コピーアンドペースト, 数年前, 文字列, 新鮮さ, 検索, 透過機能,

クロンを改良しました。前のクロンPHPは恐らくBUGってて。

2015.06.23

Logging


クロンPHPって言っても月や曜日判定はしていません。今回、その判定も行うように変えようと再度、コードを改良しました。前回のコードの約半分ぐらいのコードになってます。土曜日までには、月や曜日の対応を行うようにします。
ちなみにどういう機能をするのかと言いますと、さくらサーバではクロンの制限があります。その制限数以上、使おうとおもって考えたのが、一つのPHPを叩いてクロンがしている事を模倣することでした。
※昨日の話は撤回はしないものの、SEOよりSNSでSEOという考え方に変えました。よくよく考えてみるとアクセス数が多いほど、検索上位表示される確率も増えるのでやはり大事かなとボット。ボットらしくない振る舞いしたボットなら何とか成るかも知れないとも思ってます。

追記2022/09/06:クーロン制限突破方法を記載しています、こちらを参照ください。クーロン制限突破!

command":"cd /home/user/www/user_dir/site/; /usr/local/bin/php cron.php "cron.json"
<?php
//5分刻みに対して有効な無限クローン 処理が負荷の場合どうなるかは知りません。
date_default_timezone_set('Asia/Tokyo');
class cron{

    public function d_m($obj)
    {
            if($obj->m==="*")return true;
            if(preg_match("/,/",$obj->m))return $this->comma($obj->m,date("m"));
            if((int)$obj->m === (int)date("m"))return true;

            return false;
    }

    public function d_d($obj)
    {
            if($obj->d==="*")return true;
            if(preg_match("/,/",$obj->d))return $this->comma($obj->d,date("d"));
            if((int)$obj->d === (int)date("d"))return true;

            return false;
    }

    public function d_H($obj)
    {
            if(preg_match("/\*\/[0-9]{1,2}/",$obj->H)){
                $H = explode("/",$obj->H);
                if((int)$H[1]>0 && ((int)date("H") % (int)$H[1])===0)return true;
            }else{
                if($obj->H==="*")return true;
                if(preg_match("/,/",$obj->H))return $this->comma($obj->H,date("H"));
                if((int)$obj->H === (int)date("H"))return true;

            }
            return false;
    }

    public function d_i($obj)
    {
            if(preg_match("/\*\/[0-9]{1,2}/",$obj->i)){
                $i = explode("/",$obj->i);
                if((int)$i[1]>0 && ((int)date("i") % (int)$i[1])===0)return true;
            }else{
                if($obj->i==="*")return true;
                if(preg_match("/,/",$obj->i))return $this->comma($obj->i,date("i"));
                if((int)$obj->i === (int)date("i"))return true;

            }
            return false;
    }

    //曜日 0=日曜日 6=土曜日
    public function d_w($obj)
    {
            if((int)$obj->w[date("w")]===1)return true;
            return false;
    }

    public  function comma($c="",$t=""){
        if($c==="")return false;
        if($t==="")return false;
        $flg = false;
        foreach(explode(",",$c) as $cc){
            if((int)$cc===(int)$t)$flg = true;
        }
        return $flg;
    }


    public function d_command($obj){
        if($obj->command){
            exec($obj->command . " > /dev/null &");
        }
        return true;
    }

}
if ($argv[1]) {
   $filename = $argv[1];
    if(is_file($filename)){
        $jsn = json_decode(file_get_contents($filename));
        $cron = new cron();
        try {
            foreach($jsn as $obj){
                if($cron->d_m($obj)){
                    if($cron->d_d($obj)){
                        if($cron->d_H($obj)){
                            if($cron->d_i($obj)){
                                if($cron->d_w($obj)){
                                    $cron->d_command($obj);//波動拳{{{{
                                }
                            }
                        }
                    }
                }
            }
        } catch (\Throwable $th) {
            print $th->getMessage();
        }
    }
}
mは月
dは日
Hは時
iは分
wは日曜日から土曜日 0はOFF、1はON
commandは実行コマンド
[
    {
        "m":"*",
        "d":"*",
        "H":"*",
        "i":"*/10",
        "w":[1,1,1,1,1,1,1],
        "command":"cd /home/user/www/user.com/site/; /usr/local/bin/php hoge1.php"
    },
    {
        "m":"*",
        "d":"12,23,28",
        "H":"*",
        "i":"*/15",
        "w":[1,1,1,1,1,1,1],
        "command":"cd /home/user/www/user.com/site/; /usr/local/bin/php hoge2.php"
    }
]

タグ

-Command, 06, 09, 2022, BUG, cd, ho, php, quot, SEO, SNS, アクセス, クーロン, クロン, コード, こちら, こと, サーバ, さくら, ボット, 一つ, 上位, , 今回, 再度, 判定, 制限, , 前回, 参照, 土曜日, 大事, 対応, 撤回, 改良, 方法, 昨日, 曜日, , 検索, 模倣, 機能, 確率, 突破, 約半分, 考え方, 表示, 記載, , 追記,

BOT辞めました{BOTやめるとアクセス減ることは無い?。}

2015.06.22

Logging


BOT辞めました{BOTやめるとアクセス減ることは無い?。}。BOT辞めるとアクセス数は多少減りますが、今後のSEO対策のためにも辞めることにしました。検索会社(googleやyahooなどなど)は、人工知能を検索へ投入する段階へ進んでいます。明らかにボットはSEOからはじかれる存在になります。来年辺りには確実に投入しているじゃないのかな・・・なので辞めます。地道に記事を毎日更新してグーグルに記事を拾われるのを待つことにしました。確かにSNSで発信してボットをつくり、過去記事を再度、SNSへ配信すると人に目にとまる機会は増えますが、やはり何度も同じ記事を目にするということは飽きもきますし、それを見てストレスを感じる人も中に入ると思います。
理由は結構ありますが、ニュース記事でもないので、ボット配信は辞めることに。
追記、撤回、BOTの出現率を調整する事にします( ̄^ ̄)ゞ。 

タグ

BOT, Google, nbsp, SEO, SNS, Yahoo, アクセス, グーグル, こと, ストレス, それ, ため, ニュース, ボット, , , , 人工, 今後, 何度, 再度, 出現, 地道, 存在, 対策, 投入, 撤回, 更新, 来年, 検索, 機会, 段階, 毎日, 理由, 発信, , 知能, 記事, 調整, 追記, 過去, 配信,