tjtjtjのメモ

自分のためのメモです

envoy lds

envoy で lds ができず長いこと格闘していた。原因は RegisterListenerDiscoveryServiceServer していなかったこと。 https://github.com/tjtjtj/envoyprac/blob/7123d878e9e094194d3d200cc4c3ff6527251a46/prac5/prac5.go#L259-L262 時間はかかったが、envo…

envoy stats, config_dump , clusters

control-plane 接続前後の envoy の状態を確認する。 実験手順 前回、あらかじめ実験手順を書いておくと作業しやすいことが分かったw envoy.yaml に admin セクションを追加 envoy 起動 stats 確認 controle-plane 起動 stats 確認 実験 envoy.yaml に admin…

envoy go-control-plane 実験

envoy control-plane を調べていた。control-plane から data-plane に接続するのかと思い込んでいたがそうではなかった。 今の解釈はこんな感じ envoy(data-plane)は Endpoint Discovery Service(EDS) 等のxDSの利用する側。クライアント control-plane は …

hello, grpc

envoy の流れで go-control-plane を小一時間眺めたがよくわからなかった。grpcサンプルを実行したものの書いてないから?ここをアレンジしつつ写経し、ここにおいた。 protoc 導入 windows なので、ここ から protoc-3.8.0-win64.zip ダウンロード -> 展開 …

envoy grpc ロードバランサー

go + grpc インストール Goをインストール cd /usr/local/src curl -O https://dl.google.com/go/go1.12.6.linux-amd64.tar.gz tar -C /usr/local -xzf go1.12.6.linux-amd64.tar.gz PATH通す ~/.bash_profile export GOPATH=$HOME/go export PATH=$PATH:$GO…

envoy HTTPロードバランサー

前回は、envoyを介して外部サービスを参照した。今回は自前クラスタのサービスをenvoyを介して参照したい。 準備 hello 2つ立ち上げる # docker run --rm -d --name hello1 dockercloud/hello-world # docker run --rm -d --name hello2 dockercloud/hello-w…

envoy learn/on-your-laptop

このあたり https://www.envoyproxy.io/learn/on-your-laptop https://www.envoyproxy.io/docs/envoy/latest/start/sandboxes/front_proxy.html Running Envoy https://github.com/envoyproxy/envoy の example/examples/front-proxy に今回の学習環境がある…

Envoy Getting Started

https://www.envoyproxy.io/docs/envoy/latest/start/start Quick Start to Run Simple Example $ docker pull envoyproxy/envoy-dev:89d2b1b1a99c94016253bf666a138e620c46f8b3 $ docker run --rm -d -p 10000:10000 envoyproxy/envoy-dev:89d2b1b1a99c9401…

日本語文章のセンチメント分析

先日の上原浩治投手引退会見ニュースをセンチメント分析にかけてみた。前回はanalyze-entity-sentiment指定したが、entity がよくなかった。今回はanalyze-sentimentでやってみた。 { "document":{ "type":"PLAIN_TEXT", "content":"巨人・上原浩治投手が2…

Entity and Sentiment Analysis with the Natural Language API(英語)

今回は5部構成。 Call the Natural Language API 最初に使用する自然言語APIメソッドはanalyzeEntitiesです。 このメソッドを使用すると、APIはテキストからエンティティ(人、場所、イベントなど)を抽出できます。 request.json { "document":{ "type":"PL…

Cloud Natural Language API: Qwik Start(日本語)

Google Cloud Natural Language API を使用すると、ドキュメントやニュース記事、ブログ投稿に含まれる人、場所、イベントなどに関する情報を抽出できます。ソーシャル メディア上のコメントから商品に対するセンチメント(感情)を把握したり、コールセンタ…

Google Cloud Speech API: Qwik Start(日本語)

cloud shell を使ってみる API キーを作成 音声を確認 https://storage.cloud.google.com/speech-demo/brooklyn.wav ow old is the brooklyn bridge ですかね・ API リクエストを作成する { "config": { "encoding":"FLAC", "language_code": "en-US" }, "au…

go modules quick start

go modules quick start したときのメモを張り付け github.com quick start プロジェクトディレクトリ作成 > md tmp\scratchpad\hello > cd tmp\scratchpad\hello モジュール初期化。go.mod ができるので内容確認 >go mod init github.com/you/hello go: cre…

BigQuery ML 予測モデルによるタクシー運賃の予測(日本語)

機械学習している感はないが、なんとか雰囲気は分かるようになってきた。 ながれ ニューヨーク市のタクシーデータの探索 質問: 2015 年のイエロー タクシーの毎月の賃走回数は? 質問: 2015 年のイエロー タクシーの平均速度は? モデル作成 (モデル・学習の…

復習 BQML で分類モデルを使用して訪問者の購入を予測する

復習ための素晴らしいエントリがあった!感謝!感謝! qiita.com qiita.com その1は、どんなデータセットなのか読み取っている。 その2は、データセット分析続きとモデル作成/評価とモデル作成/評価。 1つ目のモデル 2つの特徴(変数)から生成。値の尺度なん…

回帰ってなに

雰囲気もなにもわからず ML Study Jams を続けるのは辛い。せめて雰囲気だけでも捉えたい。 回帰 regression 変数 順序付け不能な離散変数 順序付け可能な離散変数 連続変数 尺度: 変数の性質についての分類 名義尺度 順序尺度 など 代表値: 要約した値 平均…

BQML で分類モデルを使用して訪問者の購入を予測する

GW 明けても ML Study Jams 受け付けていたのでやってみた。 やったこと ラボアカウントでログイン クーポン入力 BigQuery の使い方練習 「従来の UI に移動」が見つからない 迷っているうちに、従来のUIっぽいのが表示された https://bigquery.cloud.google…

kafka quickstart

https://kafka.apache.org/quickstart Step 1: Download the code > wget http://ftp.tsukuba.wide.ad.jp/software/apache/kafka/2.2.0/kafka_2.12-2.2.0.tgz > tar -xzf kafka_2.12-2.2.0.tgz > cd kafka_2.12-2.2.0 Step 2: Start the server zookeeper を…

とりあえず kafka

kafka in docker 何も知らない状態からkafka in dockerを試す ↑のエントリ見て楽そうだったのでとりあえずやってみたが、失敗した。 Kafka in Docker この2年更新されていないので、大丈夫だよな。。。 docker run # docker run -p 2181:2181 -p 9092:9092 -…

kubernetes 学習 hostnetwork 続き

今回は hostnetwork:true の pod がどんな状態になるのか調べてみた。 pod のマニフェスト hello-pod.yaml apiVersion: v1 kind: Pod metadata: name: hello-pod spec: hostNetwork: false containers: - name: hello image: dockercloud/hello-world ports:…

kubernetes 学習 hostnetwork

k8sクラスタとクラスタの外にdbサーバがあるとする。クラスタとdbは同一ネットワーク上にある。k8sクラスタからdbを参照したい。 192.168.0.1 db 192.168.0.101 master 192.168.0.102 worker 192.168.0.103 worker クラスタ外の 192.168.0.1 を参照できない…

kubernetes 学習 calico simple policy tutorial その3

また続き。ネットワークポリシーはない状態。 access-nginx -> default-deny ポリシーの作成順に関係があるのか。 core@kb1 ~ $ kubectl create -f - <<EOF > kind: NetworkPolicy > apiVersion: networking.k8s.io/v1 > metadata: > name: access-nginx > namespa</eof>…

kubernetes 学習 calico simple policy tutorial その2

前回の続き。ネットワークポリシー default-deny, access-nginx がある状態から。 $ kubectl get networkpolicy --namespace=policy-demo NAME POD-SELECTOR AGE access-nginx run=nginx 9m54s default-deny <none> 15m allow-all してみる 矛盾するネットワークポ</none>…

kubernetes 学習 calico simple policy tutorial

引き続き kubernetes で学習。今回はネットワークポリシー初回 caloco の Simple policy tutorial Configure namespaces ネームスペース作成...の前に確認 $ kubectl get ns NAME STATUS AGE default Active 22h kube-node-lease Active 22h kube-public Act…

nomad チュートリアル webui

https://www.nomadproject.io/intro/getting-started/ui.html 前回の続き。server,client1,client2 を起動し、job:example 実行中。 Opening the Web UI http://localhost:4646 にアクセス。チュートリアルのように表示されている。example が running。 Ins…

nomad チュートリアル Clustering

https://www.nomadproject.io/intro/getting-started/cluster.html Starting the Server サーバー構成ファイルを作成 server.hcl # Increase log verbosity log_level = "DEBUG" # Setup data dir data_dir = "/tmp/server1" # Enable the server server { e…

nomad トライアル jobおさらい

すっかり忘れたのでおさらい。 https://www.nomadproject.io/intro/getting-started/jobs.html エージェント起動と停止 開発モードでエージェント起動 $ sudo nomad agent -dev エージェント起動 ctrl-c エージェント状態確認 $ nomad agent-info クラスタの…

nomad トライアル jobs

https://www.nomadproject.io/intro/getting-started/jobs.html Job と TaskGroup Jobは、Nomadの作業負荷を宣言するユーザーによって提供される仕様です。 仕事は望ましい状態の一形態です。 ユーザーは、ジョブが実行されるべきであることを表現しています…

nomad トライアル running

https://www.nomadproject.io/intro/getting-started/running.html エージェントとは クライアント - Nomadのクライアントは、タスクを実行できるマシンです。 すべてのクライアントがNomadエージェントを実行しています。 エージェントは、サーバーへの登録…

kubernetes 学習 ExternalIP

クラスタ外から指定したNodeIPを通してpodへアクセスできるようにする。 指定したip の node がダウンしている場合は疎通できない。nodeportも同様 kbhello-service-eip.yaml apiVersion: v1 kind: Service metadata: name: kbhello-service-eip spec: selec…