Java の基本的な内容を復習することにします。特に Stream 周りの知識が皆無なので、まずは読めるように、次に正しく書けるようにしていきたいです。あとは 例外処理 ロギング マルチスレッド あたりも知識が少ないので吸収していきたいです。とりあえず 「J…

Kafka Connect 前回は Kafka Connect を利用してローカルファイルシステムのファイルを Kafka に連携しましたが、今回は RDB(PostgreSQL) と Kafka、Kafka と S3 で連携したいと思います。 構成 Source 側 Database の作成 yum -y install postgresql-server…

Kafka Connect とは？ Apache Kafka に含まれるフレームワーク Kafka と他システムとのデータ連携に使う Kafka にデータをいれたり、Kafka からデータを出力したり スケーラブルなアーキテクチャで複数サーバでクラスタを組むことができる Connector インス…

データパイプライン データが流れる経路や処理のための基盤全体のことを指す。すなわちデータの発生源から分析結果を利用する現場までのインフラ基盤ということになる。 データパイプラインの Producer 側の構成 1. Producer(ミドルウェア) が直接 Kafka に…

MQTT とは 概要 MQTT = Message Queuing Telemetry Transport TCP/IP による Pub/Sub型データ配信モデルなメッセージキュープロトコル メッセージの再配布が可能 HTTP プロトコルと比較するとヘッダサイズが小さく、通信のオーバヘッドが少ない ヘッダサイズ…

Kafka Java クライアント 開発環境 Maven で構築することにします。pom は以下です。 ソフトウェア バージョン OS Windows 10 JDK 1.8.0_51 Maven 3.3.9 pom.xml

参考書籍の第 3 章を参考に進めていきます。サーバは Vagrant で立ち上げ、各種コンソール作業は root で実施しました。 構築する環境 ソフトウェア バージョン OS Centos7.6 JDK 1.8.0_201 Kafka 2.0.1-cp3 Zookeeper 3.4.13 JDK インストール OracleJDKを…

Kafka の基本 メッセージ送受信の基本 主要な要素は以下 Broker データの受信・配信するサービス Message Kafka 内で扱うデータの最小単位。Kafkaが中継するログの 1 行 1 行が該当する。Message には Key と Value をもたせることができる Producer データ…

Kafka Kafka Kafka の概要 何ができるのか LinkedInが実現したかったこと 実現方法 背景(Kafka誕生前のプロダクト) メッセージキュー ログ収集 ETLツール メッセージングモデル キューイングモデル Publish-Subscribeメッセージモデル Kafka のモデル データ…

AngularJSのチュートリアル chap0 ng-app ディレクティブ ng-app ディレクティブは AngularJSがアプリケーションのルート要素とみなすHTML要素にフラグをつけるために使用する。これによってHTMLページ全体またはその一部のみをAngularJSのアプリケーション…

$ npm install をしたときに一部のモジュールで Error: CERT_UNTRUSTED となってエラーとなった。 対応 以下のようにSSLのチェックをしないように変更すればOK npm config set strict-ssl false

仮想化とは？ Dockerにふれる機会があったので、そもそもサーバの仮想化とはどのような仕組みがあるか整理しておきます。 サーバ仮想化技術 ホストOS型 OS 上に土台となるソフトウェアをインストールし、そのソフトウェア上で仮想マシンを稼働させる方式 仮…

Kubernetes入門 Kubernetes の概念 リソース Kubernetesクラスタ Kubernetesの様々なリソースを管理する集合体 Masterが少なくとも1つは配置される Node Kubernetesクラスタ管理下に登録されているコンテナホスト(コンテナにDockerを使用していればDockerホ…

事象 ブラウザで以下のURLにアクセスします。 http://127.0.0.1:8001/api/v1/namespaces/kube-system/services/https:kubernetes-dashboard:/proxy/ そうすると { "kind": "Status", "apiVersion": "v1", "metadata": { }, "status": "Failure", "message": …

コマンドの履歴を取得 - F7 カーソルを文字列単位で移動 - Ctrl + [→ or ←] 文字列の一括削除 - 文字列よりも前 - Ctrl + Home - 文字列よりも後 - Ctrl + End コンソールをclearする cls

git メモ 操作 git リポジトリとの差分 前回の状態との差分を確認できる git status 上記の出力を簡略化したコマンド git status -s 差分は 2 文字のパターンで表現されている。使われる文字は ? A M である。 最初の文字はステージされている状態を意味して…

Dockerことはじめ 今更ではありますが Docker に入門します。 Docker とは Linux コンテナで稼働するアプロケーションの実行環境を構築/管理するツール dockerd というデーモン git が必須 アプリケーションの実行環境を、アプリケーションを構成するライブ…

VirtualBox のホストOSにコンソールからログインしたときに一部の文字が打てない問題 コロン「 : 」の出し方 「Shift」 + 「+」

有効化になっていると何かと面倒なので、いつも無効化にしちゃう コマンド [root@localhost ~]# getenforce Enforcing これだと有効化になっている # vi /etc/selinux/config 以下のように変更する。 # SELINUX=enforcing SELINUX=disabled # reboot [root@l…

公式サイト https://www.vagrantup.com/ こういうのは下手にqiitaの記事じゃなくて公式のチュートリアルみたほうが早道。 コマンド box を初回ダウンロードしてくる時 vagrant init centos/7 vagrant up config確認 vagrant ssh-config Vagrantfile Ruby で…