Kafka Connect 前回は Kafka Connect を利用してローカルファイルシステムのファイルを Kafka に連携しましたが、今回は RDB(PostgreSQL) と Kafka、Kafka と S3 で連携したいと思います。 構成 Source 側 Database の作成 yum -y install postgresql-server…

Kafka Connect とは？ Apache Kafka に含まれるフレームワーク Kafka と他システムとのデータ連携に使う Kafka にデータをいれたり、Kafka からデータを出力したり スケーラブルなアーキテクチャで複数サーバでクラスタを組むことができる Connector インス…

データパイプライン データが流れる経路や処理のための基盤全体のことを指す。すなわちデータの発生源から分析結果を利用する現場までのインフラ基盤ということになる。 データパイプラインの Producer 側の構成 1. Producer(ミドルウェア) が直接 Kafka に…

Kafka Java クライアント 開発環境 Maven で構築することにします。pom は以下です。 ソフトウェア バージョン OS Windows 10 JDK 1.8.0_51 Maven 3.3.9 pom.xml

参考書籍の第 3 章を参考に進めていきます。サーバは Vagrant で立ち上げ、各種コンソール作業は root で実施しました。 構築する環境 ソフトウェア バージョン OS Centos7.6 JDK 1.8.0_201 Kafka 2.0.1-cp3 Zookeeper 3.4.13 JDK インストール OracleJDKを…

Kafka の基本 メッセージ送受信の基本 主要な要素は以下 Broker データの受信・配信するサービス Message Kafka 内で扱うデータの最小単位。Kafkaが中継するログの 1 行 1 行が該当する。Message には Key と Value をもたせることができる Producer データ…

Kafka Kafka Kafka の概要 何ができるのか LinkedInが実現したかったこと 実現方法 背景(Kafka誕生前のプロダクト) メッセージキュー ログ収集 ETLツール メッセージングモデル キューイングモデル Publish-Subscribeメッセージモデル Kafka のモデル データ…