技術メモ

技術メモ

ラフなメモ

2019-03-01から1ヶ月間の記事一覧

SpringMVC

Spring MVC とは Spring MVCとはJava言語を用いてWebアプリケーションを開発する際に使用するフレームワークの一つ。フレームワークのアーキテクチャとしてMVCを採用している。 コンポーネント名 説明 Model アプリケーションの状態やビジネスロジックを提供…

SpringCore

DI DI はソフトウェアデザインパターンの一つで「制御の反転の原則」を実現する。DI を利用するとクラスのインスタンス生成と依存関係の構築をアプリケーションのコードから分離することができる。 DI とは 結合度が高い実装 ユーザ登録を行うインターフェー…

Spring 実践入門を読み始めた

はじめに SpringFramework の機能を v1.0 のころから利用しており、商用システムに導入するときの知見やノウハウがある TERASOLUNA フレームワーク NTT 独自の機能拡張を展開していた SpringFramework が Java 開発のデファクトスタンダードになっている TER…

Docker入門

Dockerとは コンテナ(Container) コンテナは物を世界的に輸送するために標準が定義されています。Docker はソフトウェアを送るための標準を定義しています。コンテナは Docker イメージを実行するときの実体です。 コンテナとは Linux カーネルの機能 Namesp…

JavaO/RマッパーであるDomaを試してみる

Doma の Tutorial をやってみる 公式のチュートリアルが丁寧なので、それを見るのがよいです。 http://doma.seasar.org/setup.html 概要 重要っぽいところだけ抜粋(主に利用するユーザとしても視点で) O/R マッパー*1 Dao パターンを使っている 命名規則 …

Javaの基本事項を復習(例外処理)

6 章: 例外処理 例外の基本 例外には大きく 3 つの種類があります。 検査例外(Exception) 実行時例外(Runtime Exception) エラー(Error) 検査例外(Exception) プログラム作成時に想定できる異常を通知するために使用します。検査例外を使用すると想定される…

Javaの基本事項を復習(StreamAPI・ラムダ式)

5 章: ストリーム処理 Stream API Stream API は大量データを逐次処理する「ストレーム処理」を効率的に記述するための手段 大量データではなくとも、コレクションの処理を効率的にできる Stream API は「作成」「中間操作」「終端操作」を 3 つの操作から…

Javaの基本事項の復習

Java の基本的な内容を復習することにします。特に Stream 周りの知識が皆無なので、まずは読めるように、次に正しく書けるようにしていきたいです。あとは 例外処理 ロギング マルチスレッド あたりも知識が少ないので吸収していきたいです。とりあえず 「J…

KafkaConnectを試す その2

Kafka Connect 前回は Kafka Connect を利用してローカルファイルシステムのファイルを Kafka に連携しましたが、今回は RDB(PostgreSQL) と Kafka、Kafka と S3 で連携したいと思います。 構成 Source 側 Database の作成 yum -y install postgresql-server…

KafkaConnectを試す

Kafka Connect とは? Apache Kafka に含まれるフレームワーク Kafka と他システムとのデータ連携に使う Kafka にデータをいれたり、Kafka からデータを出力したり スケーラブルなアーキテクチャで複数サーバでクラスタを組むことができる Connector インス…

データパイプラインの基礎

データパイプライン データが流れる経路や処理のための基盤全体のことを指す。すなわちデータの発生源から分析結果を利用する現場までのインフラ基盤ということになる。 データパイプラインの Producer 側の構成 1. Producer(ミドルウェア) が直接 Kafka に…

MQTTの概要とPub/Sub疎通確認

MQTT とは 概要 MQTT = Message Queuing Telemetry Transport TCP/IP による Pub/Sub型データ配信モデルなメッセージキュープロトコル メッセージの再配布が可能 HTTP プロトコルと比較するとヘッダサイズが小さく、通信のオーバヘッドが少ない ヘッダサイズ…

KafkaJavaAPIクライアントでメッセージを送受信する

Kafka Java クライアント 開発環境 Maven で構築することにします。pom は以下です。 ソフトウェア バージョン OS Windows 10 JDK 1.8.0_51 Maven 3.3.9 pom.xml

Kafka 検証環境構築とコンソールクライアントを用いたメッセージ疎通確認

参考書籍の第 3 章を参考に進めていきます。サーバは Vagrant で立ち上げ、各種コンソール作業は root で実施しました。 構築する環境 ソフトウェア バージョン OS Centos7.6 JDK 1.8.0_201 Kafka 2.0.1-cp3 Zookeeper 3.4.13 JDK インストール OracleJDKを…

Apache Kafka の基本

Kafka の基本 メッセージ送受信の基本 主要な要素は以下 Broker データの受信・配信するサービス Message Kafka 内で扱うデータの最小単位。Kafkaが中継するログの 1 行 1 行が該当する。Message には Key と Value をもたせることができる Producer データ…

Apache Kafka入門

Kafka Kafka Kafka の概要 何ができるのか LinkedInが実現したかったこと 実現方法 背景(Kafka誕生前のプロダクト) メッセージキュー ログ収集 ETLツール メッセージングモデル キューイングモデル Publish-Subscribeメッセージモデル Kafka のモデル データ…

AngularJSのチュートリアルをやってみた

AngularJSのチュートリアル chap0 ng-app ディレクティブ ng-app ディレクティブは AngularJSがアプリケーションのルート要素とみなすHTML要素にフラグをつけるために使用する。これによってHTMLページ全体またはその一部のみをAngularJSのアプリケーション…

npm install で Error: CERT_UNTRUSTED になったときの対処

$ npm install をしたときに一部のモジュールで Error: CERT_UNTRUSTED となってエラーとなった。 対応 以下のようにSSLのチェックをしないように変更すればOK npm config set strict-ssl false

仮想化とは

仮想化とは? Dockerにふれる機会があったので、そもそもサーバの仮想化とはどのような仕組みがあるか整理しておきます。 サーバ仮想化技術 ホストOS型 OS 上に土台となるソフトウェアをインストールし、そのソフトウェア上で仮想マシンを稼働させる方式 仮…

Kubernetes入門(Docker / Kubernetes 実践コンテナ開発入門)

Kubernetes入門 Kubernetes の概念 リソース Kubernetesクラスタ Kubernetesの様々なリソースを管理する集合体 Masterが少なくとも1つは配置される Node Kubernetesクラスタ管理下に登録されているコンテナホスト(コンテナにDockerを使用していればDockerホ…

Kubernetes のダッシュボードが見れなかったときの対処(Does not have minimum availability)

事象 ブラウザで以下のURLにアクセスします。 http://127.0.0.1:8001/api/v1/namespaces/kube-system/services/https:kubernetes-dashboard:/proxy/ そうすると { "kind": "Status", "apiVersion": "v1", "metadata": { }, "status": "Failure", "message": …

Windowsコマンドプロンプトのショートカットキー+コマンド

コマンドの履歴を取得 - F7 カーソルを文字列単位で移動 - Ctrl + [→ or ←] 文字列の一括削除 - 文字列よりも前 - Ctrl + Home - 文字列よりも後 - Ctrl + End コンソールをclearする cls