[정리] 데이터베이스/[Message] Kafka(8)
-
카프카 설치, 간단한 실행
mac에서 카프카 설치하기1. brew install kafka2. brew install zookeeper mac에서 카프카 실행1. zkServer start2. brew services start kafka 설정 변경 : 1. cd /usr/local/etc/kafka2. open server.properties# 변경 : advertised.listeners=PLAINTEXT://localhost:9092 실행토픽 생성 : kafka-topics --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test토픽 Produce : kafka-console-producer --broker-list localh..
2019.03.25 -
카프카 인트로
강의 출처 : https://www.youtube.com/watch?v=PtILI6v0ngY데이터간의 관계가 포커스가 아닌 실시간 데이터에대한 사업적인 니즈가 생김=> 카프카를 사용하자 카프카 개념- Message broker- publish - consume 구조- 스트리밍 플랫폼- 분산 시스템- 안정적인 스토어- 많은 처리량 카프카의 특징1. producer 와 consumer 는 의존도가 없다.2. broker 에게 topic을 받아서 디스크에 적는다. => 굉장히 안정적이다.disk를 쓰는데 빠른 이유 : page cache 를 이용해서 데이터를 모았다가 IO 하기 때문에3. 변경 불가능한 이벤트 로그를 스트림하여 수집 옛날의 데이터 스트림 처리 카프카의 데이터 스트림 처리 Log or Data ..
2019.03.25