ELK7 Elasticsearch Type에 대해서 Nosql에서 스키마는? 엘라스틱 서치는 만들어 질 때부터 Nosql을 지향했고 Nosql의 특징은 "기본적"으로는 Schemaless라는 것이다. 스키마가 고정되어있지 않아서 비정형 데이터를 처리하는데에 용이하고, 가용성이 증가하고 확장성에도 유리하다. (확장성의 경우 하나의 클러스터를 여러개의 서버에 나눌 수 있도록 설계되었다.) 하지만 Nosql도(대표적으로 MongoDB) 데이터를 정형화해서 저장해야 하는 경우가 있기 때문에 Schema를 정해서 저장하기도 하며 이 경우에 그 정보는 어플리케이션(DB가 아닌것)이 가지고 있다. Elasticsearch Type이란? Elasticsearch도 기본적으로는 Nosql구조를 가지고 있기 때문에 스키마가 없지만 정형화된 틀을 만들어 줄 수 있다. 그것을.. 2020. 7. 27. Elasticsearch spring REST Client unrecognized parameter 오류 Elasticsearch unrecognized parameter 오류 Elasticsearch를 학습하기 위해서 참조하고 있는 책은 "ElasticSearch 실무 가이드북"이라는 책인데 이 책은 Elasticsearch:6.5.0 를 기준으로 하여서 6.5.0을 로컬 서버에 설치하였었다. 하지만 Spring boot에서 data-elaticsearch를 dependency로 설정하고 여러가지 명령어를 실행해보았으나.... unrecognized parameter ... 하면서 오류가 발생하였다. 무슨 문제인지 구글에 찾아보면 version 차이에 의해서 발생하는 문제라고 하여서 elasticsearch를 클린삭제하고 7.8.0버전으로 재설치 하니까 해결되었다.. 별 문제는 아니었는데 version을 .. 2020. 7. 22. MySql에서 ElasticSearch 데이터 이동(systemd 이용) 기본적으로 ElasticSearch를 사용하기 위해서는 어디에선가 데이터를 가져와 집어넣어야 한다. 가장 원론적인 방식은 일일이 데이터를 손으로 입력하는 방식이겠지만 사실 이 방식은 말이 안된다. 그래서 일반적으로 Logstash를 파이프라인으로 이용하는데 아래 그림과 같다. 여러가지 데이터 소스가 존재하는데 CSV파일에서 가져올수도 있고 Mysql, Kafka등 굉장히 여러가지 소스가 있다. 아무튼....설치 하는 과정은 지나가도록 하고 pipeline을 만들어주기 위한 logstash 설정법을 설명하겠다. 당연히 elastisearch와 logstash를 하기 위해서는 JAVA가 깔려있어야 하고 Mysql이 설치되어 있어야 한다. 그리고 설정파일을 작성해줘야 한다. 지금은 Ubuntu를 기준으로 설정.. 2020. 7. 15. 이전 1 2 다음
