본문 바로가기

전체 글103

MySQL Workbench SSH통해 서버 DB연결 Workbench 커맨드로 MySQL을 다루기 귀찮기 때문에 MySQL Workbench라는 GUI툴을 이용해서 다루는 경우가 있다. 하지만 AWS를 사용하거나 서버를 사용할때에는 어떻게 해야하나 하는 생각을 하다가 찾아보니 Workbench 자체에서 ssh를 통한 접속을 지원하기 때문에 이 방식을 정리해본다. 처음 접속하게 되면 라는 버튼에서 +를 누른다. 여기서 over SSH가 쓰여져있는 탭을 누르고 정보를 입력한다. 그리고 Test Connection으로 연결 상태를 확인한 후 문제가 없다면 OK를 누른다. 모든것이 완료되었다면 새로운 Connection이 생성된 것을 알 수 있다. 2020. 7. 28.
Elasticsearch Type에 대해서 Nosql에서 스키마는? 엘라스틱 서치는 만들어 질 때부터 Nosql을 지향했고 Nosql의 특징은 "기본적"으로는 Schemaless라는 것이다. 스키마가 고정되어있지 않아서 비정형 데이터를 처리하는데에 용이하고, 가용성이 증가하고 확장성에도 유리하다. (확장성의 경우 하나의 클러스터를 여러개의 서버에 나눌 수 있도록 설계되었다.) 하지만 Nosql도(대표적으로 MongoDB) 데이터를 정형화해서 저장해야 하는 경우가 있기 때문에 Schema를 정해서 저장하기도 하며 이 경우에 그 정보는 어플리케이션(DB가 아닌것)이 가지고 있다. Elasticsearch Type이란? Elasticsearch도 기본적으로는 Nosql구조를 가지고 있기 때문에 스키마가 없지만 정형화된 틀을 만들어 줄 수 있다. 그것을.. 2020. 7. 27.
Elasticsearch spring REST Client unrecognized parameter 오류 Elasticsearch unrecognized parameter 오류 Elasticsearch를 학습하기 위해서 참조하고 있는 책은 "ElasticSearch 실무 가이드북"이라는 책인데 이 책은 Elasticsearch:6.5.0 를 기준으로 하여서 6.5.0을 로컬 서버에 설치하였었다. 하지만 Spring boot에서 data-elaticsearch를 dependency로 설정하고 여러가지 명령어를 실행해보았으나.... unrecognized parameter ... 하면서 오류가 발생하였다. 무슨 문제인지 구글에 찾아보면 version 차이에 의해서 발생하는 문제라고 하여서 elasticsearch를 클린삭제하고 7.8.0버전으로 재설치 하니까 해결되었다.. 별 문제는 아니었는데 version을 .. 2020. 7. 22.
MySql에서 ElasticSearch 데이터 이동(systemd 이용) 기본적으로 ElasticSearch를 사용하기 위해서는 어디에선가 데이터를 가져와 집어넣어야 한다. 가장 원론적인 방식은 일일이 데이터를 손으로 입력하는 방식이겠지만 사실 이 방식은 말이 안된다. 그래서 일반적으로 Logstash를 파이프라인으로 이용하는데 아래 그림과 같다. 여러가지 데이터 소스가 존재하는데 CSV파일에서 가져올수도 있고 Mysql, Kafka등 굉장히 여러가지 소스가 있다. 아무튼....설치 하는 과정은 지나가도록 하고 pipeline을 만들어주기 위한 logstash 설정법을 설명하겠다. 당연히 elastisearch와 logstash를 하기 위해서는 JAVA가 깔려있어야 하고 Mysql이 설치되어 있어야 한다. 그리고 설정파일을 작성해줘야 한다. 지금은 Ubuntu를 기준으로 설정.. 2020. 7. 15.

티스토리툴바