ELK 대시보드 로그 꽉참

원인

ELK 대시보드에 로그가 안찍힘. Elasticsearch는 디스크 사용률이 90%를 넘으면 해당 노드에 새 샤드를 할당하지 않는다. Filebeat/Metricbeat는 날짜별로 새 인덱스를 만들기 때문에, 오늘자 인덱스가 샤드를 못 받아 red 상태가 되고 로그가 들어오지 못한다. 그 결과 대시보드는 0으로 보인다.

1. 디스크 확인

df -h /

2. 해결 과정

sudo ss -tlnp | grep 9200

curl -s -u elastic http://127.0.0.1:9200/_cluster/health?pretty

curl -s -u elastic "http://127.0.0.1:9200/_cat/indices?v&h=health,index,store.size,creation.date.string&s=store.size:desc" | head -30