Configurar logs do CloudWatch e Kibana

Configurar Subscrição de Logs do CloudWatch

Os logs do CloudWatch podem ser entregues a outros serviços, como o Amazon Elasticsearch, para processamento personalizado. Isso pode ser obtido assinando um feed em tempo real de eventos de log. Um filtro de assinatura define o padrão de filtro a ser usado para filtrar quais eventos de log são entregues ao Elasticsearch, bem como informações sobre para onde enviar eventos de log correspondentes.

Nesta seção, inscreveremos os eventos de log do CloudWatch do fluxo fluent-cloudwatch do grupo de logs eks/eksworkshop-eksctl. Esse feed será transmitido para o cluster do Elasticsearch.

As instruções originais para isso estão disponíveis em:

http://docs.aws.amazon.com/AmazonCloudWatch/latest/logs/CWL_ES_Stream.html

Crie a role de execução básica do Lambda

cat <<EoF > ~/environment/iam_policy/lambda.json
{
   "Version": "2012-10-17",
   "Statement": [
   {
     "Effect": "Allow",
     "Principal": {
        "Service": "lambda.amazonaws.com"
     },
   "Action": "sts:AssumeRole"
   }
 ]
}
EoF

aws iam create-role --role-name lambda_basic_execution --assume-role-policy-document file://~/environment/iam_policy/lambda.json

aws iam attach-role-policy --role-name lambda_basic_execution --policy-arn arn:aws:iam::aws:policy/service-role/AWSLambdaBasicExecutionRole

Vá ao console de logs CloudWatch

Selecione o grupo de log /eks/eksworkshop-eksctl/containers. Clique em Actions e selecioneStream to Amazon ElasticSearch Service. Stream to ElasticSearch

Selecione o cluster do ElasticSearch kubernetes-logs e a role do IAM lambda_basic_execution

Subscribing to logs

Clique em ‘Next’

Selecione Common Log Format e clique emNext

ES Log Format

Revise a configuração. Clique em Next e depois em ‘Start Streaming’

Review ES Subscription

A página do Cloudwatch é atualizada para mostrar que o filtro foi criado com sucesso

Configurar o Kibana

No console do Amazon Elasticsearch, selecione o kubernetes-logs sob Meus domínios

Detalhes do ElasticSearch

Abra o dashboard do Kibana no link. Após alguns minutos, os logs começarão a ser indexados pelo ElasticSearch. Você precisará configurar um padrão de índice no Kibana.

Configure Index Pattern como cwl-* e clique Next

Index Pattern

Select @timestamp from the dropdown list and select Create index pattern

Index Pattern

Kibana Summary

Clique em ‘Discover’ e explore seus logs

Kibana Dashboard