![\"\"](\"https:\/\/www.grutt.org\/wp-content\/uploads\/2021\/02\/renaud.png\")
Du coup, l’id\u00e9e va \u00eatre de faire diff\u00e9remment, plut\u00f4t que de ne pas faire du tout \ud83d\ude42 On pourrait presque parler de m\u00e9thode Agile en fait. Plut\u00f4t que de ne rien livrer du tout, je vais faire un post en mode \u00ab\u00a0work in progress\u00a0\u00bb. En fonction du moment o\u00f9 vous lirez ce texte, il sera plus ou moins complet et\/ou modifi\u00e9. Mais :<\/p>\n\n\n\n
- \u00c7a peut toujours \u00e0 servir \u00e0 quelqu’un, m\u00eame en l’\u00e9tat<\/li>
- C’est pour moi une forme de bloc-notes qui me permettra de me rappeler de mon \u00e9tat d’avancement<\/li>
- Si jamais un \u00ab\u00a0sachant\u00a0\u00bb (3 points au bingo r\u00e9union suivi de projet) passe par ici et veut me filer un coup de main en commentaires, je suis preneur<\/li><\/ol>\n\n\n\n
Bref, apr\u00e8s tout ce blabla, attaquons donc l’int\u00e9gration d’ORS au \u00ab\u00a0stack\u00a0\u00bb Elastic<\/p>\n\n\n\n
On attaque avec un gros mot : \u00ab\u00a0ELK\u00a0\u00bb<\/h2>\n\n\n\n
Qu’est-ce que signifie donc \u00ab\u00a0ELK\u00a0\u00bb :<\/p>\n\n\n\n
- E<\/strong>lasticsearch<\/li>
- L<\/strong>ogStash<\/li>
- K<\/strong>ibana<\/li><\/ul>\n\n\n\n
Il s’agit des 3 principaux composants n\u00e9cessaires dans une majorit\u00e9 des cas quand on monte une suite Elasticsearch. Ah oui j’ai oubli\u00e9 de pr\u00e9ciser : je ne suis pas un expert concernant Elastic. Pour tout dire, je d\u00e9couvre m\u00eame Elastic avec ce side project. Donc j’esp\u00e8re que vous saurez \u00eatre magnanime \ud83d\ude09<\/p>\n\n\n\n
Elasticsearch <\/strong>est la base m\u00eame de cette suite. Il s’agit d’un ensemble base de donn\u00e9es + moteur de requ\u00eates + API permettant d’y acc\u00e9der. En comparaison avec d’autres bases de donn\u00e9es, il a comme caract\u00e9ristiques d’\u00eatre facilement scalable<\/em> en ajoutant des noeuds en fonction de vos besoins de redondance et\/ou de performance, et de permettre de stocker des donn\u00e9es non d\u00e9termin\u00e9es \u00e0 l’avance. Oubliez les types pr\u00e9cis associ\u00e9s aux colonnes des moteurs SQL habituels. Ici du moment que vous envoyez du JSON, il saura quoi en faire \ud83d\ude42<\/p>\n\n\n\n
LogStash <\/strong>est en approximation un ETL<\/em>. Vous allez lui fournir des fichiers de logs et le mapping<\/em> qui va bien, et il va en extraire les donn\u00e9es qui vous int\u00e9resse, avant de les envoyer \u00e0 Elasticsearch. Cette explication est plus \u00ab\u00a0pour information\u00a0\u00bb car dans le cas qui nous int\u00e9resse, ORS va se charger lui-m\u00eame d’envoyer les donn\u00e9es en base de donn\u00e9es. Mais bon, on sait jamais… \ud83d\ude42<\/p>\n\n\n\n
Kibana <\/strong>enfin va vous permettre d’effectuer des requ\u00eates en KQL sur la base de donn\u00e9es, et de cr\u00e9er de jolies visualisations de toutes ces donn\u00e9es, afin de les expliciter<\/p>\n\n\n\n
![\"\"](\"https:\/\/www.grutt.org\/wp-content\/uploads\/2021\/02\/kibana-7-0-0-new-ui-1024x635.jpg\")
C’est beau hein ? Mais c’est pas de moi \ud83d\ude42<\/figcaption><\/figure><\/div>\n\n\n\n Hop, on commence l’installation<\/h2>\n\n\n\n
Bon contrairement \u00e0 d’habitude, je ne vais pas vous faire les installations d’Elasticsearch et Kibana pas \u00e0 pas car elles sont relativement simples, pas loin du \u00ab\u00a0Next – Next – Next\u00a0\u00bb que l’on aurait sous Windows. La page qui va bien : https:\/\/www.elastic.co\/guide\/en\/elastic-stack\/current\/installing-elastic-stack.html<\/a><\/p>\n\n\n\n
Quelques conseils cependant en passant :<\/p>\n\n\n\n
- Vous avez peut-\u00eatre entendu parler de fuites de donn\u00e9es r\u00e9centes o\u00f9 les pirates se sont simplement servis sur des Elasticsearch expos\u00e9s sur Internet et avec les logins\/mots de passe par d\u00e9faut. Et bien vous savez quoi, \u00e7a me surprend pas … J’ai trouv\u00e9 que la partie modification des mots de passe par d\u00e9faut \u00e9tait pas forc\u00e9ment explicit\u00e9. Du coup, pour s\u00e9curiser un peu le bazar : https:\/\/www.elastic.co\/guide\/en\/elasticsearch\/reference\/7.11\/setup-passwords.html<\/a> A faire id\u00e9alement d\u00e8s que vous aurez fini l’installation d’Elasticsearch, cela vous \u00e9vitera d’avoir \u00e0 reprendre vos fichiers de configuration apr\u00e8s coup<\/li>
- Les options que j’ai modifi\u00e9 dans les fichiers de configuration d’Elasticsearch et Kibana. Pas exhaustif mais une base de d\u00e9part. Et pour rappel, ce sont des fichiers au format yaml donc l’oeuvre du d\u00e9mon<\/strong> o\u00f9 le moindre espace d’indentation en trop invalidera l’ensemble du fichier. Donc faites tr\u00e8s attention \u00e0 vos modifications, et backup des fichiers d’origine avant de faire quoi que ce soit
- elasticsearch.yml :
- cluster.name: my-cluster-test<\/li>
- node.name: ES-RHEL8-1<\/li>
- network.host: AdresseIPdeMonServeur<\/em><\/li>
- http.port: 9200<\/li>
- discovery.seed_hosts: [\u00ab\u00a0127.0.0.1\u00a0\u00bb, \u00ab\u00a0[::1]\u00a0\u00bb,\u00a0\u00bbAdresseIPdeMonServeur<\/em>\u00ab\u00a0]<\/li>
- cluster.initial_master_nodes: [\u00ab\u00a0ES-RHEL8-1\u00a0\u00bb]<\/li><\/ul><\/li>
- kibana.yml :
- server.host: \u00ab\u00a0AdresseIPdeMonServeur<\/em>\u00ab\u00a0<\/li>
- server.name: \u00ab\u00a0RHEL8-1\u00a0\u00bb<\/li>
- elasticsearch.hosts: [\u00ab\u00a0http:\/\/AdresseIPdeMonServeur<\/em>:9200″]<\/li><\/ul><\/li><\/ul><\/li>
- Enfin pour valider le bon fonctionnement d’ELK (EK m\u00eame techniquement) avant de s’attaquer au param\u00e9trage d’ORS, je vous conseille d’installer une des sources de donn\u00e9es propos\u00e9es par d\u00e9faut dans Kibana dans l’onglet \u00ab\u00a0Add data\u00a0\u00bb. Me concernant j’ai install\u00e9 MetricBeat qui permet de suivre l’activit\u00e9 de ses serveurs et s’installe tr\u00e8s simplement<\/li><\/ul>\n\n\n\n
![\"\"](\"https:\/\/www.grutt.org\/wp-content\/uploads\/2021\/02\/Metricbeat-1024x711.png\")
Oui, je n’ai aucune originalit\u00e9 dans le choix de mes noms de serveurs \ud83d\ude42<\/figcaption><\/figure>\n\n\n\n Et si on faisait quelque chose d’utile maintenant ?<\/h2>\n\n\n\n
Maintenant que notre suite Elastic est install\u00e9, on va pouvoir param\u00e9trer ORS pour qu’il s’interface avec celle-ci. Mais pourquoi faire d\u00e9j\u00e0 ? De base, ORS propose 3 fonctions de suivi de son activit\u00e9 qui peuvent ensuite \u00eatre report\u00e9s dans Elastic :<\/p>\n\n\n\n
- Session reporting<\/em> : ORS va stocker des informations sur chaque session cr\u00e9\u00e9e. Le num\u00e9ro appelant, la strat\u00e9gie utilis\u00e9e, heure de d\u00e9but et de fin,… Apparemment, on peut customiser ces informations en modifiant sa strat\u00e9gie Composer \ud83d\ude42<\/li>
- Performance reporting<\/em> : ORS dispose d’une fonction de suivi de ses \u00ab\u00a0constantes vitales\u00a0\u00bb, qu’il peut de base afficher dans les logs, et cr\u00e9er des alarmes Genesys associ\u00e9es en fonction de seuils. L’int\u00e9gration \u00e0 Elasticsearch permet de les monitorer pour suivre l’\u00e9tat de sant\u00e9 de ses n\u0153uds ORS.<\/li>
- Node reporting<\/em> : Ici ORS fournira des informations sur les diff\u00e9rents n\u0153uds actifs, ainsi que le host sur lequel ils tournent, ainsi que ses ports d’\u00e9coute TCP principaux<\/li><\/ul>\n\n\n\n
Activer ces 3 fonctionnalit\u00e9s se fait au niveau du param\u00e9trage d’ORS (ou de la transaction list qui contient ses param\u00e8tres, cf. mon article sur l’installation d’ORS<\/a>) dans la section elasticsearch<\/strong><\/p>\n\n\n\n
- ors-es-session-report = true<\/li>
- ors-es-perfsnapshot-report = true<\/li>
- ors-es-node-info-report = true<\/li>
- ors-es-nodes = http:\/\/AdresseIPdeMonServeur<\/em>:9200<\/li>
- username = elastic<\/li>
- password = changeme<\/li><\/ul>\n\n\n\n
Les 3 premi\u00e8res options permettent d’activer les 3 fonctions de suivi pr\u00e9sent\u00e9es pr\u00e9c\u00e9demment, et les 3 suivantes de vous connecter \u00e0 votre Elasticsearch. Le username et le password pr\u00e9sent\u00e9s sont ceux par d\u00e9faut, avant modification<\/p>\n\n\n\n
Une fois ces options param\u00e9tr\u00e9es, red\u00e9marrez votre ORS et vous devriez voir des donn\u00e9es remonter dans Kibana. Pour cela, connectez-vous \u00e0 celui-ci et allez dans Stack Management > Index Management et vous trouverez de nouveaux \u00ab\u00a0Indices\u00a0\u00bb (l’\u00e9quivalent d’une base de donn\u00e9es dans Elasticsearch) nomm\u00e9s nodes, performance-YYYY.MM.DD<\/em> et session-YYYY.MM.DD<\/em>, chacun correspondant encore une fois aux 3 fonctions de reporting propos\u00e9es.<\/p>\n\n\n\n
![\"\"](\"https:\/\/www.grutt.org\/wp-content\/uploads\/2021\/02\/IM-1024x422.png\")
<\/figure>\n\n\n\nIngestion des donn\u00e9es<\/h2>\n\n\n\n
R\u00e9capitulons : on a un Elasticsearch fonctionnel, un ORS configur\u00e9 et des donn\u00e9es qui remonte dans Elasticsearch. Maintenant, il pourrait \u00eatre pratique d’effectuer des requ\u00eates sur celles-ci.<\/p>\n\n\n\n
Pour cela, nous allons rester sur la page \u00ab\u00a0Stack Management\u00a0\u00bb mais aller d\u00e9sormais dans Kibana\\Index Patterns, puis \u00ab\u00a0Create index pattern\u00a0\u00bb<\/p>\n\n\n\n
![\"\"](\"https:\/\/www.grutt.org\/wp-content\/uploads\/2021\/02\/IP-1024x210.png\")
<\/figure>\n\n\n\nSur la seconde page, on va indiquer les index que l’on souhaite \u00ab\u00a0regrouper\u00a0\u00bb. En effet par exemple, les index de session vont \u00eatre suffix\u00e9s par la date du jour. Mais bien s\u00fbr, on veut pouvoir consolider les donn\u00e9es de plusieurs p\u00e9riodes sur un seul graphique. C’est pourquoi par exemple pour consolider les informations de sessions, on va indiquer dans Index pattern name \u00ab\u00a0session-*<\/p>\n\n\n\n
![\"\"](\"https:\/\/www.grutt.org\/wp-content\/uploads\/2021\/02\/CIP-1024x337.png\")
<\/figure>\n\n\n\nL’\u00e9tape suivante va consister \u00e0 indiquer s’il s’agit de donn\u00e9es bas\u00e9es sur des informations de date, et auquel cas quelle donn\u00e9e nous servira \u00ab\u00a0d’abscisse\u00a0\u00bb. Dans le cas des informations de session, on peut ainsi par exemple s\u00e9lectionner la date de d\u00e9but de session, ou celle de fin :<\/p>\n\n\n\n
![\"\"](\"https:\/\/www.grutt.org\/wp-content\/uploads\/2021\/02\/CIP2-1024x447.png\")
<\/figure>\n\n\n\nMaintenant que l’index pattern est cr\u00e9\u00e9, on va pouvoir requ\u00eater les donn\u00e9es pr\u00e9sentes dans Elastic gr\u00e2ce \u00e0 la page Analytics > Discover puis en s\u00e9lectionnant l’index pattern qui nous int\u00e9resse<\/p>\n\n\n\n
![\"\"](\"https:\/\/www.grutt.org\/wp-content\/uploads\/2021\/02\/req-1024x453.png\")
<\/figure>\n\n\n\nVisualisation des donn\u00e9es<\/h2>\n\n\n\n
Voil\u00e0, comme annonc\u00e9 au d\u00e9but de cet article, ce n’est pas encore fini. Il me reste maintenant \u00e0 faire de beaux graphiques avec tout cela…<\/p>\n\n\n\n
Stay tuned !<\/em><\/p>\n\n\n\n
<\/p>\n","protected":false},"excerpt":{"rendered":"
He is back ! Et non, ce blog n’est pas mort ! Mais oui je dois avouer que le contexte actuel qui chamboule nos vies ne laisse pas beaucoup de temps aux tests\/bidouillages et encore moins \u00e0 la r\u00e9daction de billets de blogs… Du coup, l’id\u00e9e va \u00eatre de faire diff\u00e9remment, plut\u00f4t que de ne … Continuer la lecture de « ORS et les grosses donn\u00e9es, featuring Elasticsearch »<\/span><\/a><\/p>\n","protected":false},"author":2,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[4,7,6,8],"tags":[],"class_list":["post-194","post","type-post","status-publish","format-standard","hentry","category-3615mylife","category-genesys","category-trucs-astuces","category-tutos"],"_links":{"self":[{"href":"https:\/\/www.grutt.org\/index.php?rest_route=\/wp\/v2\/posts\/194","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/www.grutt.org\/index.php?rest_route=\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/www.grutt.org\/index.php?rest_route=\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/www.grutt.org\/index.php?rest_route=\/wp\/v2\/users\/2"}],"replies":[{"embeddable":true,"href":"https:\/\/www.grutt.org\/index.php?rest_route=%2Fwp%2Fv2%2Fcomments&post=194"}],"version-history":[{"count":8,"href":"https:\/\/www.grutt.org\/index.php?rest_route=\/wp\/v2\/posts\/194\/revisions"}],"predecessor-version":[{"id":218,"href":"https:\/\/www.grutt.org\/index.php?rest_route=\/wp\/v2\/posts\/194\/revisions\/218"}],"wp:attachment":[{"href":"https:\/\/www.grutt.org\/index.php?rest_route=%2Fwp%2Fv2%2Fmedia&parent=194"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/www.grutt.org\/index.php?rest_route=%2Fwp%2Fv2%2Fcategories&post=194"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/www.grutt.org\/index.php?rest_route=%2Fwp%2Fv2%2Ftags&post=194"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}
- Performance reporting<\/em> : ORS dispose d’une fonction de suivi de ses \u00ab\u00a0constantes vitales\u00a0\u00bb, qu’il peut de base afficher dans les logs, et cr\u00e9er des alarmes Genesys associ\u00e9es en fonction de seuils. L’int\u00e9gration \u00e0 Elasticsearch permet de les monitorer pour suivre l’\u00e9tat de sant\u00e9 de ses n\u0153uds ORS.<\/li>
- Les options que j’ai modifi\u00e9 dans les fichiers de configuration d’Elasticsearch et Kibana. Pas exhaustif mais une base de d\u00e9part. Et pour rappel, ce sont des fichiers au format yaml donc l’oeuvre du d\u00e9mon<\/strong> o\u00f9 le moindre espace d’indentation en trop invalidera l’ensemble du fichier. Donc faites tr\u00e8s attention \u00e0 vos modifications, et backup des fichiers d’origine avant de faire quoi que ce soit
- L<\/strong>ogStash<\/li>
- E<\/strong>lasticsearch<\/li>