04 Ian Platforma distribuita pentru monitorizarea tehnologiilor Big Data (Dmon)
BigData este un termen care acopera tehnologii variante din domeniul procesarii si stocarii distribuite a datelor de mari dimeniuni, cum ar fi Apache Spark/Hadoop/Storm sau baze de date NoSQL. Aplicatiile dezvoltate folosind aceste medii de procesare/stocare sunt, in general, complexe si dificil de monitorizat.
Platforma Dmon isi propune sa ofere o singura interfata pentru monitorizarea aplicatiilor si mediilor BigData.
Caracateristici principale:
- Arhitectura distribuita, ruleaza atat pe medii Cloud, cat si masini fizice
- High availability, prin replicarea datelor si a nodurilor de procesare
- RESTful API pentru interactiunea programatica cu platforma
- Deployment automatizat si integrat cu sistemul de administrare a configuratiilor Chef
Tehnologii suportate: Apache YARN, HDFS, Spark, Storm, Cassandra, Kafka
Aspectul inovativ
- Instalare facila a platformei folosind Chef / Cloudify fie in medii de virtualizare de tip Cloud (privat sau public), fie pe masini fizice - Suport Vagrant pentru dezvoltare si testare - Integreaza multiple tehnologii BigData: o singura platforma monitorizeaza medii de calcul distribuit (MapReduce/YARN, Spark), sisteme de fisiere distribuite (HDFS) si baze de date NoSQL - Scalare orizontala prin adaugarea de noi noduri in cluster - Detectarea anomaliilor in rularea aplicatiilor monitorizate - Ofera sugestii pentru optimizarea clusterelor monitorizate
Domeniile de aplicare
Monitorizarea aplicatiilor dezvoltate utilizand tehnologii BigData, indiferent de domeniu.
Stadiul actual de dezvoltare
Produs final / în utilizare
Proprietate intelectuală
Platforma foloseste si este disponibila in regim Open Source