فناوریهای حوزه کلان داده در یک نگاه

سایت InsightDataEngineering یک نمودار تعاملی ساده و جمع و جور برای آشنایی با فناوریهای حوزه کلان داده منتشر کرده است که در نه گروه مختلف این فناوری ها را طبقه بندی کرده است . این طبقه بندی به صورت فهرست وار طبق این نمودار از قرار زیر است :

1. ابزار تزریق داده : ابزار و فناوریهای که به کمک آنها می توان داده ها را وارد سامانه های کلان داده نمود .
   1. Kafka
   2. RabbitMQ
   3. Fluentd
   4. Sqoop
   5. AWS Kinesis
2. قالب های فایلی ذخیره و بازیابی اطلاعات : گاهی اوقات نیاز داریم بعضی اطلاعات را که در قالب های مختلف هستند درون فایل ذخیره کنیم .
   1. Avro
   2. Parquet
   3. Thrift
   4. ProtoBuf
   5. SequenceFiles
3. سیستم های فایلی ذخیره و بازیابی اطلاعات :
   1. HDFS
   2. AWS S3
   3. Tachyon
4. پردازش دسته ای :
   1. Hadoop Map/Reduce
   2. Spark
   3. AWS EMR
   4. TEZ
   5. یادگیری ماشین
      1. H2O
      2. Mahout
      3. Spark MLib
   6. پردازش گراف
      1. GraphLab
      2. Giraph
      3. Spark GraphX
   7. اجرای SQL
      1. Hive
      2. Presto
      3. Drill
5. پردازش جریانهای داده
   1. Storm
   2. Spark Streaming
   3. Samza
   4. NiFi
6. بانکهای اطلاعاتی
   1. بانکهای اطلاعاتی رابطه ای
   2. بانکهای سندگرا
   3. بانکهای سطر گسترده
   4. بانکهای کلید مقدار
   5. بانکهای گراف محور
7. ابزارهای مدیریت شبکه  وکلاستر
   1. YARN
   2. Mesos
   3. Zookeeper
   4. Oozie
8. ابزارهای نظارت و مانیتورینگ
   1. Hue
   2. Ambari
   3. Lipstick
   4. Ganglia
9. داشبوردهای تحلیلی و تولید برنامه های کاربر
   1. Flask
   2. D3
   3. AngularJS
   4. Django
   5. Highcharts

جزییات کامل این گروه بندی و نمودار را در این آدرس می توانید مشاهده کنید .