وبکست کاربردی مبانی مهندسی داده

با همکاری موسسه نیک‌آموز مجموعه‌ آموزشهایی را در حوزه مهندسی داده به صورت کاملا کاربردی برنامه ریزی کرده‌ایم.

همانطور که در این مقاله توضیح داده‌ام، مهندسی داده مجموعه مهارتهایی است که برای طراحی زیرساخت‌های پردازش داده و پایش و نگهداری آنها باید داشته باشیم.

این مجموعه مهارتها شامل آشنایی با اکوسیستم کلان‌داده، پردازش جریان و صف‌های توزیع شده، بانک‌های اطلاعاتی رابطه‌ای و NoSQL، آشنایی با خط فرمان لینوکس، مفاهیم داکر و مجازی سازی و همچنین آشنایی با یک زبان برنامه نویسی (به طور خاص : پایتون) است.
برای آشنایی عملی با این مهندسی داده و مفاهیم و ابزاری که یک مهندس داده باید با آنها آشنا باشد، در وبکست در یک جلسه حدود سه ساعته مطالب زیر را با هم مرور خواهیم کرد :
· آشنایی با رشته نوظهور مهندسی داده (مفاهیم/ابزار/مهارتها)
· بررسی مثال عملی تحلیل داده‌های روزانه سازمان بورس ایران

در این مثال که با محوریت Apache Airflow انجام خواهد شد، با Docker/Airflow/Hadoop(HDFS)/Hive/Hue با دریافت روزانه و خودکار داده های سازمان بورس و تحلیل آنها، آشنا خواهیم شد.

· بررسی مثال عملی دریافت لحظه‌ای توئیت‌های بورس و تحلیل اولیه آنها

در مثال دوم هم که با محوریت Apache Nifi به عنوان یک ابزار بصری و کاربردی در حوزه طراحی Data Flow، صورت خواهد گرفت با Docker/Spark/Kafka/Elasticsearch/Nifi به صورت عملی توئیت‌های ارسالی به سهامیاب در هر دقیقه را بررسی خواهیم کرد.

با توجه به اینکه این دو مثال درون محیط داکر انجام خواهند شد، می‌توانید بعد از اتمام وبکست، فایل کامپوز آنها را دانلود کرده و تمام مراحل را از ابتدا انجام دهید.
این وبکست، مرور سریعی بر وظایف یک مهندس داده و مجموعه ابزار و مهارتهایی است که باید داشته باشد. جهت مشاهده فیلم معرفی و ثبت نام در آن ، از این لینک استفاده کنید.

برای مشاهده سرفصل وثبت نام در دوره مبانی مهندسی داده به وب سایت موسسه نیک آموز مراجعه کنید.

برای دانلود مثالهای عملی مطرح شده در این وبکست می توانید به آدرس زیر مراجعه کنید :

https://gitlab.com/nikamooz_bigdata/de_webcast99