مدیریت گرافیکی پروژه‌های کلان‌داده با آپاچی نایفای

در ادامه مباحث آشنایی با سامانه‌های پردازش جریان بنیاد آپاچی به عنوان مهم‌ترین مرجع متن‌باز در حوزه کلان‌داده، در این نوشتار به آشنایی با آپاچی نایفای می پردازیم. اکثر قریب به اتفاق کتابخانه‌ها و ابزار آپاچی برای استفاده در یک محیط عملیاتی و همچنین طراحی خطوط پردازش داده، ابزار گرافیکی ارائه نمی‌کنند و تمام کار بر دوش برنامه‌نویسان است.

آپاچی نایفای به عنوان یکی از پروژه های نوپای آپاچی با هدف مدیریت گرافیکی و راحت جریان داده‌ها (Data Workflow) پا به عرصه وجود نهاده است که به کمک آن به صورت گرافیکی و با روش معمول کشیدن ورها کردن (Drag & Drop) می‌توانید خط پردازش داده خود را راه‌اندازی کنید. یعنی داده ها را از نوع منبع داده ای مانند فایل، دیتابیس، هدوپ ، توئیتر و مانند آن  به کمک پردازش‌گرهای گرافیکی از پیش آماده شده، بخوانید، انواع پردازش ها را به کمک پروسسورهای گرافیکی موجود در آن بر روی آنها انجام دهید ونتیجه را هم در منابع مختلف داده ای ذخیره کنید. شکل زیر نمونه‌ای از این مدیریت جریان داده را در نایفای نشان می‌دهد

در مقایسه با سایر پروژه‌­های جریان­‌پرداز[۱]، آپاچی نایفای یک پروژه جوان و نوپاست که در سال ۲۰۱۵ به عنوان یک پروژه سطح بالای بنیاد آپاچی پذیرفته شده است.نایفای بر مبنای الگوی تجمیع سازمانی[۲] بنا شده است یعنی مطابق با نیازمندی­های واقعی یک سازمان ایجاد شده است که در طی آن، یک داده از هنگام ورود، وارد مرحله‌­های مختلف پردازش شده و به شکل­‌های مورد نیاز و خروجی­‌های مدنظر کاربران، تبدیل می­شود.

آپاچی نایفای با یک محیط بسیار جذاب و خلاقانه عرضه شده است که می­توانید به کمک ابزارهای گرافیکی، به طراحی خط پردازش خود بپردازید که این سهولت طراحی یک سامانه جریان پرداز، از نقاط قوت اصلی نایفای محسوب می­شود. امکان اتصال به منابع داده­ای ثابت مانند فایلهای HDFS و بانک­های اطلاعاتی و داده­‌های در حال حرکت یا همان جریان­‌های داده­‌ای هم جزء نقاط قوت این سامانه است.

این ورودی‌­ها می­‌تواند از سیستم فایل محلی، HDFS ، شبکه‌­های اجتماعی، کافکا، FTP، HTTP و JMS خوانده شود و خروجی هم در الاستیک سرچ، آمازون S3 ، AWS ، اسپلانک، سلر و بانک­های اطلاعاتی SQL و NoSQL ذخیره شود. در این بین، انواع تبدیلات و پردازش­ها می­تواند روی داده‌­ها صورت گیرد. تنوع این پردازش‌گرها و ورودی و خروجیها در نایفای بسیار بالاست . در شکل زیر، همانطور که می بینید ۲۵۱ پردازش‌گر در تولید خط پردازش داده شما قابل استفاده است :

این پردازش‌گرها که تعداد آنها به صورت مداوم در حال افزایش است، در گروه‌های زیر دسته‌بندی می شوند:

کاربرد عملی آپاچی نایفای

نقش اصلی آپاچی نایفای در تولید سریع خط تولید و پردازش داده به کمک ابزارهای تعبیه شده در آن است.

از طرفی با رواج اینترنت اشیاء، نیاز به سامانه‌­های دریافت و پردازش داده قابل مدیریت، بیش از پیش احساس می‌شود.آپاچی نایفای، گزینه مناسبی برای کاربردهای اینترنت اشیاء است که سهولت طراحی گرافیکی آن و منابع مختلف ورودی و خروجی آن، برای بسیاری از فعالین این حوزه که دانش عمیقی از بانک­های اطلاعاتی ممکن است نداشته باشند، یک مزیت بسیار مهم است .

از دیگر سناریوهایی که می­توان با NiFi پیاده سازی کرد، ایجاد مسیر سرد و داغ در تحلیل داده است. توضیح اینکه در سامانه­‌های مدیریت و پردازش اینترنت اشیاء، برخی از داده‌­هایی که توسط حسگرها تولید می­شود باید به صورت بلادرنگ پردازش شده، تصمیم مناسب به صورت لحظه­‌ای برایشان اتخاذ شود. این داده­‌ها در طراحی یک خط پردازش داده، مسیر داغ را تشکیل می­دهند. از طرفی، بسیاری از داده­‌های ارسالی از حسگرها اهمیت حیاتی و لحظه­‌ای ندارند و برای پردازش­های زمان­مند باید ذخیره شوند. این نوع از داده­‌ها، در مسیر سرد پردازش قرار میگیرند. ایجاد خطوط پردازش داده موازی و جداگانه برای این دو نوع داده، به راحتی در نایفای امکان­‌پذیر است.

نقاط قوت اصلی نایفای به عنوان یک بازیگر نوپا در حوزه جریان­پردازی از قرار زیر است  :

• امکان طراحی گرافیکی خطوط پردازش داده
• پردازش همزمان داده­‌های جریانی / داده­‌های زمان­مند
• اجرا به صورت محلی / تحت شبکه
• کاملاً مقیاس‌­پذیرو قابل توسعه
• مدیریت یکپارچه خطاهای خط پردازش داده
• تضمین تحویل داده به هر گره پردازشی
• بافرینگ داده­‌ها و امکان نظارت بر منابع و جریان­‌های ورودی
• اولویت­‌بندی صف­ها
• وجود قالب‌­های از پیش تعیین شده رایج در پردازش جریان
• ایجاد پرونده داده برای هر داده ورودی با تمام تبدیل­هایی که روی آن صورت می­گیرد.

نصب و راه‌اندازی

نصب نایفای نیاز به وجود هدوپ و کامپوننت‌های کلان‌داده ندارد و می تواند مستقلاً نصب و مورد استفاده قرار گیرد اما در محیط های واقعی، برای اتصال به منابعی مانند HDFS، استفاده از اسپارک و مانند آن، نیاز به راه اندازی و نصب هدوپ خواهید داشت.

برای شروع می‌توانید از ایمیج‌های آماده هورتون‌ورکز استفاده کنید و یا نسخه داکر نایفای را نصب کنید که بدون هیچ پیکربندی خاصی و به سرعت بتوانید کار با آنرا شروع کنید.

بعد از نصب آپاچی نایفای، از این مثال ساده می توانید کار با آنرا شروع کنید. کتاب کم‌حجم راهنمای شروع به کار نایفای را هم می‌توانید به صورت رایگان دانلود کنید و با راهنمایی آن شروع به نصب و کار با این نرم افزار مفید نمایید.

از راهنمای ویدئویی زیر هم برای نصب و راه‌اندازی نایفای می توانید بهره ببرید :

نایفای در کنار سایر پروژه‌های آپاچی

از آپاچی نایفای برای ساخت دریاچه‌های داده یا مدیریت گرافیکی جریان‌های داده در یک سازمان هم استفاده کرد. شکل زیر یک مثال عملی از کاربرد نایفای برای خواندن و پردازش توئیت ها را نشان می‌دهد که حرفه‌ای ترین جریان کار، سطر اول این شکل است که استفاده از آپاچی بیم ما را قادر می‌سازد در صورت تمایل به تغییر زیر ساخت پردازش داده از مثلا اسپارک به فلینک یا اپکس، این کار را به سرعت و به راحتی بدون تغییر در کدهای نوشته شده، انجام دهیم. درباره آپاچی اپکس و آپاچی بیم در ادامه این سری مقالات توضیح خواهیم داد.

[۱]  Stream Processing Systems

[۲]  Enterprise Integration Pattern