دریمیو : راهکار یکپارچه سازی داده‌های سازمانی

امروزه همه جا صحبت از علم‌ داده و انواع دیتابیس‌ها و فناوری‌های مرتبط با آنهاست اما همانطور که با حلوا حلوا گفتن صرف، کام کسی شیرین نمی‌شود، با گفتن از مزایای بیشمار علم داده بدون وجود ابزارهای مناسب برای کاربست‌‌پذیری آن در سازمان‌ها، عملاً اثرات آن محسوس نخواهد بود. یکی از مشکلاتی که به شخصه در سازمان‌های دولتی شاهد هستم، پراکندگی نرم‌افزارها و به تبع‌ آن، وجود انواع دیتابیس‌ها در یک سازمان است که این پراکندگی و تنوع، امکان ایجاد داشبوردهای مدیریتی و تحلیلی و نیز بررسی یکجای داده‌ها را در همان گام‌های اول با چالش مواجه می‌کند.

هر چند ابزارهای هوش تجاری موجود مانند تبلو و پاوربی‌آی، امکان اتصال به انواع منابع داده را فراهم می کنند اما بسیاری از منابع داده موجود در سازمان‌ها و شرکتهای امروزی، ساختاری غیر رابطه‌ای دارند مانند داده‌‌های موجود در الاستیک سرچ، سلر، ردیس، کاساندرا، فایل سیستم هدوپ و مانند آن . از طرفی، این ابزارهای هوش تجاری امکان یکسان‌سازی منابع داده ای را تنها برای استفاده خود فراهم می‌کنند و نمی‌توان از این منابع مختلف یکسان شده، داخل برنامه تحلیلی دیگری استفاده کرد.

اگر بتوانیم ابزاری داشته باشیم که داده‌های مختلف را خوانده، آنها را به یک قالب استاندارد تبدیل کند و تمام ابزارهای تحلیلی هم تنها به همین شکل استاندارد شده داده‌ها متصل شود و خود این ابزار در پشت صحنه تمام تبدیلات لازم برای اتصال به داده‌ها را فراهم کند، پیشرفت بزرگی در توسعه علم داده‌ها در دنیای تجاری امروزی شاهد خواهیم بود. وظیفه‌ای که نرم افزار متن‌باز Dremio برعهده گرفته است.

همانطور که در شکل فوق مشاهده می‌کنید، تمامی ابزارهای مطرح کار با داده، به جای اتصال به منابع مختلف داده‌ای می‌توانند به دریمیو متصل شوند و کوئری‌های خود را بر روی منابع داده‌ای دریمیو اجرا کنند و وظیفه ارسال درخواست و بازگرداندن نتیجه نهایی را به دریمیو بسپارند.

دریمیو نیز در این وسط علاوه بر ایفای نقش یک واسط استاندارد برای کار با داده‌ها، به کمک استفاده از فناوری Apache Arrow که داده‌ها را درون حافظه و به صورت ستونی ذخیره می‌کند، باعث افزایش حیرت انگیز سرعت اجرای پرس‌وجوهای تحلیلی می‌شود :

نکته قابل توجه و جالب در این باب این است که شما با اتصال دریمیو به منابع مختلفی مانند الاستیک سرچ و هدوپ، می‌توانید به راحتی انواع دستورات SQL را با سرعت بالا بر روی داده‌هایی اجرا کنید که در حالت عادی، خودشان این قابلیت را ندارند :

به دلیل همین قابلیت‌های بالقوه، امکان اتصال به دریمیو در ابزارهای نوین هوش تجاری و تحلیل داده به گزینه‌های اصلی آنها تبدیل شده است. شکل زیر بخشی از منابع داده‌ای پاوربی‌آی را نشان می‌دهد که Dremio هم جزئی از گزینه‌های در دسترس قرار گرفته است:

امکانات کاربردی‌تری هم در نسخه جدید آن یعنی نسخه ۳ به آن اضافه شده است مانند پشتیبانی از Container‌ ها، رایانش ابری و ساخت کاتالوگ داده‌ها که نیاز داده‌های سازمانی است. مجموعه تمام این قابلیت‌ها به همراه امکانات مختلف DevOps‌ و DataOps، دریمیو را به یکی از خوش‌آتیه‌ترین نرم افزارهای سالهای آتی حوزه تحلیل داده تبدیل کرده است.

اگر قصد ساخت داشبوردهای یکپارچه مدیریتی و تحلیلی دارید، سعی کنید دریمیو را به عنوان سنگ بنای کار خود انتخاب کنید تا امکان اتصال به انواع داده‌ها و یکپارچه‌سازی آنها در نرم افزارهای هوش تجاری و کدهای برنامه‌نویسی به صورت یکجا در اختیارتان قرار گیرد.

در زیر امکان ایجاد روابط و خط پردازش داده در این ابزار را هم می‌توانید مشاهده کنید :