بستر داده آزاد : یک معماری استاندارد برای طراحی سامانه های کلان داده

یکی از چالش های پیش روی فعالان حوزه مدیریت داده ، وجود ابزارها و شرکتهای مختلفی در حوزه کلان داده است که هر یک مزایا و معایب خاص خودش را دارد و انتخاب بین آنها را دشوار می کند. بخصوص در رابطه با هدوپ که ابزار اصلی ذخیره و تحلیل حجم عظیم داده هاست ، شاهد توزیع های مختلفی در سطح دنیا هستیم  یعنی بسته به اینکه هدوپ را از کدام شرکت تهیه کنیم (هر چند نسخه اصلی آن متن باز و رایگان است)، ابزارهای جانبی که با آن ارائه می شود متفاوت خواهد بود . نمونه ای از این بسترهای تحلیل و ذخیره داده ها را می توانید در این مقاله مشاهده کنید.

مفهومی با نام بستر داده نیز چندسالیست که در حوزه معماری های کلان داده رایج شده است و اشاره به یک معماری جامع اطلاعاتی دارد که در آن، تمام نیازهای  داده ای یک سازمان گنجانده شده است و استفاده از آن باعث می شود در یک محیط یکپارچه ، تمام نیازهای اطلاعاتی یک سازمان از ذخیره ، جستجو ، تحلیل و پردازش  و گزارش گیری از داده های مختلف برطرف شود . معماری ای که هم بانکهای اطلاعاتی کلاسیک و هم بانکهای اطلاعاتی نوین (NoSQL) و هم ابزارهای تحلیل و جستجوی کلان داده را فراهم می کنند.

خودم به شخصه بسترداده پیشنهادی  شرکت هورتن ورکز با نام HDP را بیشتر از بقیه ترجیح می دادم و برای پروژه ای که در دست انجام داریم هم آنرا به عنوان مبنای کار انتخاب کرده بودم اما چند روز پیش در خبرهای حوزه بیگ دیتا، آمده بود که جمعی از شرکتها و فعالان اصلی حوزه کلان داده ، یک بستر داده آزاد که بر پایه نرم افزارهای بازمتن و رایگان است را تشکیل داده اند که هدف اصلی آن ، استاندارد کردن یک معماری جامع اطلاعاتی است که مبنایی برای همکاری شرکتهای بزرگ و تولید ابزارهایی سازگار و یکسان برای استفاده عموم باشد. از جمله شرکتهای اصلی تشکیل دهنده این کنسرسیوم می توان به VMWareو HortonWorks اشاره کرد.

معماری داده پیشنهادی شرکت هورتون ورکز

امیدوارم این همکاری نوپا ، باعث شود از موازی کاری در حوزه کلان داده تا حد امکان جلوگیری شود و یک بستر داده استاندارد در سطح بین المللی شکل گیرد که همگان برای طراحی سامانه ای اطلاعاتی خود آنرا مبنای کار قرار دهند و شرکتهای فعال حوزه کلان داده دنیا نیز ابزار و کتابخانه های خود را بر مبنای آن طراحی و تولید کنند.