معماری کلان داده بر بستر رایانش ابری

معماری کلان داده بر بستر رایانش ابری

کد کارگاه: ICWR07-02

زمان: چهارشنبه 30 فروردین 96 ساعت 16:30  الی 18:30

مکان: تهران

حیطه موضوع: رایانش ابری و کلان داده

ارائه دهندگان: وحید امیری، رضا بخشایش  - انجمن رایانش ابری

توضیحات بیشتر:

امروزه کلان داده به یکی از داغ‌ترین و چالش برانگیزترین مسائل مطرح در زمینه فناوری اطلاعات تبدیل شده است. به عنوان  یک تعریف مختصر، کلان داده به مجموعه ایی از رویکردها، تکنیک‌ها و راه حل‌های اشاره دارد که برای مدیریت و پردازش داده‌هایی با ویژگی‌های سرعت تولید بالا، گوناگونی نوع داده ای و حجم انبوه بکار می رود.

استقرار، آماده‌سازی و نگهداری محیط‌های کلان داده معمولا یک امر پرهزینه و دشوار برای سازمان‌ها می باشد. پیکربندی، بروزرسانی و مقیاس پذیری کلاسترهای زیرساخت ابزارهای کلان داده مواردی هستند که حرکت به سمت استفاده از این راه حل‌ها را برای شرکت‌ها و سازمان‌ها کند و دشوار می‌کند.

استفاده از زیرساخت‌های رایانش ابری می‌تواند به عنوان یک راه حل مناسب برای غلبه بر این مشکلات مطرح شود. رایانش ابری مدلی است که دسترسی فراگیر، معمول و مبتنی بر درخواست از طریق شبکه به مجموعه‌ای از منابع قابل پیکربندی (مانند سرورها، برنامه‌ها و سرویس‌ها) که می‌توانند با کمترین تلاشی  به سرعت اختصاص داده شده و یا بازپس گرفته می‌شوند را فراهم می‌کند.

مقیاس پذیری خودکار، دسترسی به منابع نامحدود، خودکارسازی فرآیندهای استقرار برنامه ها و استفاده از مدل های قیمت گذاری مبتنی بر استفاده مزایایی هستند که مدل استقرار مبتنی رایانش ابری می‌تواند برای محیط‌های کلان داده نیز به ارمغان بیاورد.

در این کارگاه ضمن بررسی مفاهیم اولیه رایانش ابری و کلان داده، به ارائه معماری استقرار ابزارهای کلان داده بر بستر زیرساخت رایانش ابری می‌پردازیم.

اهداف کارگاه آموزشی:

- ارائه مفاهیم رایانش ابری

- تعریف رایانش ابری

-آشنایی با پروژه OpenStack

-کار عملی با ابر راه اندازی شده توسط OpenStack

-ارائه مفاهیم کلان داده

-تعریف کلان داده

-معرفی پروژه‌های Apache Hadoop و Apache Spark

-اجرای برنامه‌های نمونه توسط این دو ابزار

-ارائه معماری استقرار Hadoop و Spark بروی ابر OpenStack

-ارائه معماری نحوه استقرار ابزارها بروی ابر

-ایجاد کلاستر در مقیاس بالا بصورت خودکار (کارعملی)

- اجرای برنامه های توسعه داده شده در مقیاس بالا و بصورت توزیع شده