اسپارک آپاچی چیست؟
اسپارک یک پروژه آپاچی است که بهعنوان یک رویه محاسبات خوشهای سریع معرفی میشود. اسپارک آپاچی بهصورت کدباز بوده و در حال حاضر از فعالترین پروژههای آپاچی است. اسپارک آپاچی قادر به ارائه یک چارچوب پردازش داده عمومی و سریع است. اسپارک به شما این امکان را میدهد که برنامهها را نسبت به هادوپ، 100 برابر سریعتر در حافظه اجرا نماید و یا اینکه 10 برابر سریعتر در یک دیسک اجرا نمایید. در سال اخیر، اسپارک آپاچی با تکمیل مسابقه 100 TB Daytona GraySort بهاندازه سه بار سریعتر از هادوپ با یک دهم تعداد ماشینهای موردنیاز، نسبت به هادوپ پیشی گرفته است. از سوی دیگر اسپارک یک موتور کد بار بسیار سریعتر برای مرتبسازی دادههایی با حجم چندین پتا بایت است. علاوه بر این، اسپارک امکان نوشتن بسیار سریع کدها را فراهم میسازد زیرا بیش از 80 عملگر سطح بالا را در اختیار شما قرار میدهد. برای نشان دادن این ویژگی، فرض میشود که به دنبال “Hello World!” در کلان دادهها هستیم، این عبارت بهعنوان نمونه بیان شده است. نوشتن برنامه موردنظر برای جاوا در MapReduce شامل بیش از 50 خط کد است که در اسپارک شما میتوانید این برنامه را بهسادگی با چند خط نگارش نمایید. جنبه مهم دیگر در زمان یادگیری، نحوه استفاده از اسپارک آپاچی است که بهصورت پوسته تعاملی (REPL) استفاده میشود و میتواند امکانات خاصی ارائه نماید. با استفاده از REPL، یک فرد میتواند نتیجه خروجی هر خط از کد را بدون نیاز به اجرای کل کد و برنامه، مشاهده نماید. مسیر کار کد بسیار کوتاهتر بوده و آنالیز دادههای موردی در آن امکانپذیر است.