نقشه سایت

خوشه بندی کلان داده اینترنت اشیا توسط مینی – دسته بهینه سازی شده ی متاهیوریستیک و DGC مبتنی بر پارتیشن موازی در هادوپ

الگوریتم های خوشه بندی، دسته مهمی از خانواده داده کاوی هستند که به طور گسترده در کاربردهای اینترنت اشیا مانند یافتن الگوهای حس کردن مشابه، تشخیص خطاها و قطعه بندی گروه های رفتاری بزرگ در بلادرنگ بکار گرفته شده اند. میانگین k دسته ای کامل سنتی برای خوشه بندی کلان داده اینترنت اشیا با مشکلات پیچیدگی محاسباتی بالا و ذخیره سازی در مقیاس بزرگ مواجه می شود. به منظور غلبه بر تاخیر به ارث رفته از میانگین k دسته ای کامل، دو روش پردازش کلان داده مورد استفاده قرار گرفته اند: اولین روش، استفاده از دسته های کوچک به عنوان داده های ورودی برای چندین کامپیوتر برای کاهش تلاش های محاسباتی است. با این حال، بسته به داده های حس شده ای که ممکن است از نظر ناهمگنی از منابع مختلف در شبکه اینترنت اشیا ترکیب شوند، اندازه هر مینی  - دسته ممکن است در هر تکرار فرایند خوشه بندی تغییر کند. زمانیکه این داده های ورودی به خوشه بندی نسبت داده می شوند، مراکز آنها به طور چشمگیری انتقال می یابند که روی نتایج خوشه بندی نهایی تاثیر می گذارد. دومین روش، محاسبات موازی است که زمان اجرا را کاهش می دهد، در حالیکه تلاش محاسباتی کلی، یکسان باقی می ماند. همچنین، برخی از الگوریتم های خوشه بندی مبتنی بر مرکزیت مانند میانگین K به راحتی به بهینه محلی همگرا می شوند. در این راستا، در این مقاله، یک روش خوشه بندی پارتیشن بندی شده که توسط متاهیوریستیک بهینه سازی می شود برای محیط کلان داده اینترنت اشیا پیشنهاد می شود. این روش دارای سه فعالیت اصلی است: اولا، نمونه ای از مجموعه داده به مینی دسته ها پارتیشن بندی می شود که بعد از آن مرکزیت های مینی دسته های داده ها تنظیم می شود. سومین گام، تلفیق مینی دسته ها جهت تشکیل خوشه ها است، بنابراین کیفیت خوشه ها به حداکثر خواهد رسید. نحوه تنظیم بهینه ی موقعیت های مرکزیت ها در مینی دسته ها توسط متاهیوریستیکی به نام بهینه سازی گروهی پویا کنترل می شود. داده ها بطور موازی در هادوپ پردازش می شوند. آزمایش های گسترده به منظور بررسی کارایی انجام می گیرند. نتایج نشان می دهند که روش پیشنهادی ما یک ابزار امیدبخش برای خوشه بندی داده های اینترنت اشیای مرکب به طور کارا و موثر می باشد.

کلمات کلیدی: متاهیوریستیک، پارتیشن بندی، خوشه بندی، هادوپ، داده های اینترنت اشیا، ترکیب داده ها

 

Clustering big IoT data by metaheuristic optimized mini-batch and parallel partition-based DGC in Hadoop

Future Generation Computer Systems Volume 86, September 2018, Pages 1395-1412

Abstract

Clustering algorithms are an important branch of data mining family which has been applied widely in IoT applications such as finding similar sensing patterns, detecting outliers, and segmenting large behavioral groups in real-time. Traditional full batch -means for clustering IoT big data is confronted by large scaled storage and high computational complexity problems. In order to overcome the latency inherited from full batch -means, two big data processing methods were often used: the first method is to use small batches as the input data to multiple computers for reducing the computation efforts. However, depending on the sensed data which may be heterogeneously fused from different sources in an IoT network, the size of each mini batch may vary in each iteration of clustering process. When these input data are subject to clustering their centers would shift drastically, which affects the final clustering results. The second method is parallel computing, it decreases the runtime while the overall computational effort remains the same. Furthermore, some centroid based clustering algorithm such as -means converges easily into local optima. In light of this, in this paper, a new partitioned clustering method that is optimized by metaheuristic is proposed for IoT big data environment. The method has three main activities: Firstly, a sample of the dataset is partitioned into mini batches. It is followed by adjusting the centroids of the mini batches of data. The third step is collating the mini batches to form clusters, so the quality of the clusters would be maximized. How the positions of the centroids could be optimally attuned at the mini batches are governed by a metaheuristic called Dynamic Group Optimization. The data are processed in parallel in Hadoop. Extensive experiments are conducted to investigate the performance. The results show that our proposed method is a promising tool for clustering fused IoT data efficiently.

Keywords: Metaheuristic, Partitioning, Clustering, Hadoop, IoT data, Data fusion

 

تماس با ما

  • آدرس: تبریز، میدان دانشسرا، خایابان خاقانی، پاساژ خاقانی، پلاک 119
  • تلفن تماس: 35250068-041
  • فکس: 35250069-041
  • این آدرس ایمیل توسط spambots حفاظت می شود. برای دیدن شما نیاز به جاوا اسکریپت دارید
  • موبایل: 09141077352

طلا ترجمه

وب سایت طلا ترجمه از  سال  1385 شروع به کار نموده است  و تا کنون بیش از ده هزار ترجمه در رشته ها و زمینه های مختلف توسط متخصصین این مرکز انجام  شده  است.طلا ترجمه اولین وب‌سایت ایرانی است که امکان محاسبه آنلاین مبلغ ترجمه را به دو روش مختلف فراهم نموده است تا بتواند گامی موثر در راحتی شما مشتریان عزیز بردارد.

دیکشنری تصویری

ارسال سریع پیام

  1. لطفا نام و نام خانوادگی خود را وارد نمایید.
  2. لطفا آدرس پست الکترونیکی خود را صحیح وارد نمایید.
  3. لطفا موضوع پیام ارسالی خود را بنویسید.
  4. لطفا متن پیام خود را تکمیل نمایید.
Top
We use cookies to improve our website. By continuing to use this website, you are giving consent to cookies being used. Cookie policy. I accept cookies from this site. Agree