النتائج 1 إلى 3 من 3

الموضوع: ما هي ETL Tool

  1. #1

    ما هي ETL Tool

    كثير منا ما سمع عن كلمة ETL في مشاريع نظم المعلومات الجغرافية او في مشاريع قواعد البيانات ولكن ان اداة ETL من الادوات المهمة في اعمال وتطبيقات نظم المعلومات الجغرافية لما توفره من وقت وجهد في عملية تحويل ومعالجة البيانات ، دعونا نفصل اكثر ETL هي كلمة تتكون من ثلاث حروف E,T,L. والمقصود بالحروف كالتالي (Extract, Transform and Load) و لكن دعون نتكلم ما العلاقة بين ETL ونظم المعلومات الجغرافية بشكل اوسع ، كثير منا تعامل مع ملفات بصيغ مختلفة مثل ملفات ,DXF,CAD الاتوكاد ، وملفات بصيغ KML,KMZ وملفات DGN وملفات Tab وملفات .SDE , MDB وملفات الاكسل وغيرها من الصيغ وقد لاحظنا في الكثير من المرات يتم التحويل من خلال ادوات معينة بدون عمل اي محاذير او معايير للتحويل بين صيغة واخر فمثلا يتم تحويل بيانات الاتوكاد من خلال برنامج ArcGIS و نرى ان هناك عدم تمايز في الطبقات فقط احصل على طبقة خط او مضلع او نقاط او Annotation و عند استعراض الملف المحول نصتطدم بصعوبة قراءة الملف المحول اذا كان يحوي تصاميم هندسية معقدة وصعوبة في تميز المعالم ، وهنا تجدر الاشارة الى القواعد الاساسية التي يراد استخدامها في التحويل فعملية التحويل ليست بالعملية السهلة كما يتصور البعض وانما هي علم بحد ذاته يحتاج الى دراية فنية وخبرة وتمرس في استخدام شتى انواع البيانات ، وجاءت اهمية ادوات ETL مؤخرا حيث اصبح جميع الدوائر الحكومية تطمح الى استخدام وعمل Enterprise GIS يلبيي طموحات المؤسسة او الدائرة الحكومية ، فعند بداية اي مشروع كما هو معروف الخطوة الاساسية هي داسة الوضع الراهن As-IS للتعرف على البيانات الموجودة والانظمة والعمليات الموجودة في المؤسسة ، ومن خلال دراسة الوضع الراهن يتم تحديد حجم البيانات الموجود باختلاف صياغها ومصادرها وكما تعلمون ان اي مؤسسة تبدا بمشروع نظم المعلومات جغرافية بالكاد يكون عندها بيانات بصيغة نظم معلومات جغرافية GIS ك Shapefile or GDB و نلاحظ ان اغلبية البيانات هي عبارة عن لوحات تم عمل مسح لها وارشفتها او بيانات اتوكاد ، فلو اخذنا بعين الاعتبار ان جميع البيانات هي بصيغة اتوكاد ونريد ان نحولها الى قواعد البيانات الرئيسية من صيغة اوركل او سيكول يجب التاكد من توفر CAD Stander بمعنى ان يكون هناك تسمية وترقيم للبيانات حسب الاصول واستخدام الرموز حسب طبيعة الطبقة ، فلو افترضنا ان طبقة المياه (انابيب) وطبقة شبكة الكهرباء(كوابل ) تم رسمها على طبقة 0 او تم استخدام نفس الرمز لهما ونفس الاسم هذا كله لايعتبر CAD Stander وبالتالي لايمكن تحوليها الى قواعد البيانات الجغرافية ، وللحصول على مواصفات CAD Stander هذا يعتمد من دائرة الى اخرى ومن دولة الى اخرى ولكن يجب ان يتفق جميع الدوائر والادارات في نفس الدائرة على مسميات معينة ورموز معينة وبالتالي يتم انشاء قاموس خاص بالبيانات والرمموز والتسمية (هذا من افضل الطرق ) او يتم الاستعانة باحد التجارب الموجودة في امريكا كشركة مياه فرجينيا او بريطانيا ، وبعد اتمام عملية تجهيز البيانات وفق معايير معينة CAD Stander يتم البديء بتحديد التكنولوجيا المستخدمة في تحويل البيانات وفق ضوابط وشروط ومعايير من خلال استخدام ادوات ETL كما هو معروف او بشكل قريب علينا FME فاسم ETL يشمل الكثير من الادوات ولكن من اشهرها في عالم نظم المعلومات الجغرافية هو FME الذي هو احد منتجات Safe Company المشهورة حيث تمككنا هذه الاداة من تحويل البيانات من صيغ جغرافية (مكانية) الى صيغ جغرافية (مكانية) وقد عرفت مقدرة هذه الاداة على عمل تحويل اكثر من 300 صيغة و القدرة على التعامل مع قواعد البيانات المكانية وغير المكانية ، وكما تحدثنا سابقا بعد الانهاء من تجهيز CAD Stander يتم البديء بتحويل البيانات باستخدام ETL tool(FME)2 فتم البديء بعل CAD/GIS Business process بحيث يشمل جميع جوانب التحويل من حيث البيانات الوصفية والعلاقات بين الطبقات فمثلا لو كان عندنا طبقة مضلع في الاتوكاد تمثل قطع الاراضي و عندنا جدول اكسل يمثل معلومات وصفية تخص قطع الاراضي من خلال ETL-FME يتم عملية دمج للبيانات الوصفية والبيانات المكانية وتحويلها الى صيغ قواعد بيانات جغرافية ، ومن خلال عملية التحويل يتم كشف الاخطاء في البيانات وبالتالي نستطيع تجنب الاخطاء وبالتالي هذا نوع من انواع ضبط الجودة للبيانات وفي النهاية نكون قد حصلنا على بيانات جغرافية صحيحية مكانيا و وصفيا ... وهذا هدفنا لكي تكون صالحة للاستخدام والاستفادة منها .... ولعلم عمليات تحويل CAD/GIS هو علم شامل يحتاج الى دقة في ومتابعة للبيانات المحولة وتتطلب فرض شروط معينة اثناء التحويل ، ما يميز ال FME هو القدرة على العمل بشكل يدوي او اتوماتيكي Auto ولكن بشروط معينة بحيث يتم استلام البيانات وتحويلها الى الصيغ المرادة اليا وبالتالي تم توفير الوقت والجهد وتم تجنب الاخطاء الكبيرة ، وكما هو معروف فان FME هو ينقسم الى Desktop App و FME Server - WebApp ولكل منهم هدف يستخدم من خلاله ، وسوف اقوم بطرح مواضيع فنية باذن الله في هذا الموضع لتعم الفائدة على الجميع .... كل الشكر والتقدير والاحترام لكم
    م.نجد جمال الحناحنه

    مهندس جيوماتيكس

    Sr.GIS Engineer
    Pre-Sales GIS Engineer




  2. #2
    تاريخ التسجيل
    Jun 2005
    الدولة
    السعودية، حائل
    المشاركات
    1,164

    رد: ما هي ETL Tool

    شكراً نجد على هذا المقال المميز، وقد تصفحت موقع www.safe.com وقد بحث عن بعض الامتدادات النادرة ان جاز التعبير ووجدت دعم لتحويلها.
    ولم يرغب في البحث علية بهذا الرابط : http://www.safe.com/fme/format-search/#!
  3. #3

    رد: ما هي ETL Tool

    اقتباس المشاركة الأصلية كتبت بواسطة حمود العنزي مشاهدة المشاركة
    شكراً نجد على هذا المقال المميز، وقد تصفحت موقع www.safe.com وقد بحث عن بعض الامتدادات النادرة ان جاز التعبير ووجدت دعم لتحويلها.
    ولم يرغب في البحث علية بهذا الرابط : http://www.safe.com/fme/format-search/#!
    شكرا للاخ حمود على الرد في الحقيقة ان شركة Safe Company وفرت هذا المنتج لدعم تحويل ما لايقل عن 300 صيغة ، و لكن كما تعلمون فان السوق المحلي يتطلع دائما على بيانات الاتوكاد بشكل كبير ، ما يميز هذا المنتج القدرة على عمل دعنا نتكلم منهجية او خوارزمية يتم تنفيذها باستخدام Desktop App وهناك عدة انواع ، وبعد ذلك يتم نشر للخوارزمية بحيث تكون متاحة من خلال الويب وهي تعمل بشكل مستمر ... وقد تعد استخدم منتجات هذه الشركة يتعدى حدود التحويل للبيانات فقط وانما هناك امور اخرى مهمة منها (ترابط البيانات ، ضبط الجودة للبيانات وغيرها الكثير )...
    من قصص النجاح في هذا المجال :
    سلطة المياه مقاطعة كلايتون في امريكا
    http://www.ccwa.us

    وشكرا
    م.نجد جمال الحناحنه

    مهندس جيوماتيكس

    Sr.GIS Engineer
    Pre-Sales GIS Engineer




المواضيع المتشابهه

  1. أريد tutorial or illustration بصيغة pdf لجميع أدوات tool box
    بواسطة عاصم محمود في المنتدى منتدى برامج وتطبيقات نظم المعلومات الجغرافية
    مشاركات: 4
    آخر مشاركة: 05-24-2011, 11:24 PM
  2. GeoStatistical Tool
    بواسطة ندى صالح في المنتدى منتدى علم نظم المعلومات الجغرافية GIS
    مشاركات: 4
    آخر مشاركة: 01-21-2011, 12:43 AM

ضوابط المشاركة

  • لا تستطيع إضافة مواضيع جديدة
  • لا تستطيع الرد على المواضيع
  • لا تستطيع إرفاق ملفات
  • لا تستطيع تعديل مشاركاتك
  •