الأخبار

5 تحديات لتحليلات البيانات الضخمة في عام 2021

Five Challenges Of Big Data Analytics in 2021
 
2021 قاب قوسين أو أدنى. حان الوقت للتعمق في أكثر قضايا تحليلات البيانات الضخمة شيوعًا، والتحقيق في الأسباب الجذرية المحتملة، وتسليط الضوء على الحلول المحتملة لتلك المشكلات.

من الأفضل دائمًا التفكير بذكاء منذ البداية عندما يكون نظام تحليلات البيانات الضخمة لديك في مرحلة المفهوم. قد يكون تنفيذ أي إصلاحات مكلفًا للغاية بمجرد تشغيل النظام بالفعل.

في عالم اليوم الرقمي، تتبنى الشركات تحليلات أعمال البيانات الضخمة لتحسين عملية صنع القرار، وزيادة المساءلة، ورفع الإنتاجية، وعمل تنبؤات أفضل، ومراقبة الأداء، واكتساب ميزة تنافسية. ومع ذلك، تواجه العديد من المؤسسات مشاكل في استخدام تحليلات ذكاء الأعمال على المستوى الاستراتيجي. وفقًا لـ Gartner، فإن 87% من الشركات لديها ذكاء أعمال منخفض ونضج تحليلات، وتفتقر إلى توجيه البيانات والدعم. لا تتعلق مشاكل تحليل بيانات الأعمال بالتحليلات في حد ذاتها فحسب، بل يمكن أيضًا أن تكون ناجمة عن مشاكل عميقة في النظام أو البنية التحتية.

1. فشل حل تحليلات الأعمال في تقديم رؤى جديدة أو في الوقت المناسب
Business analytics solution fails to provide new or timely insights 
تخيل أنك استثمرت في حل تحليلات يسعى للحصول على رؤى فريدة من شأنها أن تساعدك على اتخاذ قرارات عمل أكثر ذكاءً. ولكن في بعض الأحيان، يبدو أن الرؤى التي يوفرها نظامك الجديد بنفس المستوى والجودة التي كانت لديك من قبل. يمكن معالجة هذه المشكلة من خلال عدسة العمل أو التكنولوجيا اعتمادًا على السبب الجذري.

1.1. نقص البيانات Lack of data
لا تحتوي تحليلاتك على بيانات كافية لإنشاء رؤى جديدة. قد يكون هذا بسبب نقص تكامل البيانات أو سوء تنظيم البيانات.

في هذه الحالة، من المنطقي تشغيل تدقيق البيانات والتأكد من أن عمليات تكامل البيانات الحالية يمكن أن توفر الرؤى المطلوبة. يمكن أن يؤدي تكامل مصادر البيانات الجديدة إلى القضاء على نقص البيانات أيضًا. يجدر أيضًا التحقق من كيفية وصول البيانات الأولية إلى النظام والتأكد من عرض جميع الأبعاد والمقاييس الممكنة للتحليلات. أخيرًا، قد يكون تنوع تخزين البيانات مشكلة أيضًا. يمكن التعامل مع هذه المشكلة عن طريق إدخال بحيرة البيانات.

1.2 استجابة طويلة للبيانات Long data response
يحدث هذا عادةً عندما تحتاج إلى تلقي رؤى في الوقت الفعلي، ولكن نظامك مصمم لمعالجة الدُفعات. لذا فإن البيانات التي تحتاجها هنا والآن ليست متاحة بعد حيث لا يزال يتم جمعها أو معالجتها مسبقًا.

تحقق مما إذا كان ETL الخاص بك (استخراج، تحويل، تحميل) قادرًا على معالجة البيانات بناءً على جدول زمني أكثر تكرارًا. في بعض الحالات، تسمح الحلول التي تعتمد على الدُفعات بتعديل الجدول الزمني مع زيادة مضاعفة. خيار آخر هو استخدام نهج معماري يسمى Lambda Architecture والذي يسمح لك بدمج خط أنابيب الدُفعات التقليدي مع تدفق سريع في الوقت الفعلي.

1.3 المناهج القديمة المطبقة على نظام جديد Old approaches applied to a new system
لقد نقلت تقاريرك النموذجية إلى النظام الجديد. لكن سيكون من الصعب الحصول على إجابات جديدة من خلال طرح أسئلة قديمة. هذه مشكلة تجارية في الغالب ، وتختلف الحلول الممكنة لهذه المشكلة كثيرًا حسب كل حالة. أفضل شيء هو استشارة خبير في الموضوع، لديه خبرة واسعة في الأساليب التحليلية ويعرف مجال عملك.


2. تحليلات غير دقيقة Inaccurate analytics
ليس هناك ما هو أسوأ من التحليلات غير الدقيقة للأعمال التجارية وتحتاج هذه المشكلة إلى المعالجة في أقرب وقت ممكن.

2.1. جودة رديئة لبيانات المصدر Poor quality of source data
إذا كان نظامك يعتمد على بيانات بها عيوب أو أخطاء أو غير مكتملة ، فستحصل على نتائج سيئة. يمكن أن تساعد إدارة جودة البيانات وعملية التحقق من صحة البيانات الإلزامية التي تغطي كل مرحلة من مراحل عملية ETL الخاصة بك في ضمان جودة البيانات الواردة على مستويات مختلفة (لغوي، دلالي، نحوي ، تجاري ، إلخ). سيمكنك من تحديد الأخطاء والتخلص منها ويضمن أن يظهر التعديل في منطقة ما نفسه على الفور في جميع المجالات، مما يجعل البيانات نقية ودقيقة.

2.2. عيوب النظام المتعلقة بتدفق البيانات System defects related to the data flow
يحدث هذا عندما يتم حذف متطلبات النظام أو عدم الوفاء بها بالكامل بسبب تدخل خطأ بشري في عمليات التطوير أو الاختبار أو التحقق.

يقلل اختبار دورة حياة التطوير والتحقق منها بجودة عالية من عدد مثل هذه المشكلات، مما يقلل بدوره من مشكلات معالجة البيانات. قد يحدث أن تقدم تحليلاتك نتائج غير دقيقة حتى عند التعامل مع بيانات عالية الجودة. في هذه الحالة، من المنطقي إجراء مراجعة مفصلة لنظامك والتحقق مما إذا كان تنفيذ خوارزميات معالجة البيانات خاليًا من الأخطاء.
 
3. استخدام تحليلات البيانات بشكل معقد Using data analytics in complicated
قد تجعل المشكلة التالية كل الجهود المستثمرة في إيجاد حل فعال هباءً. إذا أصبح استخدام تحليلات البيانات معقدًا للغاية، فقد تجد صعوبة في استخراج قيمة من بياناتك. عادةً ما تتلخص مشكلة التعقيد إما في UX (عندما يكون من الصعب على المستخدمين التنقل في النظام وفهم المعلومات من تقاريره) أو إلى الجوانب الفنية (عندما يكون النظام بهندسة مفرطة).

3.1. تصور البيانات الفوضوي
Messy data visualization
مستوى تعقيد تقاريرك مرتفع للغاية. يستغرق العثور على المعلومات اللازمة وقتًا طويلاً أو يصعب العثور عليه. يمكن إصلاح ذلك من خلال إشراك متخصص UI / UX، مما سيساعدك على إنشاء واجهة مستخدم مرنة مقنعة يسهل التنقل والعمل معها.

3.2 لقد تمت هندسة النظام بشكل زائد
The system is overengineered
يقوم النظام بمعالجة المزيد من السيناريوهات ويمنحك ميزات أكثر مما تحتاجه وبالتالي تشويش التركيز. هذا يستهلك أيضًا المزيد من موارد الأجهزة ويزيد من التكاليف. نتيجة لذلك، يستخدم المستخدمون جزءًا فقط من الوظيفة. الباقي معلق مثل الوزن الثقيل ويبدو أن الحل معقد للغاية.

من المهم تحديد الوظائف المفرطة. اجمع فريقك معًا وحدد المقاييس الرئيسية: ما الذي تريد قياسه وتحليله بالضبط، والوظائف المستخدمة بشكل متكرر، وما هو تركيزك. ثم تخلص من كل الأشياء غير الضرورية. قد يكون إشراك خبير خارجي من مجال عملك لمساعدتك في تحليل البيانات خيارًا جيدًا أيضًا.
 
4. طول وقت استجابة النظام
Long system response time 
يستغرق النظام وقتًا طويلاً لتحليل البيانات على الرغم من توفر بيانات الإدخال بالفعل، والتقرير مطلوب الآن. قد لا يكون الأمر بالغ الأهمية لمعالجة الدُفعات، ولكن بالنسبة لأنظمة الوقت الفعلي، يمكن أن يكلف هذا التأخير فلسًا كبيرًا.

4.1 تنظيم البيانات غير الفعال
Inefficient data organization
ربما تكون بياناتك منظمة بطريقة تجعل من الصعب جدًا التعامل معها. من الأفضل التحقق مما إذا كان مستودع البيانات لديك مصممًا وفقًا لحالات الاستخدام والسيناريوهات التي تحتاجها. في حال لم يكن الأمر كذلك، فإن إعادة الهندسة ستساعد بالتأكيد.

4.2 مشاكل في البنية التحتية لتحليلات البيانات الضخمة واستخدام الموارد
Problems with big data analytics infrastructure and resource utilization
يمكن أن تكون المشكلة في النظام نفسه، مما يعني أنه قد وصل إلى حد قابلية التوسع. من المحتمل أيضًا أن البنية التحتية للأجهزة لم تعد كافية.

أبسط حل هنا هو الترقية، أي إضافة المزيد من موارد الحوسبة إلى نظامك. إنه جيد طالما أنه يساعد في تحسين استجابة النظام ضمن ميزانية معقولة، وطالما يتم استخدام الموارد بشكل صحيح. يتمثل النهج الأكثر حكمة من وجهة نظر استراتيجية في تقسيم النظام إلى مكونات منفصلة وتوسيع نطاقها بشكل مستقل. لكن تذكر أن هذا قد يتطلب استثمارات إضافية في إعادة هندسة النظام.
 
5. صيانة باهظة الثمن
Expensive maintenance 
يتطلب أي نظام استثمارًا مستمرًا في صيانته وبنيته التحتية. ويريد كل صاحب عمل تقليل هذه الاستثمارات. وبالتالي، حتى إذا كنت راضيًا عن تكلفة الصيانة والبنية التحتية، فمن الأفضل دائمًا إلقاء نظرة جديدة على نظامك والتأكد من أنك لا تدفع مبالغ زائدة.

5.1 تقنيات عفا عليها الزمن
Outdated technologies
تظهر كل يوم تقنيات جديدة يمكنها معالجة المزيد من أحجام البيانات بطريقة أسرع وأرخص. لذلك، عاجلاً أم آجلاً، ستصبح التقنيات التي تعتمد عليها تحليلاتك قديمة، وتتطلب المزيد من موارد الأجهزة، وتصبح صيانتها أكثر تكلفة من التقنيات الحديثة. كما أنه من الصعب العثور على متخصصين على استعداد لتطوير ودعم الحلول القائمة على التقنيات القديمة.

أفضل حل هو الانتقال إلى التقنيات الجديدة. على المدى الطويل، لن تجعل صيانة النظام أرخص فحسب، بل ستزيد أيضًا من الموثوقية والتوافر وقابلية التوسع. من المهم أيضًا إجراء إعادة تصميم للنظام خطوة بخطوة مع استبدال العناصر القديمة تدريجيًا بالعناصر الجديدة.

5.2. بنية تحتية غير مثالية
Non-optimal infrastructure
البنية التحتية هي عنصر التكلفة الذي يحتوي دائمًا على مساحة للتحسين. إذا كنت لا تزال في مكان العمل، فقد يكون الترحيل إلى السحابة خيارًا جيدًا. باستخدام الحل السحابي، يمكنك الدفع حسب الاستخدام مما يقلل التكاليف بشكل كبير. إذا كان لديك أي قيود تتعلق بالأمان، فلا يزال بإمكانك الترحيل إلى سحابة خاصة. إذا كنت بالفعل على السحابة، فتحقق مما إذا كنت تستخدمه بكفاءة وتأكد من أنك قمت بتنفيذ أفضل الممارسات لخفض الإنفاق.

5.3 النظام الذي اخترته مبالغة في الهندسة 
The system that you have chosen is overengineered
إذا لم تستخدم معظم إمكانيات النظام ، فستستمر في الدفع مقابل البنية التحتية التي يستخدمها. يمكن أن تساعدك مراجعة مقاييس العمل وتحسين النظام وفقًا لاحتياجاتك. يمكنك استبدال بعض المكونات بإصدارات أبسط تتوافق بشكل أفضل مع متطلبات عملك.
 
بدلا من الاستنتاج 
Instead of the conclusion 
تعديل منصة تحليلات الأعمال الحالية أمر ممكن، ولكن يمكن أن يتحول إلى مهمة صعبة للغاية. إذا فاتك شيء ما في تصميم وتنفيذ الحل الجديد، فقد يؤدي ذلك إلى ضياع الوقت والمال.