Google Voice silenced by expired TLS certificate in February outage
في تقرير عن الحادث نُشر يوم الجمعة، قالت Google إن انقطاع خدمة Google Voice الذي أثر على غالبية مستخدمي خدمة الهاتف في وقت سابق من هذا الشهر كان بسبب انتهاء صلاحية شهادات TLS.
منع هذا الانقطاع في جميع أنحاء العالم worldwide outage معظم مستخدمي Google Voice من تسجيل الدخول إلى حساباتهم واستخدام الخدمة لأكثر من أربع ساعات بين 15 فبراير و 16 فبراير 2021.
يذكر تقرير الحادث: "واجه مستخدمو Google Voice مشكلة تتمثل في فشل اتصال بعض مكالمات الصوت عبر بروتوكول الإنترنت (Voice over Internet Protocol VoIP) الواردة أو الصادرة، لمدة إجمالية تبلغ 4 ساعات و 22 دقيقة". "حدث تأثير الذروة في حوالي الساعة 03:00، وفي ذلك الوقت بدأت جهود التخفيف لتقليل معدلات الفشل".
أثناء التشغيل المنتظم، يتم التحكم في المكالمات الصوتية التي يتم إجراؤها عبر Google Voice باستخدام بروتوكول بدء الجلسة (Session Initiation Protocol SIP)، حيث تعيد أجهزة العميل على الفور محاولة الاتصال بالخدمة بمجرد انقطاعها.
يتم أيضًا تدوير شهادات أمان طبقة النقل (Transport Layer Security TLS) المستخدمة لتشفير كل حركة مرور Google Voice بانتظام للحفاظ على الاتصالات وحركة المرور آمنة.
منع هذا الانقطاع في جميع أنحاء العالم worldwide outage معظم مستخدمي Google Voice من تسجيل الدخول إلى حساباتهم واستخدام الخدمة لأكثر من أربع ساعات بين 15 فبراير و 16 فبراير 2021.
يذكر تقرير الحادث: "واجه مستخدمو Google Voice مشكلة تتمثل في فشل اتصال بعض مكالمات الصوت عبر بروتوكول الإنترنت (Voice over Internet Protocol VoIP) الواردة أو الصادرة، لمدة إجمالية تبلغ 4 ساعات و 22 دقيقة". "حدث تأثير الذروة في حوالي الساعة 03:00، وفي ذلك الوقت بدأت جهود التخفيف لتقليل معدلات الفشل".
أثناء التشغيل المنتظم، يتم التحكم في المكالمات الصوتية التي يتم إجراؤها عبر Google Voice باستخدام بروتوكول بدء الجلسة (Session Initiation Protocol SIP)، حيث تعيد أجهزة العميل على الفور محاولة الاتصال بالخدمة بمجرد انقطاعها.
يتم أيضًا تدوير شهادات أمان طبقة النقل (Transport Layer Security TLS) المستخدمة لتشفير كل حركة مرور Google Voice بانتظام للحفاظ على الاتصالات وحركة المرور آمنة.
السبب الجذري لانقطاع Google Voice وتأثيره
أوضحت Google أنه "نظرًا لوجود مشكلة في تحديث تكوينات الشهادة، انتهت صلاحية الشهادة النشطة في أنظمة الواجهة الأمامية لـ Google Voice عن غير قصد في 2021-02-15 23:51:00 ، مما أدى إلى ظهور المشكلة". "خلال فترة التأثير، لم يتمكن أي عميل يحاول إنشاء اتصال SIP أو إعادة تأسيسه من القيام بذلك".
بعد أن أدت الشهادات منتهية الصلاحية إلى حدوث انقطاع، لم يتمكن المستخدمون من الوصول إلى خدمة Google Voice لإجراء مكالمات VoIP أو استقبالها.
ومع ذلك، فإن أجهزة العميل التي كان لديها بالفعل اتصال SIP نشط قبل الحادث لم تتأثر أثناء الانقطاع (طالما لم يتم قطع الاتصال).
وأضافت Google: "بعد التحقيق، قرر الفريق الهندسي أن تهيئة الشهادة هي السبب الأساسي". "أنشأ الفريق شهادات محدثة ومعلومات التكوين وبدأ في نشر هذه البيانات في حالات الطوارئ لأنظمة الواجهة الأمامية".
بعد طرح التخفيف، استعاد عملاء Google Voice SIP المتأثرون الوظائف بعد إعادة محاولة اتصالهم بالخدمة.
تدابير لمنع الانقطاعات في المستقبل Measures to prevent future outages
يتخذ فريق Google الهندسي العديد من الإجراءات المصممة لمنع حدوث مشكلة مماثلة مرة أخرى وتقليل تأثير الانقطاعات المستقبلية. كما قال فريق Google Workspace الذي نشر تقرير الحادث، فإن المهندسين يتخذون الإجراءات التالية:
- تكوين تنبيه استباقي إضافي لأحداث انتهاء صلاحية الشهادة القادمة.
- قم بتكوين تنبيه تفاعلي إضافي لأخطاء TLS في أنظمة الواجهة الأمامية لـ Google Voice.
- تحسين الأدوات الآلية لتدوير الشهادات وتحديثات التكوين.
- استخدم بنية تحتية أكثر مرونة للنشر السريع لتغييرات التكوين.
- تحديث أنظمة تخصيص الموارد لتوفير موارد الطوارئ بشكل أكثر كفاءة أثناء الحوادث.
- تطوير سيناريوهات التدريب والممارسة لعمليات الطرح الطارئة لأنظمة وتكوينات الواجهة الأمامية لـ Google Voice.
في ديسمبر 2020، عانت Google من انقطاع في نظام المصادقة العالمي أثر على معظم خدماتها الموجهة للمستهلكين، بما في ذلك Gmail و YouTube و Google Drive وخرائط Google وتقويم Google.
كما أوضحت Google في وقت لاحق من ذلك الشهر، كان سبب هذا الحادث خطأ في نظام إدارة الحصص الآلي، والذي منع المستخدمين من تسجيل الدخول إلى حساباتهم والمصادقة على خدمات Google Cloud.
يتخذ فريق Google الهندسي العديد من الإجراءات المصممة لمنع حدوث مشكلة مماثلة مرة أخرى وتقليل تأثير الانقطاعات المستقبلية. كما قال فريق Google Workspace الذي نشر تقرير الحادث، فإن المهندسين يتخذون الإجراءات التالية:
- تكوين تنبيه استباقي إضافي لأحداث انتهاء صلاحية الشهادة القادمة.
- قم بتكوين تنبيه تفاعلي إضافي لأخطاء TLS في أنظمة الواجهة الأمامية لـ Google Voice.
- تحسين الأدوات الآلية لتدوير الشهادات وتحديثات التكوين.
- استخدم بنية تحتية أكثر مرونة للنشر السريع لتغييرات التكوين.
- تحديث أنظمة تخصيص الموارد لتوفير موارد الطوارئ بشكل أكثر كفاءة أثناء الحوادث.
- تطوير سيناريوهات التدريب والممارسة لعمليات الطرح الطارئة لأنظمة وتكوينات الواجهة الأمامية لـ Google Voice.
في ديسمبر 2020، عانت Google من انقطاع في نظام المصادقة العالمي أثر على معظم خدماتها الموجهة للمستهلكين، بما في ذلك Gmail و YouTube و Google Drive وخرائط Google وتقويم Google.
كما أوضحت Google في وقت لاحق من ذلك الشهر، كان سبب هذا الحادث خطأ في نظام إدارة الحصص الآلي، والذي منع المستخدمين من تسجيل الدخول إلى حساباتهم والمصادقة على خدمات Google Cloud.
