STT Người ký Đơn vị Thời gian ký Ý kiến

1 Tô Mạnh Tổng Giám đốc - 01/11/2022 -

Cường Tổng công ty Viễn 09:12:29
thông MobiFone
2 Lã Thành Trưởng ban - Ban 01/11/2022 Kính trình Anh
Trung Công nghệ và quản lý 08:28:26
mạng :07
: 47
10
2
202
1/
/1
01
n
e.v
ifon
ob
m
nh@
di
.do
ao
th
n
ne.v
ifo
ob
m
@
inh
o d
o.d
tha
ảo
Th
nh
Đì
Đỗ
TỔNG CÔNG TY VIỄN THÔNG CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM
MOBIFONE Độc lập - Tự do - Hạnh phúc

Số: /BC- CNQLM Hà Nội, ngày tháng năm 2022

BÁO CÁO 7
7 :0
Về việc thực hiện các chỉ đạo của Hội đồng thành viên đối:4 với sự cố mạng
lưới ngày 24/10/2022 10
2 2
__________________________/20
1
1 /1
Kính gửi: Hội đồng thành viên Tổng công tyvn Viễn 0 thông MobiFone
.e
n
Thực hiện chỉ đạo của Chủ tịch Hội đồng thành bifo viên trong Thông báo số 4743/TB-
o
MOBIFONE ngày 27/10/2022 Kết luận cuộc họp @
m về đảm bảo an toàn, chất lượng mạng
lưới, Tổng giám đốc Tổng công ty kính báoinhcáo Hội đồng thành viên một số nội dung
liên quan đến sự cố hệ thống SDC gây lỗi od
o .d dịch vụ trên mạng lưới MobiFone vào ngày
24/10/2022 như sau: a
th
A. Về sự cố gây ảnh hưởng đếne.sử vn dụng dịch vụ của khách hàng ngày 24/10/2022:
n
1. Thông tin chung về sự cố: ifo
o b
- Tên sự cố: lỗi hệ thống m SDC C30.
- Thời gian xảy ra sự h cố: Từ 08h18 - 10h00 ngày 24/10/2022.
@
- Mức độ ảnh hưởng: d in nghiêm trọng. (Do sự cố gây ảnh hưởng chập chờn đến dịch
o
vụ data, khó gọi (thoại) o .d và gửi tin nhắn).
a
- Phạm viảoảnh th hưởng: mất kết nối Diameter giữa các hệ thống PSCore (MME,
EPG), OCS, HSS, Th PCRF tại Mạng lưới miền Nam, quá tải báo hiệu MSTP-HSS, ảnh
h
hưởng đến việcn sử dụng dịch vụ data, khó gọi tại miền Bắc, Trung, Nam.
Đì
2. Nguyên
Đỗ nhân:
Căn cứ trên nội dung họp giữa Tổng công ty và đối tác Elcom ngày 25/10/2022,
phân tích log file tác động vào hệ thống, nguyên nhân của sự cố có thể xác định như sau:
- Một trong hai nốt mạng chuyển tiếp báo hiệu SDC tại TP HCM (SDCQ0901F)
được tách tải để thực hiện nâng cấp từ 21-24/10/2022, khi này toàn bộ lưu lượng khu
vực phía Nam được chuyển về nút mạng SDCC3001F.
- Trong quá trình nâng cấp SDCQ0901F, đối tác Elcom thực hiện tác động lên hệ
thống SDCC3001F (chưa nằm trong kế hoạch nâng cấp ngày 24/10/2022) gây gián đoạn
dịch vụ trên hệ thống SDCC3001F.
- Khi SDCC3001F gián đoạn dịch vụ, thuê bao cập nhật đồng loạt dẫn đến tải
tăng cao đột biến gây nghẽn cục bộ kết nối báo hiệu trên STP, SDC và xử lý trên
HLR/HSS dẫn đến các thuê bao khó gọi và một số thuê bao không cập nhật được mạng.
- Sau khi thực hiện một loạt biện pháp giảm tải, đưa vào hoạt động lại
SDCQ0901F, tải các kết nối báo hiệu dần ổn định và dịch vụ trở lại bình thường.
(Kèm theo: Biên bản làm việc giữa MobiFone và Elcom, thư trao đổi giữa hai bên).
3. Đánh giá quá trình xử lý sự cố:
- Sau khi xảy ra sự cố các bên (TT.NOC và đối tác Elcom) đã nỗ lực và có giải
pháp kịp thời để đảm bảo tải các hệ thống khác giảm thiểu các hiệu ứng lan truyền có
thể gây ảnh hưởng trầm trọng hơn cho mạng lưới. Các đối tác của các hệ thống quan
trọng khác (STP, HSS) cũng đã có mặt để hỗ trợ theo dõi, giảm tải xử lý. Nhờ đó, dịch
vụ đã được khôi phục về trạng thái ổn định sau 102 phút.
 2

- Về thời gian khôi phục dịch vụ, xử lý sự cố: đạt (yêu cầu đối với sự cố nghiêm
trọng, thời gian khắc phục sự cố không quá 120 phút).
- Về thông tin phối hợp: thông tin về sự cố đã được trao đổi trên nhóm bao gồm
các Ban CSKH, Ban TGTT để nắm. Tuy nhiên, việc cập nhật thông tin chưa đầy đủ.
7
- Về báo cáo: Sau khi kết thúc sự cố, Trung tâm NOC đã có 7báo :0 cáo nhanh qua
email về quá trình xử lý sự cố. :4
10
4. Các công việc triển khai ngay sau sự cố 2
2 02
- Tổ chức họp và xác định nguyên nhân: thực hiện mời / đối tác và tổ chức họp để
/ 11
xem xét nguyên nhân vào 25/10/2022. 01
- Thực hiện trích xuất dữ liệu log hệ thống để lưu v ntrữ phục vụ việc đánh giá trách
.
nhiệm của cả hai bên sau này. o ne
if
- Công tác báo cáo sự cố đến các cơ quan theo ob quy định: Tổng công ty đã gửi văn
m
bản số 4721/MOBIFONE-CNQLM ngày 26/10/2022 h @ báo cáo Cục Viễn thông về sự cố
lỗi dịch vụ mạng MobiFone. i n
od
- Công tác đảm bảo an toàn, chấtaolượng .d mạng, ổn đinh dịch vụ:
t h
+ Tạm dừng triển khai dự án vn “Nâng cấp hệ thống SDC” và các dự án quan trọng
.
có tác động đến an toànn mạng để xem xét phòng ngừa.
e
+ Trung tâm NOC làm b ifoviệc với đối tác Elcom/F5 về chi tiết trách nhiệm khi
o
thực hiện nâng cấp. m
@
+ Phối hợp đối itác nh rà soát lại quy trình thực hiện tác động nâng cấp, phòng
d
o lặp lại.
tránh rủi ro.dlỗi
o
ha
B. Về đánh giá ttrách nhiệm liên quan đến sự cố:
ả o
1. Các cơ sởThđể đánh giá trách nhiệm của các tập thể, cá nhân liên quan:
Các quy nhđịnh, văn bản liên quan đến đánh giá trách nhiệm của tập thể, cá nhân liên
Đì
quan baoĐỗgồm:
- Quy chế Quản lý, vận hành khai thác mạng viễn thông ban hành theo Quyết
định số 1554/QĐ-HĐTV ngày 14/10/2019 của Hội đồng thành viên Tổng công ty Viễn
thông MobiFone;
- Quy trình quản lý sự cố ban hành theo quyết định số 1347/QĐ-MOBIFONE
ngày 06/8/2021 của Tổng giám đốc Tổng công ty Viễn thông MobiFone;
- Quyết định số 1558/QĐ-MOBIFONE ngày 17/9/2021 của Tổng giám đốc Tổng
công ty Viễn thông MobiFone về việc Ban hành Quy trình Quản lý đầu tư của Tổng
công ty Viễn thông MobiFone;
- Công văn số 4996/MOBIFONE-ĐT ngày 17/9/2021 của Tổng giám đốc Tổng
công ty Viễn thông MobiFone về việc hướng dẫn tổ chức thực hiện Quy trình Quản lý
đầu tư của Tổng công ty Viễn thông MobiFone;
- Công văn số 7021/MOBIFONE-PTML ngày 28/12/2021 của Tổng giám đốc
Tổng công ty Viễn thông MobiFone về việc giao nhiệm vụ triển khai dự án “Nâng cấp
hệ thống SDC”;
- Công văn số 4493/MOBIFONE-PTML-CNQLM ngày 13/10/2022 của Tổng
giám đốc Tổng công ty Viễn thông MobiFone về việc phê duyệt kế hoạch tiếp tục hòa
mạng thiết bị các node SDC thuộc dự án Nâng cấp hệ thống SDC;
- Văn bản báo cáo số 1733/TT.NOC-KTH ngày 31/10/2022 của Trung tâm Quản
lý Điều hành mạng (NOC) về việc báo cáo sự cố lỗi hệ thống SDC C30;
 3

- Biên bản làm việc giữa Tổng công ty Viễn thông MobiFone với Công ty Elcom,
là nhà thầu triển khai dự án nâng cấp hệ thống SDC, về việc xác định nguyên nhân, trách
nhiệm đối với các sự cố xảy ra ngày 24/10/2022;
2. Đánh giá về tuân thủ quy định: 7
:0
a. Về phê duyệt và triển khai dự án: :4
7
Trách nhiệm của các bên được thực hiện theo văn bản 2số 10 7021/MOBIFONE-
2
PTML ngày 28/12/2021 của Tổng giám đốc Tổng công ty Viễn / 20thông MobiFone về việc
1
giao nhiệm vụ triển khai dự án “Nâng cấp hệ thống SDC” 1 /1 và số 4493/MOBIFONE-
PTML-CNQLM ngày 13/10/2022 của Tổng giám đốc 0
n Tổng công ty Viễn thông
.e v
MobiFone về việc phê duyệt kế hoạch tiếp tục hòa omạng n thiết bị các node SDC thuộc
i f
dự án Nâng cấp hệ thống SDC. Các nội dung phêobduyệt tại các văn bản này đã tuân thủ
Quy trình Quản lý Triển khai hợp đồng thuộc @ Quy
m trình Quản lý đầu tư. Trong đó:
n h
- Ban Phát triển mạng lưới (PTML): di là đơn vị chủ trì dự án, chịu trách nhiệm
quản lý triển khai hợp đồng, giám sát thực o
o. hiện hợp đồng.
d
- Ban Công nghệ và Quản lý mạng a
t (CNQLM): là đơn vị phối hợp Ban PTML phê
h
n
duyệt thiết kế mức cao (HLD), phối .e vhợp xây dựng kịch bản kiểm tra, nghiệm thu sơ bộ,
n
nghiệm thu bảo hành. i fo
- Trung tâm NOC: Chủ ob
m trì giám sát, phối hợp nhà thầu triển khai lắp đặt, cài đặt,
tích hợp hệ thống và nghiệm @ thu kỹ thuật trước khi đưa hệ thống vào khai thác.
inh
- Nhà thầu Elcom: d chịu trách nhiệm triển khai nâng cấp hệ thống SDC theo cam
. do
kết, quy định trong HĐ ao số TECH/TCT-756-21-MOBIFONE/ELCOM.
b. Về tiến độo triển th khai dự án:
h ả
Hệ thống h SDC đang trong quá trình triển khai nâng cấp theo hợp đồng số
T
ì n
TECH/TCT-756/21-MOBIFONE/ELCOM. Hiện trạng nâng cấp các node như sau:
Đ
ỗ
Đ Thiết bị Hiện trạng nâng cấp
SDCYHA01F Đã hoàn thành nâng cấp và hòa mạng lại
SDCGBT01F Chưa tiến hành nâng cấp
SDCQ0901F Hoàn thành tách tải ngày 21/10/2022. Bắt đầu thực hiện
nâng cấp từ 24/10/2022 sau 3 ngày theo dõi tách tải.
SDCC3001F Chưa tiến hành nâng cấp
c. Về tuân thủ quy định:
- Về phía nhà thầu:
Việc tác động lên node mạng tại C30 (không nằm trong kế hoạch triển khai ngày
24/10/2022) gây ảnh hưởng nghiêm trọng đến mạng lưới, dịch vụ của MobiFone vi
phạm cam kết về tính hợp lệ của hàng hóa và các yêu cầu đối với hàng hóa trong hồ sơ
dự thầu là một thành phần trong hợp đồng giữa Tổng công ty Viễn thông MobiFone và
Công ty Elcom.
- Về phía đại diện chủ đầu tư:
+ Trung tâm NOC là đơn vị chủ trì giám sát, phối hợp nhà thầu triển khai lắp đặt,
cài đặt, tích hợp hệ thống và nghiệm thu kỹ thuật trước khi đưa hệ thống vào khai
thác. Trung tâm đã có văn bản giao nhiệm vụ triển khai dự án đến các đơn vị nội
bộ trung tâm (văn bản số 30/TT.NOC-KTH ngày 10/1/2022). Điều này phù hợp
với văn bản số 7021/MOBIFONE-PTML ngày 28/12/2021 của Tổng giám đốc
Tổng công ty Viễn thông MobiFone về việc giao nhiệm vụ triển khai dự án “Nâng
 4

cấp hệ thống SDC” và số 4493/MOBIFONE-PTML-CNQLM ngày 13/10/2022

phê duyệt kế hoạch tiếp tục hòa mạng thiết bị các node SDC thuộc dự án Nâng
cấp hệ thống SDC.
+ Việc cấp quyền truy cập hiện nay bị hạn chế về kỹ thuật nên khi cấp quyền truy
7
cập SDC sẽ cấp cho toàn bộ các node mạng SDC kết nối đến 7OMC. :0
+ Việc tổ chức theo dõi giám sát nhà thầu khi triển khai có hạn :4
10 chế dẫn đến xảy ra
sự cố phải tiếp tục được xem xét đánh giá công tác tổ chức 2
2 02 triển khai giám sát tại
chỗ để xác định trách nhiệm. /
/ 11
3. Đánh giá về sự cố: 01
v n
Trên cơ sở các dữ liệu thu thập và trao đổi đến giai .
o ne đoạn hiện nay, Tổng giám đốc
có nhận định và đánh giá như sau: if
ob
- Việc tổ chức triển khai dự án tuân thủ@theo m các quy định hiện hành về công tác
h
phát triển mạng lưới. Trong quá trình xảy rain sự cố các bên đã có những nỗ lực để khôi
d
phục dịch vụ cho khách hàng nhanh nhất,.dokhông để lan truyền, kéo dài hơn sự cố.
a o
- Xác định nguyên nhân và trách th nhiệm chính dẫn đến sự cố gây ảnh hưởng
nghiêm trọng đến dịch vụ khách hàng n thuộc về đối tác Elcom. Đối tác sẽ phải chịu trách
n e.v
nhiệm và thực hiện bồi thường với ifo các thiệt hại theo các điều khoản trong hợp đồng.
b
- Trách nhiệm liên đới o(liên quan đến quá trình giám sát thực hiện của nhà thầu)
m
thuộc về tập thể và cá nhân h @ liên quan thuộc Trung tâm quản lý và điều hành mạng
n
(NOC). Trung tâm NOC o diphải tổ chức kiểm điểm các tập thể cá nhân liên quan.
d
4. Các công việcatiếp o. theo:
th
a. Xem xét trách ả o nhiệm của các tập thể cá nhân liên quan:
h
- Về trách h
Tnhiệm nhà thầu:
ì n
Ban Phát
Đ triển mạng lưới (PTML) chủ trì phối hợp cùng các đơn vị liên quan xác
Đỗ nhiệm của nhà thầu theo hợp đồng đã ký để có giải pháp yêu cầu bồi thường
định trách
theo các điểu khoản đã ký kết.
- Về trách nhiệm đơn vị triển khai:
Trung tâm NOC rà soát kiểm điểm xác định trách nhiệm của các tập thể cá nhân
trong sự cố để có đề xuất phương án xử lý theo các quy định hiện hành. Kết quả kiểm
điểm và đề xuất hình thức xử lý báo cáo về Ban Tổ chức cán bộ (TCCB) để thực hiện
theo các quy định hiện hành.
b. Công tác khắc phục phòng ngừa:
- Giải pháp ngắn hạn:
Đánh giá việc quá tải cục bộ báo hiệu là một nguy cơ, có thể gây lỗi lan truyền dẫn
đến phạm vi ảnh hưởng dịch vụ lớn hơn, Trung tâm NOC lên kế hoạch xây dựng thủ tục
ƯCTT để giảm/tách tải báo hiệu nhằm giảm thời gian xử lý với các trường hợp quá tải
báo hiệu tương tự có thể xảy ra. Song song, Ban PTML đẩy nhanh tiến độ triển khai mở
rộng dự án STP, Ban CNQLM xem xét giải pháp mở rộng năng lực hệ thống HSS.
- Công tác quy hoạch, đầu tư, phát triển mạng lưới đối với hệ thống mạng lõi
Nhằm đảm bảo an toàn, chất lượng mạng lưới đặc biệt với các node mạng quan
trọng, Tổng giám đốc đã trình HĐTV đề xuất hiệu chỉnh quy hoạch, đầu tư, phát triển
mạng lưới đối với hệ thống mạng lõi theo tờ trình số 4329/TTr-MOBIFONE ngày
05/10/2022 của Tổng giám đốc về việc phê duyệt Quy hoạch mạng viễn thông giai đoạn
 5

2021-2025 (Hiệu chỉnh giai đoạn 2022-2025). Trong đó yêu cầu đối với mức độ dự
phòng cụ thể như sau:
+ Dự phòng mức liên vùng 100% với các node mạng điều khiển chung trong
callflow dịch vụ cần đảm bảo hoạt động liên tục (HSS, PCRF, OCS, IMS, DNS,
7
AAA, LDAP, SDC, STP, ...) đảm bảo hoạt động độc lập trong 7 :0trường hợp bị cô
lập. Đối với lưu lượng, đảm bảo chia tải trong trường hợp10:lỗi mạng tại 1 vùng
4
cho 2 vùng còn lại (mạng lõi, truyền dẫn) cho phần tử mạng 2
2 02 và dịch vụ. Mức chia
tải cho CS, dịch vụ 100%, phần PS tối thiểu 30%. 1/
+ Dự phòng liên site tại vùng (mạng lõi): phương án /1
01 dự phòng node mạng N+1,
trong trường hợp lỗi toàn bộ tại 1 site thì kết enối n
.v phải đảm bảo định tuyến lưu
lượng sang các node còn lại. n
bifo
+ Các dịch vụ quan trọng phải đảm bảo dự ophòng liên vùng (ít nhất 2 điểm) hay
m
liên site. h @
n
- Về quy chế, quy trình: o di
.d
Tiếp tục thực hiện rà soát và đánh h aogiá các quy chế, quy trình đã ban hành để hiệu
t
chỉnh cho phù hợp nhằm nâng cao về .e v điều hành, xử lý sự cố mạng lưới.
n
n
i fo
Tổng giám đốc kính báo ob
m cáo Hội đồng thành viên./.
@
inh
d
Nơi nhận: . do
ao TỔNG GIÁM ĐỐC
- Như trên; th
- A.Cường - TGĐ; hả
o
- A. Bảo, A. Nguyên T - PTGĐ;
ì
- Trung tâm NOC;
nh
Đ
Đỗ PTML;
- Ban TCCB,
- Lưu: VT, CNQLM.

Tô Mạnh Cường