THỎA THUẬN CÔNG VIỆC (WLA) ĐIỀU HÀNH SỰ CỐ

ĐIỀU 1: QUY ĐỊNH CHUNG

1.1. Mục đích
- Quy định này ban hành nhăm mục đích thống nhât các tiêu chí liên quan cách thức triển
khai, cũng như chức năng, nhiệm vụ của các đơn vị liên quan trong công tác giám sát và
điều hành xử lý sự cố, ứng cứu thông tin trên mạng viễn thông.
- Giúp các cơ quan, đơn vị giám sát mạng lưới chặt chẽ, liên tục 24/7; phát hiện kịp thời các
vấn đề phát sinh và tiềm ẩn rủi ro trên mạng lưới; điều hành xử lý sự cố theo phân cấp cụ
thể, phân công nhiệm vụ rõ ràng để khắc phục nhanh, triệt để sự cố; giảm thiểu thời gian
gián đoạn dịch vụ cung cấp cho khách hàng.
1.2. Phạm vi, đối tượng áp dụng
- Quy định này điều chỉnh hoạt động giám sát và điều hành sự cố trên các phân lớp mạng
lõi (core) thuộc tât cả các mạng: Mạng di động, VAS/IN, mạng truyền dẫn (quang/IP).
- Quy định này áp dụng đối với tất cả các phòng/ban thuộc trung tâm quản lý điều hành
mạng (NOC)

1.3. Phân lớp thiết bị mạng Viễn Thông

ST Phân lớp
Mảng Thiết bị
T thiết bị
Bao gồm thiết bị thuộc giao diện từ IuCS/PS trở lên
1 Di động như HLR, STP, MSC/MGW, MME/SPGW, SGSN,
GGSN, DNS, SDC, PCRF,..

Mạng lõi Truyền dẫn mạng Core là các kết nối từ giao diện
Truyền dẫn
2 (Core) A/Gb/IuCS/PS trở lên, mạng đường trục Bắc-Nam
IPBB
DWDM: các tuyến truyền dẫn và thiết bị truyền dẫn.
Bao gồm thiết bị Trung tâm Quản lý, điều hành mạng
VAS/IN được giao quản lý (IN/ICC, MCA, SMSC, SMPPGW,
3 LBS, SMSFW

1
1.4 Phân cấp mức các thiết bị mạng lưới
1.4.1 Thiết bị mạng di động
- Cấp 1: thiết bị và truyền dẫn phần mạng Core, hệ thống dịch vụ thuộc nhóm 10 dịch vụ có
doanh thu cao; CSHT lắp đặt thiết bị mạng Core (CSHT site cấp1)
- Cấp 2: Thiết bị BSC/RNC của mạng RAN, node truyền dẫn mức kết nối cho nhiều trạm , hệ
thống dịch vụ thuộc nhóm 20 dịch vụ có doanh thu cao; CSHT lắp đặt thiết bị BSC/RNC và
node truyền dẫn (CSHT site cấp 2).
- Cấp 3: Thiết bị RAN, truyền dẫn, hệ thống dịch vụ mức còn lại; CSHT lắp đặt thiết bị mạng
RAN còn lại (CSHT site cấp 3).
1.4.2 Thiết bị mạng truyền dẫn Metro
- Cấp 1: thiết bị Metro Core
- Câp 2: thiết bị AGG.
- Cấp 3: CSG; thiết bị hệ thống quản trị tập trung.

ĐIỀU 2: QUY ĐỊNH VỀ CÔNG TÁC GIÁM SÁT

2.1. Tổ chức giám sát mạng lưới
- Việc giám sát mạng lưới được thực hiện bởi các Phòng/Ban Điều hành Viễn thông.
- Đội ngũ trực giám sát được tổ chức thành ca, kíp để đảm bảo công tác giám sát là thường
xuyên, liên tục (24 giờ/7 ngày), hiệu quả và không vi phạm luật lao động của nhà nước.
- Trong quá trình giám sát, nêu phát hiện các sự kiện bất thường (suy giảm chất lượng
mạng, phát sinh sự cố...) thì báo cáo các cấp lãnh đạo (trưởng phòng/ban, trưởng ca trực,
BGĐ các cấp...) tuỳ theo tính chất, mức độ, phạm vi ảnh hưởng của sự kiện; đồng thời
thực hiện ghi chép tình trạng hoạt động của mạng lưới, các vấn đề phát sinh vào sổ bàn
giao ca trực.
2.2. Phương pháp giám sát
- Giám sát thường xuyên liên tục trạng thái hoạt động của các nút mạng, kết nối thuộc phạm
vi mình quản lý.
- Nhận biết tức thời các cảnh báo, sự cố xuất hiện trên mạng.
- Đưa ra các hành động bao gồm xử lý trực tiếp hoặc điều phối đơn vị liên quan xử lý ngay
khi có cảnh báo, sự cố.

2
 ĐIỀU 3: QUY ĐỊNH VỀ XỬ LÝ SỰ CỐ
3.1. Các trường hợp sự cố
- Cảnh báo (Alarm) xuất hiện trên các hệ thống giám sát Polestar, NMS/OMC, sMartW hoặc
trên các hệ thống giám sát của AVG (NCC,TKC), hoặc trên màn hình máy tính giám sát cảnh
báo trực tiếp từng phần tử mạng; các thông tin lỗi trên các tệp dữ liệu ghi lỗi của hệ thống
(Error log). Các mức cảnh báo được quy định bởi các nhà cung cấp thiết bị (Critical, Major,
Manor).
- Cảnh báo vượt tiêu chuẩn chất lượng (KPI): là các cảnh báo khi hệ thống giám sát được sự
vượt ngưỡng tiêu chuẩn chất lượng dịch vụ (KPI) được quy định bởi Quyết định Mục tiêu
chất lượng của Tổng công ty hàng năm.
- Phản ánh về hoạt động của hệ thống, mạng (PAKH): là phản ánh của người sử dụng cần
xem xét xử lý.
3.2. Phân loại sự cố
Mức độ
Nội dung Ví dụ
sự cố
-Các lôi với ít nhât một thiêt bị mạng
lõi cụ thể:
+ Di động: STP, GMSC, HLR, MSC,
Lỗi toàn bộ hoặc 01 node thiết bị mạng lưới MSS/MGW, OCS/SCP,
cấp 1 SMSC,SGSN,GGSN, PCRF,AAA,
DNS,..
+ IPBN: Router core, BRAS, Core-
switch, firewall,..
Hệ thống cấp 1 bị khởi động lặp đi lặp lại khởi động theo chu kỳ hoặc reload lỗi
Ảnh hưởng đến chức năng của hệ thống cấp
1 dẫn đến suy giảm dung lượng hơn 30% Location Update failure
của toàn hệ thống
Critical
Mất toàn bộ hoặc hầu hết hệ thống ghi/tính
cước, chức năng ghi/tính cước dừng hoạt Không tính cước của bất kỳ cuộc gọi
động ảnh hưởng lớn đến hoạt động sản xuất nào hoặc thuê bao đăng ký mới.
kinh doanh của hệ thống cấp 1
số lượng lớn thuê bao roaming không thực lỗi không roaming được với tất cả thuê
hiện được cuộc gọi bao
Lỗi toàn bộ dịch vụ của thuê bao trong 1
tỉnh/TP hoặc 1 quận trở lên đối với các 1 node mạng lỗi ảnh hưởng dịch vụ rất
thành phố lớn: HN, TP HCM hoặc mất dịch nhiều khách hàng
vụ >1000 Khách hàng
Mất hoàn toàn hoặc có sự cố nghiêm trọng mất kết nối hệ thống OSS với tất cả các
đối với hệ thống OSS node mạng
Các lỗi ít nhất với một thiết bị
Lỗi toàn bộ hoặc 01 node thiết bị mạng lưới
BSC/RNC RAN hoặc CSHT của các
cấp 2
thiết bị cấp 2
Ảnh hưởng đến chức năng của hệ thống cấp
2 dẫn đến suy giảm dung lượng hơn 30%  
Major
của toàn hệ thống
Mất toàn bộ hoặc hầu hết hệ thống ghi/tính
Không tính cước của bất kỳ cuộc gọi
cước, chức năng ghi/tính cước dừng hoạt
nào hoặc thuê bao đăng ký mới trọng
động ảnh hưởng lớn đến hoạt động sản xuất
phạm vi hệ thống cấp 2
kinh doanh của hệ thống cấp 2
3
 Mất dịch vụ đối với 100-1000 Khách hàng
Hệ thống cấp 2 bị khởi động lặp đi lặp lại
Mất dịch vụ đối với 25-100 Khách hàng
Minor Mất vùng phủ trong phạm vi nhỏ
một vài phản ánh khách hàng
Warning Các trường hợp còn lại
 
Hệ thống cấp 2 bị khởi động lặp đi lặp
lại
toàn bộ khách hàng trong 1 khu vực của
site không sử dụng được dịch vụ
Mất liên lạc một số site
một số khách hàng không thể đăng ký
các gói cước mới
-không hoặc ảnh hưởng thấp đến dịch
vụ
- một hoặc một vài sector suy giảm
dung lượng
-lỗi nhỏ đã được xử lý
…

3.3. Thành phần và trách nhiệm của các đơn vị trong trung tâm NOC

Đơn vị Thành phần Trách nhiệm

Thực hiện giám sát hệ thống 24/7, phát hiện và
Bộ phận FO (ca trực)
thông báo kịp thời khi sự cố xảy ra.
Chủ trì thực hiện xử lý sự cố và báo cáo theo
Bộ phận BO
Đài điều hành đúng quy định ban hành.
Điều hành xử lý các bộ phận BO xử lý sự cố của
Trưởng đài/Phó đài hệ thống do mình phụ trách, báo cáo lãnh đạo
trung tâm theo quy định.
Hỗ trợ xử lý sự cố thuộc hệ thống, dịch vụ viễn
thông cấp điều hành tập trung theo quy định đã
ban hành.
Phòng kỹ thuật Chuyên viên
Đảm bảo luồng thông tin về sự qua hotline NOC
được tiếp nhận và gửi đi đầy đủ, nhanh chóng và
chính xác.
Hỗ trợ xử lý sự cố thuộc hệ thống, dịch vụ
Phòng quản lý hệ
Chuyên viên VAS/IN cấp điều hành tập trung theo quy định đã
thống VAS
ban hành.
Điều hành các đơn vị trong trung tâm xử lý sự cố
nghiêm trọng
Lãnh đạo Trung tâm Giám đốc/Phó giám đốc Thông tin về sự cố nghiêm trọng và tiến trình xử
lý tới lãnh đạo Tổng công ty, ban quản lý điều
hành mạng và các phòng ban/trung tâm khác có
liên quan

4
3.4. Quy định về thời gian xử lý sự cố và các cấp điều hành

Quy định thời hạn xử lý sự cố qua các cấp điều hành

Hà Nội, Vinh, Đà Nẵng,
Mức độ Các khu vực còn lại
TP.HCM
sự cố
Cấp Trung Cấp Trung
Cấp Đài Cấp Đài
tâm tâm
Nghiêm
1 30 phút 2 giờ 2 giờ 4 giờ
trọng
2 Lớn 2 giờ 4 giờ 4 giờ 6 giờ
3 Nhỏ 1 ngày 2 ngày 1 ngày 2 ngày
Khi quá hạn xử lý Cấp Trung tâm mà sự cố vẫn chưa được xử lý xong, Phòng Kỹ thuật
chủ trì báo cáo lãnh đạo TCT để chuyển quyền điều hành xử lý lên cấp TCT.
- Thời hạn xử lý sự cố đối với sự cố nghiêm trọng:
 Cấp Đài: 2 giờ,
 Cấp Trung tâm: 4 giờ
3.5. Quy trình điều hành, xử lý và báo cáo khi có sự cố:
- Các sự cố thông tin trên mạng gây mất liên lạc chậm nhất sau 05 phút trở lên (đối với
sự cố nghiêm trọng), 15 phút trở lên (đối với sự cố lớn) trực ca các Đài Điều hành
miền phải báo cáo ngay bằng điện thoại cho Lãnh đạo trực điều hành Trung tâm để
phối hợp ứng cứu.
- Các Log files trên các hệ thống phải được lưu trữ an toàn. Sau sự cố, phân tích tìm
nguyên nhân, đánh giá rút kinh nghiệm và hoàn thiện phương án phòng chống rủi ro,
cập nhật bảng kiểm soát rủi ro và lưu trữ hồ sơ quản lý tại các Đài.
- Khi phát hiện sự cố Lớn/Nghiêm trọng dựa trên giám sát alarm trên hệ thống
NMS/OMC, sMartW trực ca các Đài phải mở Ticket trên sMartW tương ứng với mức
của sự cố để xử lý. Khi mở Ticket NMS để xử lý phải đặt ở chế độ tự động gửi SMS
tới số điện thoại của bộ phận được yêu cầu phối hợp xử lý sự cố và bộ phận trực điều
hành Trung tâm (Hotline 0931600600). Việc cập nhật xử lý sự cố trên NMS cho đến
khi đóng ticket tương ứng với các mức nghiêm trọng của sự cố Nghiêm trọng/Lớn lần
lượt là 15 phút/60 phút một lần cho đến thời điểm ticket được đóng tạm thời (Cleared).
Thư điện tử email và SMS trực tiếp là phương tiện dự phòng và bổ sung, sử dụng để
trao đổi báo cáo làm rõ hơn thông tin về sự cố.
- Ticket được đóng tạm thời (Cleared) ngay sau khi sự cố được UCTT xử lý ở mức đã
khôi phục liên lạc, dịch vụ, hoặc chất lượng. Trong vòng 03 ngày từ khi phát hiện ra
sự cố, các Đài phải có văn bản báo cáo Lãnh đạo Trung tâm thông báo mức độ ảnh

5
 hưởng; nguyên nhân gốc rễ để có giải pháp khắc phục phòng ngừa (KPPN); Ticket chỉ
đóng (Confirmed) khi đã hoàn thành việc triển khai biện pháp KPPN.
- Đối với các sự cố Nghiêm trọng trở lên sau 72 giờ, Phòng Kỹ thuật phải có báo cáo
Lãnh đạo Trung tâm, Lãnh đạo TCT bằng văn bản nêu rõ mức độ ảnh hưởng, nguyên
nhân, trách nhiệm, giải pháp xử lý triệt để sự cố.

6
 PHỤ LỤC 1: LƯU ĐỒ ĐIỀU HÀNH XỬ LÝ SỰ CỐ TT NOC

Trách nhiệm Lưu Đồ

Bộ phận giám sát FO Phát hiện sự cố

( ca trực)

Bộ phận giám sát FO

( ca trực) Xử lý tại
chỗ

Bộ phận giám sát FO

( ca trực) Chuyển tiếp xử lý

NOK

Bộ phận BO, Tổ chức năng

OK
BO xử lý

NOK

ĐHXL sự cố cấp OK
Trưởng/Phó ĐĐH đài

NOK

ĐHXL sự cố cấp OK
Lãnh đạo trung tâm TT

NOK
OK
Lãnh đạo TCT ĐHXL sự cố cấp
TCT

Tổ QLCL, Tổ chức năng

(P.Kỹ thuật, P. QLVAS hỗ Kiểm tra lại Kết
trợ) quả xử lý, nguyên
nhân

7
Trưởng/Phó ĐĐH
P.Kỹ Thuật Tổng kết rút kinh
nghiệm và báo cáo

8
 PHỤ LỤC 2: QUY TRÌNH XỬ LÝ SỰ CỐ NGHIÊM TRỌNG TẠI TT NOC
Thời gian
Hình thức Đầu mối nhận báo cáo
Cấp sự cố Nội dung Đầu mối báo cáo Công việc
báo cáo báo cáo ( sau khi
xảy ra sự cố)
Gọi thoại -Trưởng/Phó
Trưởng ca FO- -Báo cáo tên sự cố, mô tả sự cố, thời gian
SMS, ĐĐH <=5 phút
ĐĐH bắt đầu, khu vực và mức độ ảnh hưởng
Phát hiện sự email -Hotline NOC
cố Gọi thoại
-Báo cáo lãnh đạo trung tâm để nắm rõ tình Lãnh đạo trung
-Trưởng/Phó ĐĐH SMS, <=10 phút
hình và có kế hoạch tổ chức kịp thời tâm
email
Gọi thoại
-Tổ QLCL, Tổ -Trưởng/Phó
SMS, <=10 phút
chức năng ĐĐH
email
Gọi thoại
Khoanh vùng -Đánh giá phạm vi dịch vụ bị ảnh hưởng Lãnh đạo trung
-Trưởng/Phó ĐĐH SMS, <=10 phút
sự cố -Khoanh vùng phạm vi hệ thống lỗi tâm
email
Gọi thoại
Lãnh đạo TCT
Lãnh đạo trung tâm SMS, <=15 phút
Đơn vị ngoài
email
Nghiêm
Lần đầu: 0’-15’
trọng Gọi thoại
-Tổ QLCL, Tổ -Xử lý khôi phục dịch vụ -Trưởng/Phó Cập nhật: 30’/lần
SMS,
chức năng -Kiểm tra chất lượng ĐĐH Cập nhật:
email
02h/lần
Lần đầu: 0’-15’
Khôi phục Gọi thoại
Lãnh đạo trung Cập nhật: 30’/lần
dịch vụ -Trưởng/Phó ĐĐH -Báo cáo tiến độ xử lý SMS,
tâm Cập nhật:
email
02h/lần
Gọi thoại
Lãnh đạo TCT
Lãnh đạo trung tâm -Báo cáo tiến độ xử lý SMS, Cập nhật: 30’/lần
Đơn vị ngoài
email
-Tổ QLCL, Tổ -Xác định nguyên nhân, khôi phục cấu hình
-Trưởng/Phó
Xác định chức năng (P.Kỹ hệ thống
Email ĐĐH <=24h
nguyên nhân thuật, P. QLVAS -Báo cáo nguyên nhân và giải pháp khắc
-P.Kth, P.QLVAS
và kết thúc hỗ trợ) phục sự cố

9
 Báo cáo Lãnh đạo trung tâm toàn bộ thông Lãnh đạo trung
-Trưởng/Phó ĐĐH Văn Bản <=24h
tin sự cố tâm
Báo cáo bằng văn bản:
+ tên sự cố , mô tả
+ thời gian bắt đầu-kết thúc
P.Kỹ Thuật + khu vực, mức độ ảnh hưởng Văn Bản Lãnh đạo TCT <=72h
+ nguyên nhân, trách nhiệm
+ kiến nghị, đề xuất giải pháp khắc phục,
phòng ngừa

10
11