Giải cứu bộ Giáo dục - TuanHM

Giải cứu bộ giáo dục

(Tiếp tục seri người cầm bút :))

Ai cũng chọn việc nhẹ nhàng,

Mai-rết biết giành phần ai,

Ai cũng một thời trẻ trâu,

Cũng từng nghĩ về phần mềm,

Phải đâu tun (tool) sai cũng chịu,

Phải đâu cúc-king (cooking) cũng đành?

Phải không S, phải không V?

Trong những dự án đã hoàn thành, “Giải cứu bộ giáo dục” là một trong những dự án để lại nhiều kỷ niệm nhất đối với tôi, là dự án quyết định sự tồn vong của FPT tại thị trường Singapore và lại go live sau đêm cuối overnight đúng ngày sinh nhật, thật là một kỷ niệm để đời.

Đầu năm 2013, sau thành công của nhà máy sản xuất Notes, chúng tôi tự tin triển khai một loạt services mới: Nâng cấp hệ thống (SharePoint Upgrade). Mở đầu bằng dự án nâng cấp hệ thống quản lý cho BGD Singapore, dự án không quá lớn, khoảng 200 sites, 8T Data, chỉ là muỗi nếu so với các dự án Notes mà GNC đã thực hiện trước đó, vì thế tôi rất tự tin giao dự án cho một tay kỹ thuật rất cứng làm PM dự án. Nào ngờ, việc đánh giá không đúng tầm quan trọng và dùng người không đúng chức năng suýt dẫn đến một cái giá khôn lường.

Khởi động dự án, với khả năng và kinh nghiệm của mình, team đã làm những bước cần thiết: hoàn thiện tool (Citus Migration Suite), xin khách hàng dữ liệu (subset), chạy thử, verify, test report, mọi thứ chạy theo đúng kế hoạch trên môi trường offshore. Rất tự tin, quân ta submit ngay một kế hoạch hoàn thành go live toàn bộ dự án trong vòng 2 tháng, và thảm hoạ bắt đầu xuất phát từ đây.

Vấn đề quan trọng của bài toán upgrade chính là môi trường production, khi quân ta thử tools, chạy test với dữ liệu nhỏ trên môi trường development, mọi chuyện suôn sẽ vì môi trường Dev thường là all-in-one, còn môi trường production đâu có đơn giản vậy. Chưa kể là phòng server của khách hàng lại do vendor khác quản lý, muốn cài đặt, chạy tool gì đều phải xin approval, có người cầm tay chỉ chuột thì mới được thực hiện, riêng việc xin mở vài cái port để tool chạy thông các server cũng mất 1-2 tuần. Dữ liệu trên production rất lớn, cắm tool ta vào chạy 3 lần làm sập server, chết hệ thống, loay hoay cả tháng trời không ready UAT. Tức mình, đội bạn gửi warning letter sang cho FAP. Xin lỗi rối rít, cải tiến tool một ít, chạy ổn hơn thì dính ngay lỗi tự động gửi notification đến một số VIP (một chức năng của workflow, đáng nhẽ trước khi chạy thì phải tắt chức năng notify đi), thế là lại được dừng UAT, FAP nhận red alert. Xin xỏ, thề, hứa phát cuối, cẩn thận lắm, nhưng mỗi tội chạy mãi không xong vì dữ liệu nhiều quá, chưa kể là dữ liệu thực thì có rất nhiều customize, đòi hỏi phải manual rất nhiều, loay hoay mãi thêm hai tháng, phá gần nát môi trường của họ, hứa thêm đôi ba lần nữa, mà vẫn không ready UAT. Hết kiên nhẫn, khách gọi ngay lãnh đạo của FAP, đưa ra tối hậu thư, yêu cầu hoặc hoàn thành dự án trong 2 tháng, hoặc là cắt dự án, đền bù thiệt hại, ngoài ra họ sẽ báo cáo lên các bộ, yêu cầu dừng tất cả các dự án với FPT, dự án trở thành tâm điểm quyết định vận mệnh của cả một thị trường.

Lãnh đạo sai thì phải tự sửa sai, với tư cách là SM của dự án, tôi cùng một chiến hữu bay ngay sang Singapore, với trọng trách giải cứu bộ giáo dục hoặc “đừng về nữa”. Sau khi đánh giá tình hình cùng đội dự án, một số vấn đề nan giải được đưa ra:

1. Tool chưa được kiểm chứng với số lượng lớn, nên không chắc chắn khi chạy với full data thì mất bao lâu, có hoàn thành được không?

2. Có rất nhiều customize trên các site phải thực hiện correct manual sau khi upgrade

3. Khách hàng chỉ cho phép downtime rất ngắn (2 ngày cuối tuần), trong khi thời gian riêng để chạy hết toàn bộ dữ liệu thì sẽ mất một vài tuần, chưa kể đến thời gian verify

4. Một số chức năng như workflow, version của documents thì tool không cover được

5. Test report chỉ mới cover được số lượng item được migrate, không chắc chắn là toàn bộ content có được migrate chính xác không

6. Thêm một số vấn đề khác như đội FM (vendor manage server của khách hàng) đã rất sợ đội FPT vì cứ động vào server là có nguy cơ.

Rất nhiều vấn đề, để giải quyết được phải mất nửa năm, làm thế nào hoàn thành được trong vòng 2 tháng đây? Với scope như ban đầu, chắc chắn là no-way để hoàn thành kế hoạch, phải tìm kế hoãn binh. Việc đầu tiên là đánh giá lại scope, đúng là các bạn có 200 sites, 8T Data thật, nhưng có cần phải nâng cấp hết lên không? Vừa tốn kém vừa mất thời gian, hoá ra bài toán sơ đẳng nhất về quản lý scope đã bị tay PM chuyên technical bỏ qua. Bắt đầu review lại từng site trong scope, đàm phán với khách hàng, con số phải migrate đã giảm đi được 1/3. Bài học vỡ lòng dành cho các PM đi lên từ Tech Lead, kỹ thuật là quan trọng, tuy nhiên nếu quản lý tốt scope thì sẽ giúp giảm được thời gian và effort rất nhiều.

Tiếp theo là thay đổi chiến thuật, nếu vẫn đợi các bạn UAT hoàn chỉnh rồi mới go live cả cụm thì rất take time, vì thế xin phép khách hàng tách nhỏ thành từng batch, UAT xong phát nào là go live xong phát đấy, phù hợp với thời gian downtime.

Còn vấn đề technical limitation thì sao? Đưa ngay hết lên bàn đàm phán một list các limitation của tools, có cái do ta thì ta xin, có cái do cả hàng xịn của Microsoft thì ta nhờ đội Microsoft confirm hộ, thế là cũng giảm đi được kha khá nữa.

Song song với việc nego lại scope, quân ta cũng cấp kíp chế tạo thêm súng ống để hỗ trợ cho việc testing, post process (correct lại dữ liệu sau khi upgrade bằng tool, thay vì phải làm manual).

Về quy trình quản lý, để đảm bảo thông tin được thông suốt, trách nhiệm rõ ràng giữa các bên:

1. Thiết lập tasklist đến từng chi tiết khi thực hiện migrate, trách nhiệm của quân ta, quân địch và quân nó (vendor)

2. Thiết lập đường dây nóng qua Whatsapp, báo cáo tiến độ các task cho các bên liên quan

3. Thiết lập kênh báo cáo hàng ngày cho chỉ huy của địch.

Sau 2 tuần, batch đầu tiên đã chính thức go live, dù gặp một số gap nhỏ như estimate thời gian chạy tool chưa hoàn toàn chính xác, còn một số item nhỏ phải manual, nhưng nhìn chung process mới đã được kiểm chứng. Từ cái đập bàn, chỉ mặt ở buổi họp đầu tiên, nụ cười đã dần xuất hiện trên khuôn mặt đầy lo âu của bạn PM khách hàng.

Sau khi các nút thắt đã dần được gỡ bỏ, dự án tiến dần về đích, thậm chí trước deadline một tuần, chiếc bánh sinh nhật cùng lời cảm ởn chân thành của bạn PM khách hàng sau một đêm sinh nhật overnight trên văn phòng bạn, mở ra một series các dự án nâng cấp hệ thống cho các bộ ban ngành của Singapore là kỷ niệm không thể nào quên đối với nghề cầm lái dự án của tôi. Sau cơn mưa, trời lại sáng, và ta lại về với tình yêu của ta.

Còn bạn, hy vọng bạn sẽ tìm thấy một vài bài học bổ ích từ câu chuyện này.