Luận văn Nghiên cứu và ứng dụng một số mô hình học máy trong việc hỗ trợ đánh giá rủi ro tài chính

i ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CƠNG NGHỆ -------***------- HÀ VĂN SANG NGHIÊN CỨU VÀ ỨNG DỤNG MỘT SỐ MƠ HÌNH HỌC MÁY TRONG VIỆC HỖ TRỢ ĐÁNH GIÁ RỦI RO TÀI CHÍNH Ngành: Cơng nghệ Thơng tin Chuyên ngành: Hệ thống Thơng tin Mã số: 60.48.05 LUẬN VĂN THẠC S NGƯỜI HƯỚNG DẪN KHOA HỌC TS. NGUYỄN HÀ NAM HÀ NỘI – 2009 ii LỜI CAM ĐOAN Tơi xin cam đoan những kết quả đạt được trong luận văn này là do tơi nghiên cứu, tổng hợp và thực hiện. Tồn bộ những điều được trình bày trong luận văn là của cá nhân hoặc được tham khảo và tổng hợp từ các nguồn tài liệu khác nhau. Tất cả các tài liệu tham khảo, tổng hợp đều được trích dẫn với nguồn gốc rõ ràng. Tơi xin chịu hồn tồn trách nhiệm về lời cam đoan của mình. Nếu cĩ gì sai trái, tơi xin chịu mọi hình thức kỷ luật theo qui đinh. Hà Nội, tháng 5 năm 2008 Học viên Hà Văn Sang iii LỜI CẢM ƠN Tơi muốn bày tỏ lịng biết ơn sâu sắc tới những người đã giúp đỡ tơi trong quá trình làm luận văn, đặc biệt tơi xin cám ơn TS Nguyễn Hà Nam, với lịng kiên trì, thầy đã chỉ bảo tơi chi tiết và cho tơi những lời nhận xét quí báu trong từng bước làm luận văn. Đồng thời tơi cũng xin gửi lời cảm ơn tới các thầy cơ giáo khoa Cơng nghệ thơng tin – Trường Đại học Cơng nghệ - Đại học Quốc gia Hà nội đã truyền đạt các kiến thức cho tơi trong suốt thời gian học tập và nghiên cứu vừa qua. Tơi cũng xin chân thành cảm ơn cơ quan, bạn bè, đồng nghiệp, gia đình và những người thân đã cùng chia sẻ, giúp đỡ, động viên, tạo mọi điều kiện thuận lợi để tơi hồn thành nhiệm vụ học tập và cuốn luận văn này. Hà nội, tháng 5 năm 2009 Học viên Hà Văn Sang iv MỤC LỤC LỜI CAM ĐOAN ................................................................................................................... i LỜI CẢM ƠN....................................................................................................................... iii MỤC LỤC............................................................................................................................ iv DANH MỤC CÁC KÝ HIỆU, TỪ VIẾT TẮT...................................................................... vi DANH MỤC HÌNH VẼ....................................................................................................... vii DANH MỤC BẢNG BIỂU.................................................................................................viii MỞ ĐẦU............................................................................................................................... 1 1. Đặt vấn đề ...................................................................................................................... 1 2. Mục tiêu của nghiên cứu ................................................................................................ 2 3. Cấu trúc của luận văn ..................................................................................................... 2 Chương 1 - MỘT SỐ KIẾN THỨC CƠ BẢN VỀ TÀI CHÍNH.............................................. 3 1.1. Một số khái niệm tài chính .......................................................................................... 3 1.1.1 Phân tích tài chính ................................................................................................. 3 1.1.2 Báo cáo tài chính ................................................................................................... 4 1.1.3 Phương pháp phân tích tài chính ............................................................................ 5 1.1.4 Dự báo tình hình tài chính...................................................................................... 6 1.2. Rủi ro tài chính............................................................................................................ 7 1.2.1 Khái niệm.............................................................................................................. 7 1.2.2 Nguồn gốc của rủi ro tài chính ............................................................................... 7 1.2.3 Quy trình quản trị rủi ro tài chính........................................................................... 8 1.2.3 Quản trị rủi ro trong đầu tư chứng khốn ............................................................. 10 1.3 Phân tích kỹ thuật trong dự báo thị trường chứng khốn. ............................................ 11 1.3.1 Khái niệm............................................................................................................ 11 1.3.2 Ứng dụng của phân tích kỹ thuật.......................................................................... 12 1.3.3 Các cơng cụ cơ bản sử dụng trong Phân tích kỹ thuật........................................... 12 1.3.4 Các chỉ dẫn kỹ thuật cơ bản ................................................................................. 14 Chương 2 - TỔNG QUAN VỀ KHAI PHÁ DỮ LIỆU ......................................................... 16 2.1 Giới thiệu về khai phá dữ liệu (Data Mining).............................................................. 16 2.2 Phân lớp ..................................................................................................................... 18 2.2.1 Giới thiệu về phân lớp ......................................................................................... 18 2.2.2 Các phương pháp phân lớp .................................................................................. 20 2.3 Mạng Nơron............................................................................................................... 24 2.4 Hệ mờ (Fuzzy System) ............................................................................................... 28 2.4.1 Định nghĩa tập mờ ............................................................................................... 29 2.4.2 Phép suy diễn mờ ................................................................................................ 30 2.4.3 Phép hợp mờ ....................................................................................................... 32 2.4.4 Giải mờ ............................................................................................................... 34 2.4.5 Hệ suy diễn mờ.................................................................................................... 36 Chương 3 - MƠ HÌNH PHÂN TÍCH RỦI RO TÀI CHÍNH ................................................. 38 v 2.1 Sơ lược về mơ hình .................................................................................................... 38 2.2 Phân lớp dữ liệu - Thiết kế mạng nơron ...................................................................... 39 2.2.1 Chọn loại dữ liệu đầu vào .................................................................................... 39 2.2.2 Thu thập dữ liệu .................................................................................................. 39 2.2.3 Tiền xử lý dữ liệu ................................................................................................ 40 2.2.4 Phân hoạch dữ liệu .............................................................................................. 41 2.2.5 Thiết kế và huấn luyện mạng Nơron .................................................................... 41 2.2.6 Phân tích dữ liệu.................................................................................................. 41 2.3 Xây dựng tập luật từ phân tích kỹ thuật ...................................................................... 42 2.3.1 Phân kỳ và hội tụ của đường trung bình di động .................................................. 42 2.3.2 Chỉ số kênh giá hàng hố - The Commodity Channel Index (CCI) ....................... 43 2.3.3 Chỉ số cường độ tương đối - Relative Strength Index (RSI) ................................. 43 2.3.4 Dải băng Bollinger .............................................................................................. 44 2.4 Kết hợp phân tích kỹ thuật với logic mờ và mạng nơron ............................................. 44 2.4.1 Mơ đun chỉ số kỹ thuật ........................................................................................ 45 2.4.2 Mơ đun hội tụ ...................................................................................................... 46 2.4.3 Mơ đun hệ suy diễn mờ (FIS) .............................................................................. 46 2.4.4 Luật cơ sở............................................................................................................ 47 Chương 4 - THỰC NGHIỆM VÀ ĐÁNH GIÁ .................................................................... 49 4.1 Dữ liệu dùng trong thực nghiệm ................................................................................. 49 4.2 Thiết lập tham số cho thực nghiệm ............................................................................. 50 4.2.1 Các tham số của mạng nơron ............................................................................... 50 4.2.2 Các tham số của hệ hỗ trợ quyết định................................................................... 51 4.3 Kết quả mẫu ............................................................................................................... 54 4.3.1 Kết quả việc đánh giá và dự báo trong tương lai .................................................. 54 4.3.2 Kết quả việc hỗ trợ quyết định ............................................................................. 58 4.4 Đánh giá và phân tích ................................................................................................. 59 4.5 Kết luận...................................................................................................................... 63 KẾT LUẬN ......................................................................................................................... 64 TÀI LIỆU THAM KHẢO.................................................................................................... 65 PHỤ LỤC............................................................................................................................ 66 Phụ lục A – Giới thiệu về phần mềm FRPredictor ............................................................ 66 Phụ lục B – Cấu trúc các bảng cơ sở dữ liệu tài chính....................................................... 69 Phụ lục B – Dữ liệu dùng trong thực nghiệm.................................................................... 72 vi DANH MỤC CÁC KÝ HIỆU, TỪ VIẾT TẮT Từ viết tắt Tiếng Anh Tiếng Việt BB Bollinger Band Dải bolinger CCI The Commodity Channel Index Chỉ số kênh giá hàng hố CK Chứng khốn CNTT Cơng nghệ thơng tin CP Cổ phiếu CSDL Database Cơ sở dữ liệu DN Doanh nghiệp MA Moving Average Đường trung bình động MACD MovingAverage Convergence/Divergence Phân kỳ và hội tụ của đường trung bình động MISO Multi Input Single Output Nhiều đầu vào – Một đầu ra MLP Multi Layer Perceptron Mạng truyền thẳng nhiều lớp PTTK Phân tích kỹ thuật RSI Relative Strength Index Chỉ số cường độ tương đối TTCK Thị trường chứng khốn vi DANH MỤC HÌNH VẼ Hình 1-1 Biểu đồ dạng đường ............................................................................................. 12 Hình 1-2 Biểu đồ dạng then chắn ........................................................................................ 13 Hình 1-3 Biểu đồ dạng cây nến ........................................................................................... 13 Hình 2-1 Mơ hình phân lớp tiêu chuẩn ................................................................................ 19 Hình 2-2 Mơ hình một nơron perceptron ............................................................................. 24 Hình 2-3 Mơ hình mạng perceptron 3 lớp(MLP) ................................................................. 26 Hình 2-4 Các dạng hàm thuộc ............................................................................................. 30 Hình 2-5 Giải mờ bằng phương pháp cực đại ...................................................................... 35 Hình 2-6 Giải mờ bằng phương pháp điểm trọng tâm.......................................................... 35 Hình 2-7 Hệ suy diễn mờ .................................................................................................... 36 Hình 3-1 Mơ hình đề xuất ................................................................................................... 38 Hình 3-2 Mồ hình thực thể liên kết...................................................................................... 40 Hình 3-3 Hệ suy diễn mờ .................................................................................................... 45 Hình 3-4 Miền giá trị của đầu ra.......................................................................................... 47 Hình 4-1 Kết quả huấn luyện và kiểm tra ............................................................................ 55 Hình 4-2 Kết quả thực hiện phân tích .................................................................................. 57 Hình 4-3 Dự đốn Sp500..................................................................................................... 58 Hình 4-4 Hỗ trợ quyết định cho cơng ty IBM ...................................................................... 58 Hình 4-5 Tỷ lệ chính xác..................................................................................................... 61 Hình 4-6 Tỷ lệ chính xác theo quý ...................................................................................... 61 Hình 4-7 So sánh tỷ lệ chính xác ......................................................................................... 62 vi DANH MỤC BẢNG BIỂU Bảng 2-1 Ma trận hỗn hợp trong phân lớp ............................................................................ 20 Bảng 3-1 Miền giá trị của các tham số.................................................................................. 46 Bảng 4-1 Thiết lập tham số mạng......................................................................................... 51 Bảng 4-2 Các chỉ số kỹ thuật và luật mờ tương ứng ............................................................. 52 Bảng 4-3 Kết hợp Hạng, các chỉ số và luật mờ tương ứng .................................................... 53 Bảng 4-4 Mẫu dữ liệu huấn luyện ........................................................................................ 54 Bảng 4-5 Dữ liệu phân tích .................................................................................................. 56 Bảng 4-6 Kết quả phân tích và dự báo.................................................................................. 57 Bảng 4-7 Hỗ trợ quyết định cho các cơng ty......................................................................... 59 Bảng 4-8 Kết quả so sánh giữa quyết định từ MACD, mơ hình và thực tế ............................ 60 Bảng 4-9 So sánh việc ba chỉ số với hệ thống....................................................................... 62 1 MỞ ĐẦU 1. Đặt vấn đề Thế giới ngày càng trở nên bất ổn hơn, những bất ổn trong giá cả hàng hố và các biến số tài chính thay đổi theo những chiều hướng khĩ cĩ thể dự báo trước được. Trước khi ban quản trị cĩ thể đưa ra bất kỳ một quyết định nào về phịng ngừa rủi ro, trước tiên họ cần phải nhận diện được tất cả các rủi ro mà cơng ty cĩ thể gặp phải. Hầu hết các tổ chức tài chính đều phải đối mặt với những rủi ro kinh doanh, là rủi ro thuộc về bản chất của các hoạt động kinh doanh. Trên thế giới đã cĩ nhiều nghiên cứu về vấn đề này và đã cĩ một số mơ hình cũng như phần mềm hỗ trợ việc đánh giá, dự báo rủi ro tài chính. Tuy nhiên ở Việt nam, các tổ chức tài chính cũng như các cơng ty doanh nghiệp chưa chú ý nhiều tới rủi ro tài chính. Một số doanh nghiệp cĩ thể tự đánh giá, dự báo rủi ro hoặc đi thuê chuyên gia cố vấn tài chính. Cách làm này tương đối thủ cơng và tốn kém về mặt nhân lực cũng như kinh phí. Trong các lĩnh vực nghiên cứu của khoa học máy tính thì khai phá dữ liệu là lĩnh vực đang phát triển mạnh mẽ và cĩ nhiều ứng dụng thực tiễn. Khai phá dữ liệu kết hợp giữa học máy, cơng nghệ cơ sở dữ liệu và các chuyên ngành khác để tìm ra tri thức từ những cơ sở dữ liệu rất lớn. Từ những tri thức này, ta cĩ thể sử dụng để xây dựng mơ hình để đánh giá, dự báo. Mục tiêu của luận văn là tìm hiểu về rủi ro tài chính và xây dựng mơ hình nhằm đánh giá, dự báo rủi ro tài chính. Tuy nhiên, vấn đề rủi ro tài chính là tương đối lớn và rộng nên phạm vi của luận văn chỉ dừng lại ở việc xây dựng mơ hình đánh giá, dự báo rủi ro trong lĩnh vực đầu tư, kinh doanh chứng khốn. Luận văn tập trung vào việc tìm hiểu một số mơ hình học máy tiên tiến và phân tích kỹ thuật trong lĩnh vực chứng khốn. Phân tích kỹ thuật là một khoa học rất mới, nĩ đang phát triển mạnh mẽ và cĩ những kết quả khả quan. Trong luận văn, tơi đã thực hiện việc kết hợp phương pháp học máy sử dụng mạng nơron nhân tạo, phân tích kỹ thuật, hệ suy diễn mờ và ứng dụng xây dựng mơ hình đánh giá, hỗ trợ quyết định mua hoặc bán một mã cổ phiếu cụ thể nào đĩ. Tơi đã hồn thành phần mềm thử nghiệm và tiến hành thực nghiệm trên bộ dữ liệu thực tế thu thập từ các sàn giao dịch chứng khốn trong và ngồi nước. Trong luận văn này, tơi đã tìm hiểu, kết hợp và tìm cách ứng dụng phương pháp khai phá dữ liệu nhằm phân tích và đánh giá rủi ro trong lĩnh vực tài chính. Các kết quả thực nghiệm của phần mềm tuy chưa thực sự cao nhưng cũng đủ để cung cấp thơng tin và định hướng ban đầu cho các nghiên cứu tiếp theo của chúng tơi. 2 2. Mục tiêu của nghiên cứu Nghiên cứu của luận văn hướng tới các mục tiêu sau: - Giúp đỡ ban quản trị doanh nghiệp đánh giá rủi ro trong lĩnh vực tài chính - Giúp người kinh doanh và đầu tư chứng khốn trong việc dự báo, đưa ra quyết định mua bán chứng khốn. 3. Cấu trúc của luận văn Luận văn được chia thành 6 phần với các nội dung như sau: Chương I trình bày các nội dung lý thuyết về lĩnh vực tài chính. Các khái niệm liên quan tới tài chính, rủi ro tài chính, chứng khốn, phân tích dự báo trong đầu tư chứng khốn đã được giới thiệu ngắn gọn nhằm mang lại những kiến thức căn bản trong lĩnh vực tài chính. Chương II giới thiệu về khai phá dữ liệu, sau đĩ chúng tơi giới thiệu chi tiết về vấn đề phân lớp, mạng nơron, logic mờ. Các kỹ thuật được trình bày trong chương này sẽ là cơ sở lý thuyết cho phương pháp giải quyết của chúng tơi ở các chương tiếp theo. Chương III tập trung vào xây dựng mơ hình nhằm giải quyết bài tốn đã đặt ra. Trong chương này chúng tơi đưa ra phương pháp sử dụng logic mờ, mạng nơ ron và phân tích kỹ thuật nhằm xây dựng hệ hỗ trợ ra quyết định cho bài tốn dự báo dự đốn rủi ro tài chính. Chương IV mơ tả và phân tích những kết quả mà chúng tơi đã tiến hành thực nghiệm. Mơ hình được huấn luyện bởi dữ liệu giao dịch chứng khốn trong quá khứ, sau đĩ mơ hình sẽ được sử dụng để dự đốn độ rủi ro của doanh nghiệp tương ứng nhằm kiểm chứng khả năng dự đốn của mơ hình. Đồng thời các kết quả này cũng được so sánh với các mơ hình khác nhằm tìm ra điểm mạnh, yếu của mơ hình so với các mơ hình đã được xây dựng. Phần kết luận tổng kết những kết quả đạt được của luận văn và hướng nghiên cứu tiếp theo. Phần phụ lục giới thiệu về phần mềm dự báo rủi ro và hỗ trợ quyết định, đồng thời hướng dẫn cách thức cơ bản sử dụng phần mềm. 3 Chương 1 - MỘT SỐ KIẾN THỨC CƠ BẢN VỀ TÀI CHÍNH Chương này cung cấp các kiến thức cơ sở về lĩnh vực tài chính. Đầu tiên sẽ là các khái niệm chính về tài chính, rủi ro tài chính, các phương pháp dự báo, đánh giá rủi ro. Mục tiếp theo sẽ giới thiệu về phân tích kỹ thuật trong việc đầu tư, kinh doanh chứng khốn. 1.1. Một số khái niệm tài chính 1.1.1 Phân tích tài chính Phân tích tài chính cơng cụ quản lý vĩ mơ của Nhà nước để đánh giá tình hình kinh tế của đất nước, của từng ngành, từng địa phương mà trên cơ sở đĩ xác định được nhu cầu vốn của xã hội. Cịn đối với các doanh nghiệp (DN) và các nhà đầu tư thì việc đánh giá phân tích được kết quả hoạt động sản xuất kinh doanh, phân tích và dự đốn tình hình tài chính của doanh nghiệp, giúp họ đưa ra những phương hướng, những quyết định đúng đắn về hoạt động sản xuất cũng như hoạt động tài chính nhằm làm doanh nghiệp tồn tại, phát triển và bảo đảm trạng thái cân bằng tài chính của mình. Cĩ nhiều khái niệm về phân tích tài chính doanh nghiệp, nhưng khái niệm hay dùng nhất là: Phân tích hoạt động tài chính doanh nghiệp là quá trình thu thập, xử lý các thơng tin kế tốn, nhằm xem xét, kiểm tra, đối chiếu, so sánh tài chính hiện hành với quá khứ, giúp người sử dụng thơng tin cĩ thể đánh giá tình hình tài chính DN, đánh giá về tiềm năng, hiệu quả kinh doanh cũng như rủi ro trong tương lai. - Ý nghĩa: Mỗi đối tượng quan tâm đến tình hình tài chính của DN với một gĩc độ khác nhau. Đối với chủ DN và các nhà quản trị DN mối quan tâm hàng đầu của họ là tìm kiếm lợi nhuận và khả năng tài trợ. Đối với chủ ngân hàng và các nhà cho vay tín dụng, mối quan tâm chủ yếu của họ là khả năng trả nợ hiện tại và sắp tới của DN. Đối với nhà đầu tư mối quan tâm của họ là các yếu tố rủi ro, thời gian hồn vốn, mức sinh lãi và khả năng thanh tốn vốn...Nhìn chung họ đều quan tâm đến khả năng tạo ra dịng tiền mặt, khả năng sinh lời, khả năng thanh tốn và mức sinh lời tối đa. - Yêu cầu: 4 + Phân tích hoạt động tài chính DN phải cung cấp đầy đủ thơng tin hữu ích cho các nhà đầu tư, các tín chủ và những người sử dụng thơng tin khác nhau để giúp họ cĩ quyết định đúng đắn khi ra các quyết định đầu tư, quyết định cho vay, quyết định sản xuất... + Phân tích hoạt động tài chính DN phải cung cấp thơng tin cho các DN, các nhà đầu tư, các nhà cho vay và những nhà sử dụng thơng tin khác nhau trong việc đánh giá khả năng và tính chắc chắn của các dịng tiền mặt vào, ra và hiệu quả sử dụng vốn kinh doanh, tình hình, khả năng thanh tốn của DN. Như vậy, cĩ thể khẳng định, ý nghĩa tối cao và quan trọng nhất của phân tích tài chính DN là giúp cho những người ra quyết định lựa chọn phương án kinh doanh tối ưu và đánh giá chính xác thực trạng, tiềm năng của DN. - Tài liệu phục vụ báo cáo tài chính Phân tích tài chính sử dụng mọi nguồn thơng tin cĩ khả năng làm rõ mục tiêu dự đốn tài chính. Từ khi pháp lệnh kế tốn tài chính được ban hành, hệ thống các báo cáo tài chính đã được thống nhất và là tài liệu cơ sở, quan trọng cho các nhà phân tích tài chính. 1.1.2 Báo cáo tài chính Ở nước ta chủ yếu sử dụng hệ thống báo cáo tài chính gồm: Bảng cân đối kế tốn: là báo cáo tổng hợp cho biết tình hình tài chính của đơn vị tại những thời điểm nhất định dưới hình thái tiền tệ. Đây là một báo cáo tài chính cĩ ý nghĩa rất quan trọng đối với mọi đối tượng cĩ quan hệ sở hữu, quan hệ kinh doanh với DN. Bảng cân đối kế tốn phản ánh hai nội dung cơ bản là nguồn vốn tài sản. Nguồn vốn phản ánh nguồn vốn được huy động vào sản xuất kinh doanh. Về mặt pháp lý, nguồn vốn cho thấy trách nhiệm của DN về tổng số vốn đã đăng ký kinh doanh với Nhà nước, số tài sản đã hình thành bằng nguồn vốn vay ngân hàng, vay đối tượng khác, cũng như trách nhiệm phải thanh tốn với người người lao động, cổ đơng, nhà cung cấp, trái chủ, ngân sách... Phần tài sản phản ánh quy mơ và cơ cấu các loại tài sản hiện cĩ đến thời điểm lập báo cáo thuộc quyền quản lý, sử dụng của DN, năng lực và trình độ sử dụng tài sản. Về mặt pháp lý, phần tài sản thể hiện tiềm lực mà DN cĩ quyền quản lý, sử dụng lâu dài, gắn với mục đích thu được các khoản lợi nhuận. Bảng cân đối kế tốn là tài liệu quan trọng bậc nhất giúp cho nhà phân tích nghiên cứu đánh giá một cách khái quát tình hình và kết quả kinh doanh, khả năng cân bằng tài chính, trình độ sử dụng vốn và những triển vọng tài chính của DN. Báo cáo kết quả hoạt động kinh doanh: Là báo cáo tài chính tổng hợp cho biết tình hình tài chính của DN trong từng thời kỳ nhất định, phản ánh tĩm lược các khoản thu, chi phí, kết quả hoạt động sản xuất kinh doanh của tồn DN, kết quả hoạt động 5 sản xuất kinh doanh theo từng hoạt động kinh doanh (sản xuất kinh doanh, đầu tư tài chính, hoạt động bất thường). Dựa vào số liệu trên báo cáo kết quả kinh doanh, người sử dụng thơng tin cĩ thể kiểm tra, phân tích, đánh giá kết quả hoạt động kinh doanh của DN trong kỳ, so sánh với kỳ trước và với DN khác để nhận biết khái quát hoạt động trong kỳ và xu hướng vận động. Báo cáo lưu chuyển tiền tệ: là báo cáo liên quan đến luồng tiền ra vào trong DN, tình hình trả nợ, đầu tư bằng tiền của DN trong từng thời kỳ. Báo cáo lưu chuyển tiền tệ cung cấp những thơng tin về những luồng vào, ra của tiền và coi như tiền, những khoản đầu tư ngắn hạn cĩ tính lưu động cao, cĩ thể nhanh chĩng và sẵn sàng chuyển đổi thành một khoản tiền biết trước ít chịu rủi ro lỗ về giá trị do những sự thay đổi về lãi suất. Những luồng vào ra của tiền và những khoản coi như tiền được tổng hợp thành ba nhĩm: lưu chuyển tiền tệ từ hoạt động kinh doanh, lưu chuyển tiền tệ từ hoạt động đầu tư, lưu chuyển tiền tệ từ hoạt động tài chính và lập theo phương pháp trực tiếp, gián tiếp. Thuyết minh các báo cáo tài chính: nhằm cung cấp các thơng tin về tình hình sản xuất kinh doanh chưa cĩ trong hệ thống các báo cáo tài chính, đồng thời giải thích một số chỉ tiêu mà trong các báo cáo tài chính chưa được trình bày, giải thích thêm một cách cụ thể, rõ ràng. Các báo cáo tài chính trong DN cĩ mối quan hệ mật thiết với nhau, mỗi sự thay đổi của một chỉ tiêu trong báo cáo này trực tiếp hay gián tiếp ảnh hưởng đến các báo cáo kia, trình tự đọc hiểu được các báo cáo tài chính, qua đĩ họ nhận biết được và tập trung vào các chỉ tiêu tài chính liên quan trực tiếp tới mục tiêu phân tích của họ. 1.1.3 Phương pháp phân tích tài chính Để tiến hành phân tích hoạt động kinh doanh cũng như phân tích hoạt động tài chính người ta khơng dùng riêng lẻ một phương pháp phân tích nào mà sử dụng kết hợp các phương pháp phân tích với nhau để đánh giá tình hình DN một cách xác thực nhất, nhanh nhất. Phương pháp chủ yếu là phương pháp so sánh và phân tích tỷ lệ. Phương pháp so sánh: Để áp dụng được phương pháp này cần phải đảm bảo các điều kiện cĩ thể so sánh được của các chỉ tiêu (phải thống nhất về nội dung, phương pháp, thời gian và đơn vị tính tốn của các chỉ tiêu so sánh) và theo mục đích phân tích mà xác định gốc so sánh. Gốc so sánh cĩ thể chọn là gốc về mặt thời gian hoặc khơng gian. Kỳ (điểm) được chọn để phân tích gọi là kỳ phân tích (hoặc điểm phân tích). Các trị số của chỉ tiêu tính ra ở từng kỳ tương ứng gọi là trị số chỉ tiêu kỳ gốc, kỳ phân tích. Và để phục vụ mục đích phân tích người ta cĩ thể so sánh bằng các cách: so sánh bằng số tuyệt đối, so sánh bằng số tương đối, so sánh bằng số bình quân. 6 Phương pháp so sánh sử dụng trong phân tích tài chính DN là: - So sánh giữa số thực hiện kỳ này với số thực hiện kỳ trước để thấy rõ xu hướng thay đổi về tài chính của DN, thấy được sự cải thiện hay xấu đi như thế nào để cĩ biện pháp khắc phục trong kỳ tới. - So sánh giữa số thực hiện với số kế hoạch để thấy mức độ phấn đấu của Doanh nghiệp. - So sánh giữa số thực hiện kỳ này với mức trung bình của ngành để thấy được tình hình tài chính của DN đang ở tình trạng tốt hay xấu, được hay chưa được so với các DN cùng ngành. - So sánh theo chiều dọc để thấy được tỷ trọng của từng loại trong tổng hợp ở mỗi bản báo cáo. So sánh theo chiều ngang để thấy được sự biến đổi về cả số tương đối và số tuyệt đối của một khoản mục nào đĩ qua niên độ kế tốn liên tiếp. Phương pháp phân tích tỷ lệ: là phương pháp truyền thống, được sử dụng phổ biến trong phân tích tài chính. Đây là phương pháp cĩ tính hiện thực cao với các điều kiện áp dụng ngày càng được bổ sung và hồn thiện. Bởi lẽ: Thứ nhất, nguồn thơng tin kế tốn và tài chính được cải tiến và được cung cấp đầy đủ hơn. Đĩ là cơ sở hình thành các chỉ tiêu tham chiếu tin cậy cho việc đánh giá một tỷ lệ tài chính của DN. Thứ hai, việc áp dụng cơng nghệ tin học cho phép tích luỹ dữ liệu và thúc đẩy nhanh quá trình tính tốn hàng loạt các tỷ lệ. Thứ ba, phương pháp phân tích này giúp cho nhà phân tích khai thác cĩ hiệu quả các số liệu và phân tích một cách cĩ hệ thống hàng loạt tỷ lệ theo chuỗi thời gian liên tục hoặc theo từng giai đoạn. Phương pháp này dựa trên ý nghĩa chuẩn mực các tỷ lệ của đại lượng tài chính trong các quan hệ tài chính. Về nguyên tắc, phương pháp tỷ lệ yêu cầu phải xác định được các ngưỡng, các định mức để nhận xét đánh giá tình hình tài chính DN, trên cơ sở so sánh các tỷ lệ của DN với các tỷ lệ tham chiếu. Trong phân tích tài chính Dn, các tỷ lệ tài chính được phân thành các nhĩm tỷ lệ đặc trưng, phản ánh nội dung cơ bản theo mục tiêu hoạt động của DN. Đĩ là các nhĩm tỷ lệ về nội dung thanh tốn, nhĩm tỷ lệ về cơ cấu vốn và nguồn vốn, nhĩm các tỷ lệ về năng lực hoạt động, nhĩm các tỷ lệ về khả năng sinh lời. 1.1.4 Dự báo tình hình tài chính. Dự báo tình hình tài chính là một yêu cầu cần thiết để kế hoạch hố tài chính ngắn hạn cĩ hiệu quả. Thay cho việc phán quyết, các dự báo được dựa vào các nguồn dữ liệu và các phương pháp dự báo khác nhau. Nhưng nhìn chung, chủ yếu vẫn sử dụng các mơ hình kinh tế lượng, các tính tốn qua lại của các biến số kinh tế. Trong 7 các trường hợp khác, nhà dự báo tài chính cĩ thể sử dụng các phương pháp thống kê trong việc phân tích và dự tính các chuỗi thời gian. Nội dung dự kiến bao gồm: Phân tích các lựa chọn về tài trợ và đầu tư của DN. Dự tính các hiệu ứng tương lai của của các quyết định hiện tại. Quyết định thực hiện phương án nào. So sánh các kết quả hoạt động và các mục tiêu lập ra ban đầu. Để làm được điều này, cần phải sử dụng các nhĩm chỉ tiêu tài chính đặc trưng của DN trong quá khứ để làm căn cứ, cơ sở khoa học cho việc xây dựng một hệ thống các báo cáo tài chính dự kiến. Các dự báo tổng hợp cĩ tính nhất quán về doanh thu, luồng tiền, thu nhập và các dự báo khác là rất phức tạp và tốn nhiều thời gian. Tuy nhiên, nhiều tính tốn cần thiết cĩ thể được thực hiện một cách tự động bởi mơ hình kế hoạch. Bằng cách đĩ, sản phẩm của nhà phân tích tài chính trong hoạch định tài chính sẽ là một hệ thống các bảng cân đối tài sản, báo cáo thu nhập và báo cáo luồng tiền dự tính. Số liệu trong dự báo cĩ thể là con số trung gian nào đĩ giữa số dự báo thực và số thực tế kỳ vọng đạt tới. 1.2. Rủi ro tài chính 1.2.1 Khái niệm Rủi ro chính là các khả năng gây ra tổn thất hay thiệt hại. Thơng thường, các rủi ro khơng đứng riêng lẻ một mình mà chúng tiềm tàng trong mối quan hệ cĩ tính tương tác lẫn nhau khiến cho việc dự đốn rủi ro càng trở nên khĩ khăn hơn. 1.2.2 Nguồn gốc của rủi ro tài chính Rủi ro tài chính bắt nguồn từ vơ số các giao dịch liên quan trực tiếp đến tài chính như mua bán, đầu tư, vay nợ và một số hoạt động kinh doanh khác hoặc là hệ quả gián tiếp của các chính sách thay đổi trong quản lý, trong cạnh tranh, trong các quan hệ quốc tế và thậm chí cĩ thể chỉ do sự thay đổi của thời tiết hay khí hậu. Nếu quan sát kỹ các biến động về tài chính, cĩ thể nhận ra được 3 nguồn chính gây ra rủi ro về tài chính bao gồm: Rủi ro phát sinh từ sự thay đổi bên ngồi về giá cả trên thị trường như lãi suất, tỷ giá hay giá của các loại hàng hố khác. 8 Rủi ro phát sinh từ các hoạt động hay giao dịch với các đối tác trong kinh doanh như nhà cung cấp, khách hàng, các đối tác trong các giao dịch phát sinh hoặc trong các liên doanh gĩp vốn đầu tư. Rủi ro phát sinh từ ngay chính nội bộ doanh nghiệp, những thay đổi từ bên trong liên quan đến nhân sự, cơ cấu tổ chức hoặc quy trình sản xuất kinh doanh. 1.2.3 Quy trình quản trị rủi ro tài chính Rủi ro tài chính thường cĩ tác động dây chuyền và cộng hưởng. Do đĩ, doanh nghiệp phải chủ động xây dựng cho mình quy trình đánh giá và quản trị rủi ro tài chính phù hợp, nhằm tự vệ trước biến động khơn lường của thị trường tài chính. Đơi lúc thiếu hợp lý, nhưng với một sức hấp dẫn đặc biệt, thị trường tài chính vẫn đang sống với quy luật chung và riêng của nĩ, phát triển nhanh hơn mọi dự đốn và phát sinh những tình huống hồn tồn chưa được đề cập đến trong bất kỳ lý thuyết nào. Tồn tại như một cơ chế đáp ứng những nhu cầu đa dạng về cung cấp và sử dụng vốn, thị trường tài chính luơn ẩn chứa nhiều rủi ro ảnh hưởng đến sự sống cịn của các doanh nghiệp tham gia vào thị trường này. Với xu hướng tồn cầu hố tài chính, rủi ro cĩ thể đang tiềm ẩn tại những thị trường tuy xa về khoảng cách địa lý nhưng cĩ khả năng gây ra những biến động nghiêm trọng đối với thị trường tài chính trong nước, gây nên thiệt hại khơn lường đối với hoạt động kinh doanh của doanh nghiệp. Do những đổi thay khơng ngừng trên thị trường mà việc quản trị rủi ro cũng trở thành một quá trình biến hố liên tục các phương pháp phịng chống rủi ro, dựa trên dự báo về mức độ biến động của giá cả, mơi trường kinh doanh, điều kiện chính trị, kinh tế xã hội trong nước và quốc tế. Mặc dù vậy, quy trình quản trị rủi ro khơng thể bỏ qua những bước căn bản sau đây: 1. Nhận diện và phân loại rủi ro Mọi rủi ro trên thị trường đều xuất phát từ những thay đổi về giá cả thị trường như lãi suất, tỷ giá cũng như giá của các loại hàng hố khác. Ngồi ra cịn cĩ một số rủi ro khác ảnh hưởng đến tài chính doanh nghiệp như rủi ro về tín dụng, rủi ro trong hoạt động sản xuất, rủi ro trong thanh khoản và rủi ro mang tính hệ thống tác động chung lên tồn thị trường. Những rủi ro trên đều cĩ tính liên kết và tác động qua lại lẫn nhau nên khi thị trường đi xuống, sự cộng hưởng của chúng sẽ gây nên tổn thất khơn lường đối với doanh nghiệp. 2. Tính tốn và cân nhắc các mức độ rủi ro và mức độ chịu đựng tổn thất khi rủi ro xảy ra Đo lường rủi ro là một quá trình gồm 2 bước. Bước đầu tiên là tính tốn mức thu lợi cĩ thể đạt được hoặc quan trọng hơn cả trong quản trị rủi ro là tính tốn mức tổn thất cĩ thể chấp nhận được trong trường hợp xảy ra biến động xấu về giá cả trên thị trường. Nĩi cách khác, đo lường rủi ro chính là việc trả lời cho câu hỏi "Doanh 9 nghiệp cĩ thể chấp nhận tổn thất đến mức độ nào?". Để cĩ được câu trả lời thì việc tính tốn khả năng và mức độ tổn thất phải được định lượng bằng những con số biết nĩi. Tuỳ theo độ nhạy cảm của từng loại cơng cụ đo lường, kết quả cĩ được cĩ thể tính bằng thời gian mất đi hoặc số tiền thiệt hại trên vốn hoặc lợi nhuận. Chẳng hạn, việc sử dụng các cơng cụ phát sinh như Hợp đồng kỳ hạn (forwards), Hợp đồng tương lai (options) và Hợp đồng hốn đổi (swaps) sẽ giúp doanh nghiệp tính tốn được mức độ tổn thất này bằng các con số chính xác khi thị trường biến động theo hướng ngược chiều với dự đốn. Chi phí bỏ ra khi sử dụng các cơng cụ này chính là cái giá mà doanh nghiệp phải trả nếu rủi ro xảy ra. Bước thứ hai của quá trình này là xác định các khả năng xảy ra tương ứng với từng mức độ biến động trên thị trường. Dựa trên những khả năng biến động về giá cũng như biên độ dao động giá, mức độ tổn thất cũng như mức thu lợi cĩ thể được tính tốn chi tiết và cụ thể cho từng trường hợp. 3. Áp dụng các chính sách, cơng cụ phịng chống thích hợp đối với từng loại rủi ro Tuỳ thuộc vào mức độ và khả năng chấp nhận rủi ro, doanh nghiệp sẽ áp dụng những biện pháp phịng chống khác nhau nhằm giảm thiểu mức độ thiệt hại khi rủi ro xảy ra. Trên thực tế, doanh nghiệp cĩ thể cĩ một số chọn lựa. Một trong những chọn lựa đơn giản nhất là khơng làm gì cả bằng cách chủ động hoặc thụ động chấp nhận mọi rủi ro cĩ thể xảy ra. Điều này hồn tồn đúng với những khoản vay nhỏ vì chi phí để phịng chống cĩ khi cịn cao hơn việc chấp nhận mức thiệt hại nếu thị trường cĩ biến động. Tuy nhiên, phương pháp này lại tỏ ra rất nguy hiểm đối với những khoản thanh tốn bằng ngoại tệ hoặc khoản vay lớn vì chỉ một biến động nhỏ về lãi suất hoặc tỉ giá thì thiệt hại sẽ là một con số khơng thể thờ ơ. Khi đĩ, các cơng cụ phịng chống rủi ro đặc biệt tỏ ra hữu hiệu nhằm ngăn chặn một phần tổn thất cĩ khả năng xảy ra hoặc ngăn chặn khả năng xảy ra rủi ro cĩ thể lường trước. 4. Theo dõi, đánh giá và điều chỉnh phương pháp phịng chống nếu cần thiết Sự vận động của thị trường sẽ khiến cho mọi phương pháp phịng chống dù là tối ưu nhất cũng trở nên mất tác dụng nếu khơng được điều chỉnh cho phù hợp. Do vậy, kết quả của việc sử dụng các phương pháp phịng chống rủi ro cần được ghi nhận và xử lý kịp thời để việc ứng dụng phương pháp trên được thay đổi cho phù hợp với nhu cầu của doanh nghiệp trong những tình huống mới. Tuy nhiên, điều quan trọng hơn cả là doanh nghiệp cần nhận thức và chủ động ứng dụng quy trình này trong thực tế, đặc biệt là khi thị trường Việt Nam vận động trong một nền kinh tế hội nhập với thế giới đang dần tách khỏi sự bảo hộ của Ngân hàng Nhà nước về tỉ giá và các chính sách mở cửa khác cho thị trường tài chính trong nước. Nguy cơ về những biến động lớn trên thị trường tiền tệ và khủng hoảng tài chính trong giai đoạn sắp tới sẽ buộc doanh nghiệp phải ý thức hơn trong việc xây dựng quy trình quản trị rủi ro thích hợp nhằm bảo vệ tài sản của mình. 10 Rủi ro tài chính phát sinh từ 3 nguồn: sự thay đổi bên ngồi; hoạt động, giao dịch với đối tác bên trong và từ chính nội bộ doanh nghiệp 1.2.3 Quản trị rủi ro trong đầu tư chứng khốn Rủi ro trong đầu tư CK được định nghĩa là sự dao động của lợi nhuận mong đợi, do vậy để đạt được tỷ lệ lợi nhuận cao trong đầu tư chứng khốn, vấn đề đặt ra là phải quản lý được mức rủi ro này. Các loại rủi ro trong đầu tư chứng khốn Rủi ro hệ thống là rủi ro tác động đến tồn bộ hoặc hầu hết các CK. Sự bấp bênh của mơi trường kinh tế nĩi chung như sự sụt giảm GDP, biến động lãi suất, tốc độ lạm phát thay đổi... là những minh chứng cho rủi ro hệ thống, những biến đổi này tác động đến sự dao động giá cả của các CK trên thị trường. Trong rủi ro hệ thống trước hết phải kể đến rủi ro thị trường. Rủi ro thị trường xuất hiện do phản ứng của các nhà đầu tư đối với các hiện tượng trên thị trường. Những sự sút giảm đầu tiên trên thị trường là nguyên nhân gây sợ hãi đối với các nhà đầu tư và họ sẽ cố gắng rút vốn. Phản ứng dây chuyền này làm tăng số lượng bán, giá cả CK sẽ rơi xuống thấp so với giá trị cơ sở. Tiếp đến là rủi ro lãi suất. Giá cả CK thay đổi do lãi suất thị trường dao động thất thường gọi là rủi ro lãi suất. Giữa lãi suất thị trường và giá cả CK cĩ mối quan hệ tỷ lệ nghịch. Khi lãi suất thị trường tăng, người đầu tư cĩ xu hướng bán CK để lấy tiền gửi vào ngân hàng dẫn đến giá CK giảm và ngược lại. Ngồi hệ quả trực tiếp đối với giá CK, lãi suất cịn ảnh hưởng gián tiếp đến giá cổ phiếu (CP) thường. Khi lãi suất tăng làm giá CP giảm vì các nhà đầu cơ vay mua ký quỹ sẽ bị ảnh hưởng. Nhiều cơng ty kinh doanh CK hoạt động chủ yếu bằng vốn đi vay thì với mức lãi suất tăng cũng làm cho chi phí vốn tăng. Rủi ro đầu tư CK Rủi ro hệ thống Rủi ro khơng hệ thống Rủi ro kinh doanh Rủi ro thị trường Rủi ro tài chính Rủi ro lãi suất Rủi ro sức mua 11 Một yếu tố rủi ro hệ thống khác khơng kém phần quan trọng là rủi ro sức mua. Rủi ro sức mua là tác động của lạm phát tới các khoản đầu tư. Lợi tức thực tế của CK đem lại là kết quả giữa lợi tức danh nghĩa sau khi khấu trừ đi lạm phát. Như vậy, khi cĩ tình trạng lạm phát thì lợi tức thực thế giảm. Giải thích theo lý thuyết hiện tại hố, một đồng lợi tức của hơm nay thì trong tương lai khơng cịn giá trị một đồng do tác động của lạm phát. Rủi ro khơng hệ thống là rủi ro chỉ tác động đến một loại tài sản hoặc một nhĩm tài sản, nghĩa là rủi ro này chỉ liên quan đến một loại CK cụ thể nào đĩ. Rủi ro khơng hệ thống bao gồm rủi ro kinh doanh và rủi ro tài chính. Trong quá trình kinh doanh, định mức thực tế khơng đạt được như theo kế hoạch gọi là rủi ro kinh doanh, chẳng hạn lợi nhuận trong năm tài chính thấp hơn mức dự kiến. Rủi ro kinh doanh được cấu thành bởi yếu tố bên ngồi và yếu tố nội tại trong cơng ty. Rủi ro nội tại phát sinh trong quá trình cơng ty hoạt động. Rủi ro bên ngồi bao gồm những tác động nằm ngồi sự kiểm sốt của cơng ty làm ảnh hưởng đến tình trạng hoạt động của cơng ty như chi phí tiền vay, thuế, chu kỳ kinh doanh... Rủi ro tài chính cũng là một loại rủi ro khơng hệ thống. Rủi ro tài chính liên quan đến địn bẩy tài chính, hay nĩi cách khác liên quan đến cơ cấu nợ của cơng ty. Sự xuất hiện các khoản nợ trong cấu trúc vốn sẽ tạo ra nghĩa vụ trả nợ trả lãi của cơng ty. Cơng ty phải thực hiện nghĩa vụ trả nợ (gồm trả nợ ngân hàng và trả nợ trái phiếu) trước việc thanh tốn cổ tức cho cổ đơng. Điều này ảnh hưởng khơng nhỏ đến giá cả CP cơng ty. Rủi ro tài chính cĩ thể tránh được nếu cơng ty khơng vay nợ chút nào. 1.3 Phân tích kỹ thuật trong dự báo thị trường chứng khốn. 1.3.1 Khái niệm PTKT là việc nghiên cứu giá, với cơng cụ cơ bản là biểu đồ, nhằm nâng cao hiệu quả của hoạt động đầu tư. PTKT nghiên cứu các hành vi của các bên tham gia thị trường thơng qua sự biến động của giá, khối lượng chứng khốn giao dịch nhằm xác định được xu thế biến động giá và thời điểm đầu tư. Phân tích kỹ thuật dựa trên lý thuyết DOW[2], với nội dung chủ yếu sau: Thị trường phản ánh tất cả các thơng tin trong giá CK 3 xu thế của thị trường (xu thế sơ cấp, xu thế thứ cấp và các biến động hàng ngày) PTKT sử dụng ba giả thiết sau: Giá trị thị trường của bất kỳ sản phẩm hay dịch vụ nào đều được xác lập thơng qua cung cầu của thị trường. - Cung cầu của thị trường được xác lập dựa trên một hệ thống các yếu tố hợp l. hoặc đơi khi phi l.. Và thị trường sẽ cân đối các trọng số này liên tục và tự động. 12 - Loại bỏ những dao động bất thường, giá cả của một chứng khốn đơn lẻ hay tồn bộ giá cả của thị trường cĩ xu thế thay đổi theo một khuynh hướng (trend), và nĩ tồn tại trong một khoảng thời gian nhất định. - Sự thay đổi trong khuynh hướng đang thịnh hành là do sự thay đổi trong mối quan hệ cung cầu. Và sự thay đổi của quan hệ cung cầu sẽ được nhận diện sớm hay muộn thơng qua các phản ứng của chính thị trường. 1.3.2 Ứng dụng của phân tích kỹ thuật - Xác định chiến lược kinh doanh cho ngắn hạn, trung hạn và dài hạn - Xác định các đường tiệm cận giá để cĩ quyết định mua vào – bán ra cổ phiếu một cách hợp lý - Xác định các khoảng dao động của giá để xác định thời điểm nên hay chưa nên tham gia vào thị trường 1.3.3 Các cơng cụ cơ bản sử dụng trong Phân tích kỹ thuật. Biểu đồ thể hiện chuỗi dao động của giá trong một đơn vị thời gian. Hiện nay trên Thị trường chứng khốn các chuyên viên phân tích dùng rất nhiều các loại biểu đồ khác nhau để phân tích, trong đĩ cĩ 3 loại biểu đồ được dùng một cách phổ biến nhất đĩ là: biểu đồ dạng đường (Line chart), biểu đồ dạng then chắn (Bar chart), biểu đồ dạng cây nến (Candlestick chart). Biểu đồ dạng đường (Line chart)[2] Dạng biểu đồ này từ trước tới nay thường được sử dụng phổ biến trong các ngành khoa học khác dùng để mơ phỏng các hiện tượng kinh tế và xã hội. Nhưng hiện nay do khoa học kỹ thuật phát triển, diễn biến của thị trường chứng khốn ngày càng phức tạp cho nên loại biểu đồ này ngày càng ít được sử dụng nhất là trên các thị trường chứng khốn hiện đại. Hình 1-1 Biểu đồ dạng đường 13 Nĩ chủ yếu được sử dụng trên các thị trường chứng khốn mới đi vào hoạt động trong thời gian ngắn, khớp lệnh theo phương pháp khớp lệnh định kỳ theo từng phiên. Ưu điểm của loại biểu đồ này là dễ sử dụng. Hiện nay trên các Thị trường chứng khốn hiện đại đang dùng một số loại biểu đồ trong Phân tích kỹ thuật mang lại hiệu quả cao đĩ là biểu đồ dạng then chắn (Bar chart) và cây nến (Candlestick chart). Biểu đồ dạng then chắn (Bar chart)[2] Trên các Thị trường chứng khốn hiện đại trên thế giới hiện nay các chuyên viên phân tích thường dùng loại biểu đồ này trong phân tích là chủ yếu lý do chính vì tính ưu việt của nĩ đĩ là sự phản ánh rõ nét sự biến động của giá chứng khốn. Hai kí tự mà dạng biểu đồ này sử dụng đĩ là: Hình 1-2 Biểu đồ dạng then chắn Loại biểu đồ này thường được áp dụng để phân tích trên các Thị trường chứng khốn hiện đại khớp lệnh theo hình thức khớp lệnh liên tục, độ dao động của giá chứng khốn trong một phiên giao dịch là tương đối lớn. Biểu đồ cây nến (Candlestick chart) Đây là dạng biểu đồ cải tiến của biểu đồ dạng then chắn (Bar chart), nĩ được người Nhật Bản khám phá và áp dụng trên thị trường chứng khốn của họ đầu tiên. Giờ đây nĩ đang dần được phổ biến hầu hết trên các thị trường chứng khốn hiện đại trên tồn thế giới. Dạng biểu đồ này phản ánh rõ nét nhất về sự biến động của giá chứng khốn trên thị trường chứng khốn khớp lệnh theo hình thức khớp lệnh định kỳ. Hai kí tự mà loại biểu đồ này sử dụng là: Hình 1-3 Biểu đồ dạng cây nến 14 1.3.4 Các chỉ dẫn kỹ thuật cơ bản  Đường trung bình trượt MA (Moving Average) Ý nghĩa: MA là chỉ báo hữu ích dùng để theo dõi khuynh hướng biến động giá chứng khốn và sự đảo chiều của những khuynh hướng này. MA cĩ tác dụng làm trơn sự biến động của giá CK trên TTCK nhằm loại bỏ những biến động nhỏ và cho ta cái nhìn chính xác về xu thế chính của thị trường Một số đường MA cơ bản: - SMA : Đường trung bình trượt giản đơn - WMA: Đường trung bình trượt tuyến tính cĩ trọng số - EMA : Đường trung bình trượt theo hệ số mũ - VMA : Đường trung bình trượt biến đổi - TMA : Đường trung bình trượt hồi quy theo thời gian  Đường chuẩn MACD Ý nghĩa: MACD là chỉ báo cho thấy sự quy tụ hay phân kỳ của trung bình chuyển động. MACD cho sự khẳng định dấu hiệu thị trường khi đường MA ngắn hạn giao nhau với đường MA dài hạn. Ứng dụng: Thường sử dụng đường MACD với sự chênh lệnh của hai đường EMA 12 và EMA 26 và một đường tín hiệu là EMA 9 Đường MACD - Histogram Ý nghĩa: MACD-H phản ánh độ lệch giữa hai đường MACD và đường tín hiệu của nĩ. Khi nào MACD xuyên chéo qua đường tín hiệu thì MACD-H xuyên chéo qua đường số khơng. MACD-H được dùng để dự báo trước sự thay đổi trong khuynh hướng biến động giá chứng khốn.  Chỉ số sức mạnh tương quan RSI Ý nghĩa: RSI là một chỉ số động lượng đo sức mạnh tương đối của một chứng khốn nhất định hoặc của cả thị trường. RSI được đo theo thang độ từ 0% đến 100% và lấy hai đường 30% và 70% làm hai đường chỉ báo kỹ thuật.  Dải Bollinger Band 15 Ý nghĩa: Là miền thể hiện sai lệch xung quanh giá trị trung bình và được xác định theo một tỷ lệ phần trăm nhất định phía trên và phía dưới đường MA Ứng dụng: Mr_Bollinger gợi ý thời kỳ trễ của đường MA là 20 và tỷ lệ phần trăm là 2% sẽ cho những kết quả tính tốn đáng tin cậy. Kết luận Các kiến thức về lĩnh vực tài chính rất nhiều, trên đây tơi mới chỉ giới thiệu ngắn gọn về các kiến thức chung nhất. Các kiến thức này tuy chưa nhiều nhưng cũng đủ để một người dùng cĩ thể hiểu được một cách căn bản về tài chính. Với các kiến thức này người dùng cĩ thể sử dụng các ứng dụng phân tích tài chính, phân tích rủi ro trong đầu tư chứng khốn. 16 Chương 2 - TỔNG QUAN VỀ KHAI PHÁ DỮ LIỆU Trong những năm gần đây, sự phát triển mạnh mẽ của CNTT đã làm cho khả năng thu thập và lưu trữ thơng tin của các hệ thống thơng tin tăng nhanh một cách chĩng mặt. Bên cạnh đĩ, việc tin học hố một cách ồ ạt và nhanh chĩng các hoạt động sản xuất, kinh doanh cũng như nhiều lĩnh vực hoạt động khác đã tạo ra cho chúng ta một lượng dữ liệu lưu trữ khổng lồ. Hàng triệu CSDL đã được sử dụng trong các hoạt động sản xuất, kinh doanh, quản lý..., trong đĩ cĩ nhiều CSDL cực lớn cỡ Gigabyte, thậm chí là Terabyte. Sự bùng nổ này đã dẫn tới một yêu cầu cấp thiết là cần cĩ những kỹ thuật và cơng cụ mới để tự động chuyển đổi lượng dữ liệu khổng lồ kia thành các tri thức cĩ ích. Từ đĩ, các kỹ thuật khai phá dữ liệu đã trở thành một lĩnh vực thời sự của nền CNTT thế giới hiện nay nĩi chung và Việt Nam nĩi riêng. 2.1 Giới thiệu về khai phá dữ liệu (Data Mining) Khai phá dữ liệu đang được áp dụng một cách rộng rãi trong nhiều lĩnh vực kinh doanh và đời sống khác nhau: marketing, tài chính, ngân hàng và bảo hiểm, khoa học, y tế, an ninh, internet… Rất nhiều tổ chức và cơng ty lớn trên thế giới đã áp dụng kỹ thuật khai phá dữ liệu vào các hoạt động sản xuất kinh doanh của mình và thu được những lợi ích to lớn. Khai phá dữ liệu được định nghĩa là quá trình trích xuất các thơng tin cĩ giá trị tiềm ẩn bên trong lượng lớn dữ liệu được lưu trữ trong các cơ sở dữ liệu, kho dữ liệu. Hiện nay, ngồi thuật ngữ khai phá dữ liệu, người ta cịn dùng một số thuật ngữ khác cĩ ý nghĩa tương tự như: Khai phá tri thức từ CSDL, trích lọc dữ liệu (Konwlegde extraction), phân tích dữ liệu/mẫu (data/pattern analysis), khảo cổ dữ liệu (data archaeology), nạo vét dữ liệu (data dredredging). Nhiều người coi khai phá dữ liệu và một số thuật ngữ thơng dụng khác là khám phá tri thức trong CSDL (Knowledge Discovery in Databases-KDD) là như nhau. Tuy nhiên trên thực tế khai phá dữ liệu chỉ là một bước thiết yếu trong quá trình Khám phá tri thức trong CSDL. Quá trình này gồm các bước:  Làm sạch dữ liệu (data cleaning): Loại bỏ nhiễu hoặc các dữ liệu khơng thích hợp.  Tích hợp dữ liệu (data integration): Tích hợp dữ liệu từ các nguồn khác nhau như: CSDL, Kho dữ liệu, file text…  Chọn dữ liệu (data selection): Ở bước này, những dữ liệu liên quan trực tiếp đến nhiệm vụ sẽ được thu thập từ các nguồn dữ liệu ban đầu. 17  Chuyển đổi dữ liệu (data transformation): Trong bước này, dữ liệu sẽ được chuyển đổi về dạng phù hợp cho việc khai phá bằng cách thực hiện các thao tác nhĩm hoặc tập hợp.  Khai phá dữ liệu (data mining): Là giai đoạn thiết yếu, trong đĩ các phương pháp thơng minh sẽ được áp dụng để trích xuất ra các mẩu dữ liệu.  Đánh giá mẫu (pattern evaluation): Đánh giá sự hữu ích của các mẫu biểu diễn tri thức dựa vào một số phép đo.  Trình diễn dữ liệu (Knowlegde presentation): Sử dụng các kỹ thuật trình diễn và trực quan hố dữ liệu để biểu diễn tri thức khai phá được cho người sử dụng. Các kỹ thuật khai phá dữ liệu thường được chia thành 2 nhĩm chính:  Kỹ thuật khai phá dữ liệu mơ tả: cĩ nhiệm vụ mơ tả về các tính chất hoặc các đặc tính chung của dữ liệu trong CSDL hiện cĩ.  Kỹ thuật khai phá dữ liệu dự đốn: cĩ nhiệm vụ đưa ra các dự đốn dựa vào các suy diễn trên dữ liệu hiện thời. Dưới đây giới thiệu 3 phương pháp thơng dụng nhất là: phân cụm dữ liệu, phân lớp dữ liệu và khai phá luật kết hợp.  Phân cụm dữ liệu: Mục tiêu chính của phương pháp phân cụm dữ liệu là nhĩm các đối tượng tương tự nhau trong tập dữ liệu vào các cụm sao cho các đối tượng thuộc cùng một lớp là tương đồng cịn các đối tượng thuộc các cụm khác nhau sẽ khơng tương đồng.  Phân lớp dữ liệu và hồi quy: Mục tiêu của phương pháp phân lớp dữ liệu là dự đốn nhãn lớp cho các mẫu dữ liệu. Quá trình phân lớp dữ liệu thường gồm 2 bước: Thứ nhất, xây dựng mơ hình, một mơ hình sẽ được xây dựng dựa trên việc phân tích các mẫu dữ liệu sẵn cĩ. Mỗi mẫu tương ứng với một lớp, được quyết định bởi một thuộc tính gọi là thuộc tính lớp. Thứ hai, sử dụng mơ hình để phân lớp dữ liệu, tính độ chính xác của mơ hình. Nếu độ chính xác là chấp nhận được, mơ hình sẽ được sử dụng để dự đốn nhãn lớp cho các mẫu dữ liệu khác trong tương lai.  Khai phá luật kết hợp: mục tiêu của phương pháp này là phát hiện và đưa ra các mối liên hệ giữa các giá trị dữ liệu trong CSDL. Mẫu đầu ra của giải thuật khai phá dữ liệu là tập luật kết hợp tìm được. Khai phá luật kết hợp được thực hiện qua 2 bước: Thứ nhất, tìm tất cả các tập mục phổ biến, một tập mục phổ biến được xác định qua tính độ hỗ trợ và thoả mãn độ hỗ trợ cực tiểu. Thứ hai, sinh ra các luật kết hợp mạnh từ tập mục phổ biến, các luật phải thoả mãn độ hỗ trợ cực tiểu và độ tin cậy cực tiểu. 18 2.2 Phân lớp 2.2.1 Giới thiệu về phân lớp Phân lớp (Classification) là việc phân loại các mẫu thành một tập rời rạc của các nhĩm cĩ thể. Phân lớp là một quá trình gồm hai bước. Ở bước thứ nhất, mơ hình được học mơ tả một tập hợp được định trước của các lớp dữ liệu. Mơ hình này được xây dựng bằng cách phân tích các thuộc tính của dữ liệu. Mỗi dữ liệu được giả thiết rằng thuộc một lớp đã định nghĩa trước, và được xác định bởi nhãn của lớp (class lable). Trong phân lớp, dữ liệu được phân tích để xây dựng một mơ hình tập hợp từ tập dữ liệu huấn luyện (training data set). Dữ liệu riêng lẻ tạo ra tập huấn luyện cịn được gọi là mẫu huấn luyện (training examples) và được chọn ngẫu nhiên. Nếu các mẫu huấn luyện được đánh nhãn, bước này cịn được gọi là học cĩ giám sát (Supervised learning). Nĩ đối lập với học khơng giám sát (unsupervised learning), thường được gọi là phân cụm, trong đĩ nhãn cho mẫu huấn luyện là khơng biết và số lượng tập hợp của các lớp được học cĩ thể khơng biết. Một số mơ hình học thơng dụng được sử dụng nhiều trong thực tế là luật kết hợp, cây quyết định (Decision tree), mạng nơron, SVM … Bước thứ hai là sử dụng mơ hình đã được xây dựng ở bước một để phân loại các mẫu dữ liệu chưa cĩ nhãn vào lớp tương ứng. Đầu tiên sẽ đánh giá sự chính xác khi dự đốn. Cĩ một số cách để đánh giá sự chính xác. Cách thường được dùng là phương pháp tiếp cận holdout, nĩ đánh giá sự chính xác dự báo của mơ hình bằng việc đo độ chính xác trên một tập các mẫu mà tập này khơng được phép dùng khi xây dựng mơ hình. Tập như vậy được gọi là tập thử (test data set). Những mẫu này được chọn ngẫu nhiên và độc lập với tập huấn luyện. Sự chính xác của mơ hình dựa trên tập dữ liệu kiểm tra là phần trăm của tập mẫu test mà phân loại chính xác bởi mơ hình. Với mỗi mẫu thử, nhãn đã biết của lớp được so sánh với sự dự đốn của mơ hình học của lớp. Thuật tốn học cĩ thể dẫn tới lạc lối bởi những lỗi ngẫu nhiên và sự trùng lặp bên trong tập dữ liệu huấn luyện. Do đĩ, tập dữ liệu xác nhận cĩ thể được kỳ vọng để cung cấp một sự kiểm tra an tồn chống lại việc over fitting các đặc trưng giả mạo của tập dữ liệu huấn luyện (đĩ là, mơ hình học cĩ thể phân loại một số trường hợp dị thường đặc biệt của dữ liệu thử mà chưa từng xuất hiện trong tập huấn luyện). 19 Hình 2-1 Mơ hình phân lớp tiêu chuẩn Tất nhiên, điều quan trọng là tập huấn luyện là đủ lớn để mơ hình tự nĩ cĩ thể học được phân bổ tốt nhất cĩ thể của dữ liệu. Để giải quyết vấn đề này, phương pháp thường được áp dụng khi bộ dữ liệu khơng đủ lớn mà vẫn tăng khả năng phân lớp là sử dụng xác nhận chéo. Trong xác nhận chéo k-fold, dữ liệu cĩ sẵn được phân thành k tập riêng lẻ với kích cỡ xấp xỉ nhau. Thủ tục xác nhận chéo tạo ra k sự lặp lại trong đĩ phương pháp học được đưa ra k-1 tập con để sử dụng như là dữ liệu huấn luyện, và nĩ được kiểm tra trên tập bên trái. Độ chính xác của xác nhận chéo của thuật tốn đưa ra thường đơn giản là trung bình cộng của các độ đo chính xác từ những fold riêng lẻ. Nếu độ chính xác của mơ hình được coi như là chấp nhận được, mơ hình cĩ thể được sử dụng để phân lớp các mẫu về sau mà nhãn lớp là chưa biết. Dữ liệu như vậy cũng được biết đến trong học máy như là các dữ liệu chưa biết “unknown” hoặc dữ liệu trước đây chưa tồn tại “previously unseen”. Thực nghiệm 1 Thực nghiệm 2 Thực nghiệm 3 Thực nghiệm 4 Tổng số mẫu Mẫu thử 20 Để cĩ thể đánh giá được khả năng của một thuật tốn phân lớp, người ta đã đề ra một số phép so sánh bao gồm: - Chất lượng phân lớp: cho biết khả năng mơ hình dự đốn chính xác nhãn lớp của dữ liệu khơng cĩ nhãn. - Tốc độ (Speed): cho biết chi phí tính tốn liên quan trong việc xây dựng và sử dụng mơ hình. - Sự tráng kiện của mơ hình (Robustness): cho biết khả năng mơ hình tạo ra các dự đốn đúng với các dữ liệu nhiễu và dữ liệu với giá trị khơng đầy đủ. - Tính khả chuyển (Scalability): cho biết khả năng xây dựng mơ hình một cách hiệu quả với các dữ liệu khác nhau. - Tính cĩ thể hiểu được (Interpretability): cho biết mức độ chi tiết của thơng tin được cung cấp bởi mơ hình. Trong luận văn này, chúng tơi đặc biệt quan tâm tới vấn đề chất lượng phân lớp và tính cĩ thể hiểu được. Độ đo chất lượng phân lớp tiêu chuẩn thể hiện thơng qua độ chính xác (accuracy), độ hồi nhớ (recall) và độ đúng đắn (precision). Chúng được định nghĩa dựa trên cơng thức như hình dưới. Chúng ta xem các lớp trong một vấn đề phân lớp nhị phân như là lớp dương “possitive” và âm “negative” tương ứng. Bảng 2-1 Ma trận hỗn hợp trong phân lớp Mẫu Phân lớp dương Phân lớp âm Lớp dương thực tế n00 n01 Lớp âm thực tế n10 n11 Trong đĩ: accuracy = 11100100 1100 nnnn nn   ; recall = 0100 00 nn n  ; precision = 1000 00 nn n  Tính cĩ thể hiểu được thường được tính trong kích thước của các bộ phân lớp. 2.2.2 Các phương pháp phân lớp Cĩ rất nhiều phương pháp phân lớp, mỗi phương pháp phân lớp đều cĩ cách tính tốn khác nhau. Sự khác nhau cơ bản của các phương pháp này là ở thuật tốn học quy nạp. Tuy nhiên, nhìn một cách tổng quan thì các phương pháp đĩ đều phải thực hiện một số bước chung như sau: đầu tiên, mỗi phương pháp sẽ dựa trên các thơng tin của các mẫu để biểu diễn mẫu thành dạng vector; sau đĩ, tuỳ từng phương pháp mà ta sẽ áp dụng cơng thức và phương thức tính tốn khác nhau để thực hiện việc phân loại. 21 Sau đây là một số cách tiếp cận mà theo thực nghiệm thì cĩ hiệu quả phân loại cao cũng như những thuận lợi và bất tiện của mỗi cách. Phương pháp k người láng giềng gần nhất (k-NN Algorithm): Ý tưởng: Là phương pháp nổi tiếng về hướng tiếp cận dựa trên xác suất thống kê. Khi cần phân loại mẫu mới, thuật tốn sẽ tính khoảng cách (khoảng cách Euclide, Cosine...) của tất cả các mẫu trong tập huấn luyện đến mẫu mới này để tìm ra k mẫu gần nhất (gọi là k “láng giềng”) sau đĩ dùng các khoảng cách này đánh trọng số cho tất cả các mẫu. Trọng số của một mẫu chính là tổng tất cả các khoảng cách ở trên của mẫu trong k láng giềng cĩ cùng đặc trưng, đặc trưng nào khơng xuất hiện trong k láng giềng sẽ cĩ trọng số bằng khơng. Sau đĩ các đặc trưng được sắp xếp theo mức độ trọng số giảm dần và các đặc trưng cĩ trọng số cao sẽ được chọn là đặc trưng của mẫu cần phân loại. Ưu điểm: Cĩ một vài thuận lợi khi thực thi giải pháp này. Giải thuật này được xem như giải thuật tốt nhất để bắt đầu việc phân loại mẫu và là một giải thuật mạnh. Một trong những thuận lợi của giải thuật này chính là sự rõ ràng và dễ dàng, đơn giản và dễ thực hiện. Được dựa trên phương pháp trực tuyến với cách xử lý một số hỗn hợp các mẫu. Đặc biệt, giải thuật này cịn kiểm tra các mẫu kề các mẫu mới, và cần vài thơng số để làm việc này, nĩi cách khác giải thuật này hầu như khơng giới hạn. Dựa vào các nhân tố này, giải thuật này hồn tồn hiệu quả thơng qua thực nghiệm và dễ dàng áp dụng. Một lợi ích nữa của k-NN là giải thuật này cĩ thể được vận dụng để cải tiến hơn. Nĩi cách khác, giải thuật này nhanh chĩng chỉnh sửa và phù hợp với các trường hợp khác. Ví dụ, giải thuật cĩ thể được áp dụng cho bất kỳ khoảng cách đo lường nào khi nhập vào và các mẫu huấn luyện vì khoảng cách của các mẫu nhập vào cĩ thể được giảm đi để cải tiến hiệu quả của giải thuật, do vậy k-NN cĩ thể được áp dụng cho mẫu với bất kì khoảng cách nào trong mẫu đào tạo. Cũng vì thế mà hầu hết thời gian huấn luyện địi hỏi cho phân loại mẫu trong giải thuật k-NN; giải thuật này được đánh giá là kỹ thuật chi phí trong các kỹ thuật. cuối cùng, k-NN là giải thuật mạnh cĩ thể giám sát các nguồn tiềm năng lỗi. Nhược điểm: Rất khĩ cĩ thể tìm ra k tối ưu. Hơn nữa với trường hợp mẫu cĩ nhiễu thì việc phân loại là khơng tốt 22 Phương pháp Cây quyết định (Decision Tree Algorithm): Ý tưởng: Bộ phân lớp cây quyết định là một dạng cây mà mỗi nút được gán nhãn là một đặc trưng, mỗi nhánh là giá trị trọng số xuất hiện của đặc trưng trong mẫu cần phân lớp, và mỗi lá là nhãn của phân lớp. Việc phân lớp của một mẫu dj sẽ được duyệt đệ qui theo trọng số của những đặc trưng cĩ xuất hiện trong mẫu dj. Thuật tốn lặp đệ qui đến khi đạt đến nút lá và nhãn của dj chính là nhãn của nút lá tìm được. Thơng thường việc phân lớp mẫu nhị phân sẽ tương thích với việc dùng cây nhị phân. Ưu điểm: - Dễ hiểu, dễ cài đặt. - Cĩ thể chấp nhận trường hợp tập dữ liệu huấn luyện cĩ nhiễu, và cho hiệu quả phân loại tương đối cao. Nhược điểm: Việc sử dụng giải thuật cây quyết định liên quan đến một số hạn chế quan trọng, dựa vào trạng thái nguyên thuỷ của thuật tốn mà chia các vùng mẫu được đưa vào các tập hợp con. Trước tiên, giải thuật này chia những tập mẫu tuỳ thuộc vào đặc trưng (một bộ phận từ ) mọi lúc, bằng cách sử dụng các đặc trưng rõ ràng mọi lúc. Dựa vào các nhân tố này, giải thuật này sẽ bị sai nếu một lỗi bị nhìn thấy tại bất cứ mức độ nào, bởi vì cây con bên dưới cấp bậc sẽ bị sai. Do đĩ, giải thuật cây quyết định khơng mạnh và nĩ dường như mạo hiểm để quyết định những nhánh phân loại. Một vấn đề khác là khơng cĩ bảo vệ phù hợp giống như Support Vector Machines, vì vậy chúng cĩ thể loại trừ các đặc trưng. Điều này cĩ nghĩa là chúng khơng thể chấp nhận một mẫu với số lượng lớn đặc trưng như SVM, vì cĩ quá nhiều đặc trưng tạo nên tràn phù hợp và làm cho khả năng học kém hơn. Một trở ngại khác là thời gian huấn luyện phân loại cao bởi vì giải thuật này cần so sánh tất cả những nhánh con cĩ thể, nên mất nhiều thời gian để chia và duyệt các đặc trưng. Phương pháp Nạve Bayes Ý tưởng : Ý tưởng cơ bản của phương pháp xác suất Bayes là dựa vào xác suất cĩ điều kiện của từ hay đặc trưng xuất hiện trong mẫu với đặc trưng để dự đốn đặc trưng của mẫu đang xét. Điểm quan trọng cơ bản của phương pháp này là các giả định độc lập: - Các từ hay đặc trưng của mẫu xuất hiện là độc lập với nhau. - Vị trí của các từ hay các đặc trưng là độc lập và cĩ vai trị như nhau. Giả sử ta cĩ: 23 - n đặc trưng (lớp) đã được định nghĩa nccc ,,, 21  - Mẫu mới cần được phân loại jd Để tiến hành phân loại mẫu jd , chúng ta cần phải tính được tần suất xuất hiện của các lớp ),...,2,1( nici  trong mẫu jd . Sau khi tính được xác suất của mẫu đối với các đặc trưng, theo luật Bayes, mẫu sẽ được phân lớp vào đặc trưng ic nào cĩ xác suất cao nhất. Thuận lợi: Là phương pháp đơn giản, cài đặt khơng phức tạp, tốc độ nhanh, với tập huấn luyện lớn thì cho kết quả vẫn tương đối chính xác. Nhược điểm: Giải thuật Nạve Bayes cũng cĩ những điểm yếu riêng mặc dù được xem là trình diễn tốt hơn giải thuật Cây quyết định. Một trong những trở ngại là dựa trên luật gọi là các điều kiện độc lập. Cĩ thể bị vi phạm bởi các trường hợp trong thực tế, bởi vì Nạve Bayes thừa nhận các đặc trưng trong mẫu độc lập riêng rẽ và được biểu diễn một cách nghèo nàn khi những đặc trưng này cĩ mối liên hệ với nhau. Hơn nữa, luật này khơng tạo được sự thường xuyên cho việc xuất hiện các đặc trưng. Một bất lợi khác nữa là giải thuật sử dụng nhiều tính tốn và vì vậy thời gian bị chi phối. Phương pháp mạng Nơron (Neural Network): Ý tưởng: Mơ hình mạng neural gồm cĩ ba thành phần chính như sau: kiến trúc (architecture), hàm chi phí (cost function), và thuật tốn tìm kiếm (search algorithm). Kiến trúc định nghĩa dạng chức năng (functional form) liên quan giá trị nhập (inputs) đến giá trị xuất (outputs). Kiến trúc phẳng ( flat architecture ) : Mạng phân loại đơn giản nhất ( cịn gọi là mạng logic) cĩ một đơn vị xuất là kích hoạt kết quả (logistic activation) và khơng cĩ lớp ẩn, kết quả trả về ở dạng hàm (functional form) tương đương với mơ hình hồi quy logic. Thuật tốn tìm kiếm chia nhỏ mơ hình mạng để thích hợp với việc điều chỉnh mơ hình ứng với tập huấn luyện. Ví dụ, chúng ta cĩ thể học trọng số trong mạng kết quả (logistic network) bằng cách sử dụng khơng gian trọng số giảm dần (gradient descent in weight space) hoặc sử dụng thuật tốn interated-reweighted least squares là thuật tốn truyền thống trong hồi quy (logistic regression). 24 Kiến trúc mơđun (modular architecture): Việc sử dụng một hay nhiều lớp ẩn của những hàm kích hoạt phi tuyến tính cho phép mạng thiết lập các mối quan hệ giữa những biến nhập và biến xuất. Mỗi lớp ẩn học để biểu diễn lại dữ liệu đầu vào bằng cách khám phá ra những đặc trưng ở mức cao hơn từ sự kết hợp đặc trưng ở mức trước. 2.3 Mạng Nơron Một trong những kỹ thuật tiên tiến được sử dụng trong việc tạo quyết định tài chính là mạng Nơron. Mục này sẽ giới thiệu về mạng nơron được tạo và hoạt động như thế nào. Các mạng nơron nhân tạo được tạo ra nhằm mục đích mơ phỏng lại bộ não của con người. Cĩ thể coi bộ não là một máy tính hay một hệ thống xử lý thơng tin song song, phi tuyến và cực kỳ phức tạp. Nĩ cĩ khả năng tự tổ chức các bộ phận cấu thành của nĩ, như là các tế bào thần kinh (nơron) hay các khớp nối thần kinh (synapse), nhằm thực hiện một số tính tốn như nhận dạng mẫu và điều khiển vận động nhanh hơn nhiều lần các máy tính nhanh nhất hiện nay. Sự mơ phỏng bộ não con người của mạng nơron là dựa trên cơ sở một số tính chất đặc thù rút ra từ các nghiên cứu về thần kinh sinh học. Lý thuyết về Mạng nơ ron nhân tạo, hay gọi tắt là “Mạng nơ ron”, được xây dựng xuất phát từ một thực tế là bộ não con người luơn luơn thực hiện các tính tốn một cách hồn tồn khác so với các máy tính số. 2.3.1. Mơ hình một nơron perceptron Một nơron perceptron là một phần tử xử lý gồm:  n đầu vào xi, mỗi đầu vào ứng với một giá trị thực wi gọi là trọng số.  Một giá trị thực b gọi là ngưỡng (bias).  Một hàm kích hoạt f.  Giá trị ra y. Hình 2-2 Mơ hình một nơron perceptron 25 Giá trị ra của perceptron được tính theo quy tắc sau: )( 1 ufy bwxu n i ii    (2.1) Hàm kích hoạt được sử dụng phổ biến là hàm sigmoid (cịn gọi là hàm logistic) do tính phi tuyến và khả vi: ue1 1)u(f   (2.2) Ngồi ra cịn cĩ một số hàm kích hoạt khác: hàm tang hyperbolic (tanh), hàm softmax. Khả năng tính tốn của một nơron perceptron khá hạn chế. Để cải thiện người ta nối chúng thành mạng. Mơ hình mạng đơn giản nhất là mạng perceptron truyền thẳng đa lớp MLP. 2.3.2. Mơ hình mạng nơron MLP Mạng nơron MLP n đầu vào, m đầu ra cĩ mơ hình như sau:  Các nơron được chia thành các lớp: lớp sau được nối với lớp trước. Lớp đầu tiên là lớp vào (input - nhận đầu vào), lớp cuối cùng là lớp ra (output - cho đầu ra). Giữa lớp vào và lớp ra là các lớp ẩn (hidden). Thơng thường chỉ cĩ một lớp ẩn.  Tất cả các nơron cùng một lớp sử dụng chung một vector đầu vào. Mỗi lớp khi nhận một vector đầu vào sẽ tính đầu ra của mỗi nơron, kết hợp thành một vector và lấy đĩ làm đầu vào cho lớp sau.  Mạng MLP nhận đầu vào là một vector n thành phần, lấy đĩ làm đầu vào của lớp input và tính tốn cho đến khi lớp output cĩ đầu ra, lấy đĩ là đầu ra của mạng: một vector m thành phần.  Tồn bộ các nơron của tồn mạng sử dụng chung một hàm kích hoạt, thường là hàm logistic. Ngồi lớp vào và lớp ra, mạng MLP thường cĩ một hay nhiều lớp ẩn. Thơng thường người ta chỉ sử dụng một lớp ẩn. Vì vậy đơi khi người ta hay đồng nhất MLP với MLP 3 lớp. 26 input layer hidden layer output layer Hình 2-3 Mơ hình mạng perceptron 3 lớp(MLP) Như vậy xét dưới gĩc độ tốn học mạng MLP biểu diễn một hàm phi tuyến từ Rn vào Rm. Người ta cũng chứng minh được rằng: “một hàm phi tuyến liên tục bất kì cĩ thể xấp xỉ với độ chính xác tuỳ ý bằng mạng MLP” (định lí Kolmogorov). Mạng MLP npm (n đầu vào, m đầu ra, p nơron ẩn) được biểu diễn bằng 2 ma trận trọng số w1 cỡ np, w2 cỡ pm và 2 vector ngưỡng b1 p phần tử, b2 m phần tử. (Lớp input của MLP chỉ cĩ tác dụng nhận đầu vào, hồn tồn khơng thực hiện tính tốn). Khi đĩ tính tốn đầu ra y của mạng theo đầu vào x như sau: )v(fy bw.zv )u(fz bw.xu 22 11     (2.3) Ở đây, u, v, z là các vector. Viết z=f(u) cĩ nghĩa là zi=f(ui) với mọi i. Để biểu diễn được một hàm nào đĩ, mạng MLP cần được huấn luyện. 2.3.3. Huấn luyện mạng nơron MLP Để mạng nơron biểu diễn được hàm f, ta cần một bộ dữ liệu gồm N cặp vector (xi, ti), trong đĩ xi thuộc tập xác định của f và ti là giá trị của f tại xi: ti = f(xi) (2.4) Mạng MLP sẽ biểu diễn được hàm f nếu cho đầu vào của mạng là xi thì đầu ra của mạng là ti. Thường thì MLP chỉ biểu diễn được xấp xỉ hàm f, do đĩ ta mong muốn nếu mạng cho đầu ra thực tế là yi thì yi càng gần ti càng tốt. 27 Như vậy bài tốn huấn luyện mạng là cho bộ dữ liệu huấn luyện gồm N cặp vector (xi, ti), cần điều chỉnh các trọng số của mạng sao cho tổng sai số của mạng trên bộ dữ liệu là nhỏ nhất:    N 1i ii minyt E (2.5) Trong đĩ yi là đầu ra thực tế của mạng ứng với đầu vào xi. Thuật tốn huấn luyện MLP phổ biến nhất là thuật tốn lan truyền ngược lỗi (back-propagation training). Thuật tốn cĩ đầu vào là tập mẫu {(xi, ti)}, đầu ra là bộ trọng số của mạng. Các bước tiến hành huấn luyện như sau: 1/ Khởi tạo trọng số của mạng: wij được gán các giá trị ngẫu nhiên, nhỏ (nằm trong miền [-, ]). 2/ Với mỗi cặp (x,t) trong bộ dữ liệu huấn luyện: Giả sử x = (x1 , ..., xn). Ta thực hiện: 1. Lan truyền x qua mạng để cĩ y. 2. Tính sai số e của mạng: e=t-y. 3. Hiệu chỉnh các trọng số liên kết nơron dẫn tới lớp ra wij từ nơron j tại lớp ẩn tới nơron i tại lớp ra: wij = wij + wij (2.6) wij là trọng số giữa nơron i ở lớp trước và nơron j ở lớp sau. wij được tính theo cơng thức sau: wij=jyi (2.7)   là hằng số tốc độ học (learning rate), thường lấy bằng .  yi là đầu ra của nơron i (nếu i là nơron lớp input thì thay yi bằng xi).  j là sai số tại nơron j. Nếu j là nơron lớp ra (output layer) thì j được tính theo cơng thức j = yj(1-yj)(tj-yj) (2.8) Nếu j là nơron lớp ẩn thì được tính theo cơng thức: j = yj(1-yj) k jkk w (2.9) trong đĩ k là các các nơron của lớp sau lớp của j. Việc đưa mẫu huấn luyện qua mạng, tính tốn và cập nhật trọng số được tiến hành với tất cả phần tử trong bộ mẫu (cĩ thể chọn ngẫu nhiên hoặc tuần tự). Quá trình sẽ dừng lại khi sai số trung bình (hoặc tổng sai số) nhỏ hơn một giá trị cho trước hoặc thay đổi khơng đáng kể (tức là quá trình huấn luyện hội tụ). 28 2.3.4. Ưu điểm và nhược điểm của mạng nơron Các nghiên cứu cả về mặt lí thuyết và thực tế cho thấy mạng nơron cĩ những ưu điểm sau:  Cĩ thể xấp xỉ một hệ phi tuyến động (nonlinear dynamical system) với độ chính xác bất kì.  Cĩ khả năng miễn nhiễu (robustness) và chịu sai hỏng (fault tolerance) cao. Chẳng hạn mạng cĩ thể nhận các dữ liệu bị sai lệch hoặc khơng đầy đủ mà vẫn hoạt động được.  Cĩ khả năng thích ứng: mạng nơron cĩ thể “học” (learn) và “điều chỉnh” (adapt) trong quá trình hoạt động. Đây là điểm đáng chú ý nhất của mạng nơron trong nhận dạng tiếng nĩi. Đặc điểm này của mạng cho phép ta hi vọng xây dựng được một hệ nhận dạng cĩ thể “học tập” để nâng cao khả năng nhận dạng trong khi hoạt động.  Cĩ khả năng tổng quát hố (generalize) tốt và phân lớp (classify) mạng. Nhưng mạng nơron cũng khơng phải là cơng cụ vạn năng cho mọi vấn đề, vì chúng cũng cĩ nhiều nhược điểm:  Chỉ xử lý được các dữ liệu số. Cần tích hợp thêm nhiều thành phần khác (ví dụ: các hệ mờ, các bộ số hố...) để cĩ thể xử lí những dữ liệu phi số.  Hiệu năng của mạng phụ thuộc bộ dữ liệu huấn luyện. Để đảm bảo hiệu năng, mạng cần được huấn luyện với lượng dữ liệu lớn. Quá trình huấn luyện do đĩ rất dài. Mặt khác nếu bộ dữ liệu được chuẩn bị khơng tốt thì mạng cĩ khả năng tổng quát hố thấp.  Mạng nơron gần như là một “hộp đen” đối với các phân tích. Rất khĩ xác định được sự phân bố thơng tin và xử lý trên các phần tử của mạng.  Khơng cĩ một phương pháp chung nào để xác định cấu trúc mạng phù hợp từng bài tốn. Nhà nghiên cứu phải tiến hành thử nghiệm hoặc dựa vào kinh nghiệm để xác định.  Các thuật tốn huấn luyện hiện chưa đảm bảo tránh quá trình huấn luyện rơi vào một cực trị địa phương. Hơn nữa sai số huấn luyện giảm khơng đồng nghĩa với tăng hiệu năng hoạt động của mạng. Mạng cấu trúc lớn cài đặt bằng phần mềm trên máy tính hoạt động rất chậm. Việc xây dựng mạng nơron bằng phần cứng vẫn cịn đang được nghiên cứu. 2.4 Hệ mờ (Fuzzy System) Trong vài thập kỷ qua, các hệ mờ đã cĩ những thành tựu đáng kể trong nhiều lĩnh vực khác nhau của khoa học và cơng nghệ, đặc biệt là trong điều khiển và nhận dạng. Với khả năng lập luận hết sức hiệu quả trên một số lượng nhỏ các tập luật, cĩ thể nĩi Logic mờ là một cơng cụ đắc lực và hiệu quả của tiến trình tạo quyết định trong 29 lĩnh vực tài chính. Trong phần này, chúng tơi sẽ trình bày những vấn đề cơ bản liên quan tới việc xây dựng và sử dụng hệ mờ từ đĩ cĩ thể áp dụng để giải quyết bài tốn của chúng tơi ở chương tiếp theo. 2.4.1 Định nghĩa tập mờ Tập hợp nhĩm các đối tượng phân biệt. Khái niệm tập hợp đã trở thành khái niệm cơ bản trong tốn học. Ở đây chúng ta sẽ khơng nhắc lại các khái niệm cũng như tính chất của tập hợp mà sẽ đi ngay vào tập mờ. Trong lĩnh vực tài chính, chỉ số tài chính với các giá trị ngơn ngữ thấp, cao, trung bình hay với việc mua bán chứng khốn ta cĩ mua nhiều, bán ít, bán mạnh…Các giá trị này gây cảm giác phân vân cho người thiết kế bộ điều khiển nếu khơng đưa nĩ vào khái niệm tập mờ. Vì sao vậy? Giả sử chỉ số RSI là 70 thì cĩ người cho rằng đĩ là cao và quyết định mua nhiều, nhưng cĩ người thì cho rằng 70 chỉ là trung bình nên quyết định giữ khơng bán. Nhằm thống nhất hai quan điểm, ta sẽ đưa vào giá trị RSI một số thực trong khoảng [0,1] để đánh giá mức độ phụ thuộc của nĩ vào hai quan điểm nĩi trên. Chẳng hạn, giá trị 70 sẽ là cao với độ phụ thuộc 0.4 và trung bình với độ phụ thuộc là 0.6 Một cách tổng quát thì ta phải đưa thêm vào mỗi giá trị thực tế một số thực (x) trong khoảng [0,1] để đánh giá độ phụ thuộc của nĩ ứng với từng giá trị ngơn ngữ. Việc đưa thêm số thực (x) để đánh giá độ phụ thuộc như vậy được gọi là mờ hố giá trị rõ x. Ta cĩ định nghĩa: Định nghĩa: Tập mờ là một tập hợp mà mỗi phần tử cơ bản x của nĩ được gán thêm một giá trị thực (x)[0,1] để chỉ thị độ phụ thuộc của phần tử đĩ vào tập đã cho. Khi độ phụ thuộc bằng 0 thì phần tử cơ bản đĩ sẽ hồn tồn khơng thuộc tập đã cho, ngược lại với độ phụ thuộc bằng 1 thì phần tử cơ bản sẽ thuộc tập hợp với xác suất 100%. Như vậy, tập mờ là tập của các cặp (x,(x)). Tập kinh điển U của các phần tử x được gọi là tập nền của tập mờ. Cho x chạy khắp trong tập hợp U, ta sẽ cĩ hàm (x) cĩ giá trị là số bất kỳ trong khoảng [0,1] tức là: : U[0,1] và hàm này được gọi là hàm thuộc Việc (x) cĩ giá trị là số bất kỳ trong khoảng [0,1] là điều khác biệt cơ bản giữa tập kinh điển và tập mờ. Ở tập hợp A, hàm thuộc (x) chỉ cĩ hai giá trị 0 hoặc 1 ứng với x  A hay khơng. Chính do cĩ sự khác biệt đĩ mà ta cũng cĩ nhiều cơng thức khác nhau cùng mơ tả cho một phép tính giữa các tập mờ. Đĩ là những cơng thức cĩ cùng một giá trị nếu hàm thuộc (x) thoả mãn. 30 Bất cứ một hàm (x):U[0,1] cũng đều cĩ thể là hàm thuộc của một tập mờ nào đĩ. Nhưng trong điều khiển, với mục đích sử dụng các hàm thuộc sao cho khả năng tích hợp chúng là đơn giản, người ta chỉ quan tâm tới ba dạng hàm thuộc như trong hình 2- 4 Hình 2-4 Các dạng hàm thuộc Thơng thường, để chỉ một tập mờ người ta hay sử dụng ngay hàm thuộc (x) của tập mờ đĩ. Với việc đưa khái niệm tập mờ, mỗi một giá trị ngơn ngữ sẽ là một tập mờ. Trong ví dụ về chỉ số RSI, ta sẽ cĩ các tập mờ sau: Tập mờ cao(x) cho giá trị cao Tập mờ trung bình(x) cho giá trị trung bình Tập mờ thấp(x) cho giá trị thấp 2.4.2 Phép suy diễn mờ 2.4.2.1 Xác định giá trị của mệnh đề hợ thành Sau khi đã mờ hố giá trị rõ x thơng qua tập mờ (x) thì bước tiếp theo là ta phải thực hiện những nguyên tác điều khiển đã cho dưới dạng mệnh đề hợp thành. Chẳng hạn ta cĩ: IF RSI tăng trên 70 THEN BULLISH. IF RSI giảm dưới 70 THEN BEARISH. IF RSI tăng trên 50 THEN BULLISH. IF RSI giảm dưới 50 THEN BEARISH. IF RSI tăng trên 30 THEN BULLISH. IF RSI giảm dưới 30 THEN BEARISH (x) (x) (x) m0 m1 m2 m3 m1 m2 m3 m4 Singleton Tam giác Hình thang x x x 31 Chúng đều cĩ chung một cấu trúc đơn: IF A=X THEN B=Y (2.1) Gọi tập mờ của giá trị A là A(x) và của B là B(y) thì mệnh đề hợp thành chính là phép suy diễn : A B hay A(x)  B(y) (2.2) Phép suy diễn trên là một phép tính cĩ đối số x nên nĩ cũng phải cĩ một giá trị cụ thể khi mà đối số x, tức là A(x) đã cho trước. Ký hiệu giá trị của phép suy diễn là AB(y) thì trong logic mờ nĩ sẽ được tính từ A(x),B(y) như sau: AB(y) = A(x).B(y) (2.3a) hoặc AB(y) = min{A(x),B(y)} (2.3b) Cả hai cơng thức trên cùng được sử dụng cho tập thơng thường mà khơng gây mâu thuẫn là vì x và y thoả mãn (x) = 1 nếu x A, cả hai cơng thức đều cho cùng một giá trị, nĩi cách khác là chúng tương đương. Với tập mờ A(x),B(y) thì điều đĩ cĩ khác đơi chút. Hai cơng thức sẽ cho hai giá trị mờ cĩ cùng nền với tập mờ B nhưng với hai hàm thuộc khác nhau. Việc chọn hàm nào là người dùng quyết định : Nếu chọn cơng thức 2.3a thì ta nĩi phép suy diễn mờ đĩ là luật suy diễn Prod Nếu chọn cơng thức 2.3b thì ta nĩi phép suy diễn mờ đĩ là luật suy diễn Min Sau khi đã chọn được một cơng thức thực hiện phép suy diễn là Prod hay Min thì khi cho trước giá trị rõ x0 ở đầu vào ta luơn cĩ được một giá trị cho phép suy diễn AB. Giả sử giá trị đĩ là tập mờ cĩ hàm thuộc AB(y) cùng nền với B và được tính như sau : Nếu chọn luật Prod AB(y)=H.B(y) (2.4a) Nếu chọn luật Min AB(y)=min{H,B(y)} (2.4b) Trong đĩ H=A(x0) được gọi là độ thoả mãn đầu vào. Ngồi cấu trúc đơn cịn cĩ cấu trúc dạng : IF A1=X1 AND A2=X2...AND An=XnTHEN B=Y (2.5) Cấu trúc này cĩ nhiều đầu vào- một đầu ra và cĩ tên là MISO Ở mệnh đề đơn chỉ cĩ một đầu vào cịn ở mệnh đề MISO cĩ nhiều tập mờ đầu vào. Điều này làm cho ta chưa thể sử dụng ngay một trong hai cơng thức 2.4a hoặc 2.4b để xác định giá trị mờ AB(y) vì chưa cĩ được một độ thoả mãn đầu vào H cụ thể. Nĩi cách khác, trước khi sử dụng hai cơng thức suy diễn 2.4a hoặc 2.4b cho mệnh 32 đề hợp thành 2.5 ta phải cĩ được độ thoả mãn đầu vào H chung làm đại diện cho tất cả m tín hiệu vào. Gọi Ak(xk) là những hàm thuộc của tập mờ đầu vào Ak, k=1,2,…,m ứng với m tín hiệu vào là k , k=1,2,..,m và B(y) là hàm thuộc của tập B ứng với đầu ra B của bộ điều khiển MISO, trong đĩ xk là tín hiệu cĩ ở cổng vào k, tức là giá trị của nĩ sẽ thuộc tập nền của tập mờ Ak. Giả sử rằng tại đầu vào của bộ điều khiển cĩ các giá trị rõ x0k, k=1,2,...,m. Vậy thì mỗi một tập mờ Ak sẽ cĩ một độ thoả mãn riêng Hk=Ak(x0k) Độ thoả mãn đầu vào chung H cho cả mệnh đề hợp thành MISO (2.5) khi đĩ sẽ được xác định theo nguyên tắc tình huống xấu nhất như sau : H=min{H1,H2,...,Hm}=min Ak(x0k) Khi đã cĩ độ thoả mãn đầu vào chung H thì tập mờ AB(y) của mệnh đề (2.5) ứng với vector các giá trị rõ đầu vào x0k , k=1,2,..,m sẽ được tính theo cơng thức (2.4a) hoặc (2.4b): Nếu chọn luật Prod AB(y) = min Ak(xk0).B(y) (2.6a) Nếu chọn luật Min AB(y)= min {min Ak(xk0), B(y)} (2.6b) 2.4.2.2 Phép tính suy diễn mờ Ở trên ta đã làm quen với các cơng thức cho mệnh đề hợp thành SISO và cho mệnh đề hợp thành MISO, phục vụ cho việc xác định kết quả của mệnh đề (phép suy diễn) Khơng bĩ buộc bởi các cơng thức đĩ, một cách tổng quá về phép tính suy diễn, mọi ánh xạ AB :[0,1]2 [0,1], nếu thoả mãn: AB(H, B) H với mọi H, B [0,1] AB(H, B) AC(H, C) với mọi B  C và H [0,1] AB(H1, B) AC(H2, B) với mọi H1  H2 và B [0,1] AB(H, B) = 0 với mọi B [0,1] AB (0,1) = 0 đều cĩ thể sử dụng để làm hàm thuộc mơ tả cho phép tính suy diễn. 2.4.3 Phép hợp mờ Ta cần phép hợp mờ của các tập mờ để cĩ thể xác định được giá trị của một tập luật hợp thành gồm cĩ nhiều mệnh đề hợp thành. 33 2.4.3.1 Xác định giá trị của luật hợp thành Xét luật hợp thành gồm n mệnh đề hợp thành: R1: IF A1 = X11 AND … AND Am=X1m THEN B=Y1 hoặc R2: IF A1 = X21 AND … AND Am=X2m THEN B=Y2 hoặc … Rn: IF A1 = Xn1 AND … AND Am=Xmn THEN B=Yn Nếu vector các giá trị rõ đầu vào x0k, k=1,2,..,n là đã biết trước thì theo cơng thức (2.6a) hoặc (2.6b), mỗi một mệnh đề hợp thành trong luật hợp thành trên sẽ cĩ một giá trị là một tập mờ Ri với hàm thuộc Ri(y)=AiB(y), i=1,2,..,n. Vì luật hợp thành đang xét cĩ n mệnh đề hợp thành nên ta cũng cĩ n tập mờ Ri. Vấn đề đặt ra là từ n tập mờ Ri, i=1,2,..,n đĩ ta phải xác định được tập mờ kết quả chung R cho tồn bộ luật hợp thành theo phép tính hợp các tập hợp Ri  n i RiR 1  (2.7) Lý do cho việc sử dụng phép hợp là vì các mệnh đề hợp thành trong một luật hợp thành được liên kết với nhau bằng tốn tử “hoặc”. Giống như đã làm với phép suy diễn, để thực hiện cơng thức (2.7) cho n tập mờ Rq, ta bắt đầu với tập kinh điển. Cho hai tập kinh điển A và B, gọi A(y) và B(y) là những hàm thuộc của chúng. Tập AB là kết quả hợp của hai tập trên sẽ cĩ hàm thuộc AB(y) =    0 1 nếu y A bằng một trong hai cơng thức : AB(y) =max(A(y), B(y) ) (2.8a) AB(y) =min(A(y) + B(y) ) (2.8b) vì chúng tương đương Khi A và B khơng là tập kinh điển mà là hai tập mờ thì do các hàm thuộc A(y)và B(y) của chúng khơng cịn là hàm hai trị tại 0 và 1 nên tính tương đuơng của (2.8a) và (2.8b) cũng mất. Ta phải quyết định chọn sử dụng cơng thức nào: Nếu sử dụng cơng thức (2.8a) thì ta nĩi phép hợp các tập mờ đã được thực hiện theo luật Max. Nếu sử dụng cơng thức (2.8b) thì ta nĩi phép hợp các tập mờ đã được thực hiện theo luật Sum. 34 2.4.3.2 Phép tích hợp các tập mờ Ở trên ta đã giới thiệu hai cơng thức tính hợp của các tập mờ. Một cách tổng quát thì mọi hàm  :[0,1]2 [0,1], đều cĩ thể được sử dụng để xác định hàm thuộc cho AB nếu chúng thoả mãn : a) (x,y)=(y,x) b) (x,y)(u,v) nếu xu và yv c) (x,(y,z)) = ((x,y,z)) d) (0,x) = x trong đĩ x,y,u,v,z [0,1] 2.4.4 Giải mờ Sau khi tính xong giá trị luật hợp thành ta thu được kết quả là tập mờ R(y). Kết quả đĩ chưa thể là một giá trị thích hợp để điểu khiển. Cơng việc của chúng ta là phải xác định một giá trị rõ y0 từ tập mờ R(y) của nĩ, đĩ là việc giải mờ. Giá trị rõ y0 xác định được cĩ thể xem như "phần tử đại diện xứng đáng" cho tập mờ. Căn cứ những quan niệm khác nhau về phần tử đại diện xứng đáng mà ta sẽ cĩ các phương pháp giải mờ khác nhau. Người ta thường sử dụng hai phương pháp chính, đĩ là: phương pháp điểm cực đại và phương pháp điểm trọng tâm. 2.4.4.1 Phương pháp điểm cực đại Tư tưởng chính của phương pháp này là tìm trong tập mờ cĩ hàm thuộc R(y) một phần tử rõ y0 với độ phụ thuộc lớn nhất( cĩ xác suất thuộc tập mờ lớn nhất trong số những phần tử cịn lại), tức là : y0=arg max R(y) (2.9) Tuy nhiên, do việc tìm y0 theo 13 cĩ thể đưa đến vơ số nghiệm nên ta cần đưa thêm những yêu cầu cho phép chọn trong số các nghiệm đĩ một giá trị y0 cụ thể chấp nhận được. Như vậy, việc giải mờ theo phương pháp cực đại sẽ gồm hai bước : Xác định miễn chứa giá trị rõ y0. Giá trị này là giá trị mà tại đĩ hàm thuộc đạt giá trị cực đại G={y Y | R(y)=H} Xác định y0 cĩ thể chấp nhận đc từ G Trong trường hợp cĩ vơ số nghiệm thì để tìm y0 ta cĩ hai cách : 1) Xác định điểm trung bình y0= 2 21 yy  35 Nếu các hàm thuộc đều cĩ dạng tam giác hoặc hình thang thì điểm y0 xác định theo phương pháp này sẽ khơng quá bị nhạy cảm với sự thay đổi của giá trị rõ đầu vào x0 do đĩ rất thích hợp với các bài tốn cĩ nhiều biên độ nhở ở đầu vào. 2) Xác định điểm cận trái hoặc phải y0=inf(y) yG hoặc y0 = sup(y) yG Theo phương pháp giải mờ này, nếu các hàm thuộc đều cĩ dạng tam giác hoặc hình thang thì điểm y0 sẽ phụ thuộc tuyến tính(trong một lân cận) vào giá trị rõ x0 tại đầu vào Hình 2-5 Giải mờ bằng phương pháp cực đại 2.4.4.2 Phương pháp điểm trọng tâm Phương pháp điểm trọng tâm sẽ cho ra kết quả y0 là hồnh độ của điểm trọng tâm miền được bao bởi trục hồnh và đường R(y) y0=   S R S R dyy dyyy )( )(   (2.10) Với S=supR(y)={y|R(y)0} là miền xác định của tập mờ R Hình 2-6 Giải mờ bằng phương pháp điểm trọng tâm R(y) R(y) y0 y0 y0 y1 y2 H y R(y) y R(y) G H 36 Đây là phương pháp hay được sử dụng nhất. Nĩ cho phép ta xác định giá trị y0 với sự tham gia của tất cả các tập mờ đầu ra của luật điều khiển một cách bình đẳng và chính xác. Tuy nhiên phương pháp này lại khơng để ý được tới toạ độ thoản mãn của mệnh đề điều khiển cũng như thời gian tính lâu. Ngồi ra nĩ cịn cĩ nhược điểm là giảtị yo xác định lại cĩ độ thuộc nhỏ nhất, thậm chí bằng 0. 2.4.5 Hệ suy diễn mờ Hình 2-7 Hệ suy diễn mờ Hệ suy diễn mờ cịn được gọi là hệ dựa trên tập luật mờ, mơ hình mờ. Về căn bản một hệ suy diễn mờ được hợp thành từ năm khối được mơ tả như hình trên. 1) Một bộ luật cơ sở bao gồm một số các luật dạng if-then 2) Cơ sở dữ liệu dùng để định nghĩa các hàm thuộc của các tập mờ được sử dụng trong các luật mờ 3) Khối tạo quyết định thực hiện các thao tác suy diễn dựa trên các luật 4) Bộ mờ hố được dùng để chuyển các giá trị đầu vào sang các mức hợp với với giá trị khơng rõ của ngơn ngữ 5) Bộ giải mờ chuyển các kết quả mờ của việc suy diễn sang các giá trị đầu ra rõ Thơng thường luật cơ sỏ và cơ sở dữ liệu được kết hợp và gọi chung là cơ sở tri thức. Các bước của suy diễn được thực hiện bởi hệ suy diễn mờ:  So sánh các biến đầu vào với các hàm thuộc dựa vào phần tiên đề để xác định các giá trị thuộc của từng nhãn trong ngơn ngữ tự nhiên. (Bước này thường được gọi là mờ hố)  Kết hợp các giá trị thuộc để cĩ được trọng lượng của từng luật Khối tạo quyết(3) Cơ sở tri thức CSDL(2) Luật cơ sở(1) Giải mờ(5) Mờ hố(4) Đầu vào Đầu ra (rõ) (rõ) (mờ) (mờ) 37  Sinh các kết quả thoả mãn (cả mờ và rõ) cho từng luật dựa vào trọng lượng.  Kết hợp các kết quả thoả mãn để cĩ được đầu ra rõ (bước này được gọi là mờ hố). Kết luận Chương này đã giới thiệu tổng quan về khai phá dữ liệu, phân lớp và các phương pháp phân lớp hay dùng hiện nay. Chúng tơi đã giới thiệu khá chi tiết về mạng nơron và hệ mờ. Đây chính là các kiến thức chính để xây dựng mơ hình ở các chương sau. 38 Chương 3 - MƠ HÌNH PHÂN TÍCH RỦI RO TÀI CHÍNH 2.1 Sơ lược về mơ hình Chúng tơi đã xây dựng mơ hình dựa trên việc kết hợp phân lớp bằng mạng nơron với logic mờ và phân tích kỹ thuật. Sự kết hợp này sẽ cho ta một hệ hỗ trợ quyết định với kết quả cuối cùng là hành động mua, bán, hoặc giữ lại một loại cổ phiếu nào đĩ. Sơ đồ tĩm tắt các thành phần chính của mơ hình của chúng tơi được trình bày trong hình 3-1 dưới đây. Hình 3-1 Mơ hình đề xuất Dữ liệu Luật cơ sở Hành động mua bán Lựa chọn đặc trưng Phân lớp dữ liệu Biểu đồ + Phân tích kỹ thuật Hệ hỗ trợ quyết định 39 Mơ hình đề xuất gồm hai mơ đun: - Phân lớp dữ liệu nhằm đánh giá và dự báo rủi ro trong kinh doanh. - Xây dựng hệ hỗ trợ quyết định nhằm đánh giá và hỗ trợ người dùng. 2.2 Phân lớp dữ liệu - Thiết kế mạng nơron Cơng việc của chúng ta khơng đơn thuần chỉ là đánh giá và dự báo rủi ro của một cơng ty duy nhất mà là đánh giá rủi ro một tập hợp các cơng ty. Do đĩ, trước hết chúng ta thực hiện cơng việc phân lớp các cơng ty và dự báo rủi ro trong thời gian tiếp theo. Việc thiết kế một mạng nơron dự báo thành cơng dữ liệu tài chính là một cơng việc phức tạp bao gồm các bước sau: - Chọn biến - Thu thập dữ liệu - Tiền xử lý dữ liệu - Phân hoạch dữ liệu - Thiết kế mạng nơron - Huấn luyện mạng - Thực hiện phân tích dữ liệu 2.2.1 Chọn loại dữ liệu đầu vào Dữ liệu tài chính cĩ rất nhiều biến, trong phạm vi dự báo đánh giá rủi ro dựa trên lĩnh vực kinh doanh chứng khốn chúng ta chỉ chọn một số biến sau: - Ticker: mã cơng ty - Date: Ngày giao dịch - Open: giá mở cửa - High: giá cao trong ngày - Close: giá đĩng cửa - Low: giá thấp nhất trong ngày. Ngồi ra, cịn các biến đặc trưng trong báo cáo tài chính làm dữ liệu đầu vào và một số thơng tin liên quan tới cơng ty như tên cơng ty, cơng ty thuộc ngành nào… 2.2.2 Thu thập dữ liệu Thu thập dữ liệu: dữ liệu tài chính gồm các báo cáo tài chính như: bảng cân đối kế tốn, báo cáo kết quả kinh doanh, báo cáo lưu chuyển tiền tệ, ngồi ra cịn các giao dịch. Các dữ liệu này được cơng bố trên các sàn cũng như các trang giao dịch chứng khốn. Các báo cáo tài chính cĩ số liệu đã được các tổ chức kiểm tốn kiểm tra. Trên 40 thế giới dữ liệu giao dịch cũng như báo cáo tài chính đã được chuẩn hố, tuy nhiên ở việt nam dữ liệu này chưa được chuẩn hố. Do đĩ quá trình thu thập dữ liệu là tương đối tốn kém thời gian. 2.2.3 Tiền xử lý dữ liệu Trên thực tế, dữ liệu tài chính trên các thị trường chứng khốn là khơng minh bạch. Khơng minh bạch ở đây cĩ nghĩa: - Khơng đầy đủ: thiếu giá trị thuộc tính, thiếu thuộc tính cần quan tâm … - Nhiễu: chứa lỗi hoặc thơng tin ngồi luồng - Mâu thuẫn: chứa các mâu thuẫn giữa mã và tên Do đĩ, chúng ta cần chuẩn hố dữ liệu trước khi khai thác và sử dụng dữ liệu này: Dữ liệu tài chính được đưa vào cơ sở dữ liệu dưới dạng các bảng đã được chuẩn hố cĩ cấu trúc được trình bày chi tiết trong phụ lục C Trong đĩ, bảng Quotes chứa dữ liệu giao dịch trong từng này, luận văn đã thu thập được dữ liệu giao dịch từ năm 2002 tới thời điểm hiện tại Bảng Balances, Cashflows, Incomes chứ dữ liệu báo cáo tài chính theo quý hoặc theo năm. Cụ thể: Bảng cân đối kế tốn (Balances): cho biết nguồn vốn, tiền, tài sản cố định của doanh nghiệp. Bảng báo cáo kết quả hoạt động kinh doanh (Incomes): cho biết doanh thu và chi phí trong hoạt động kinh doanh, bán hàng, quản lý doanh nghiệp… Bảng báo cáo lưu chuyển tiền tệ (Cashflows): liên qua tới thơng tin luồng tiền lưu chuyển như thế nào. Bảng Cơng ty (Companies): Mơ tả các thơng tin về cơng ty như mã niêm yết trên sàn chứng khốn, cơng ty thuộc ngành nào. Hình 3-2 Mồ hình thực thể liên kết 41 2.2.4 Phân hoạch dữ liệu Sau khi chuẩn hố dữ liệu, chúng ta chia dữ liệu thành ba tập: tập huấn luyện (train set), tập validation và tập kiểm tra (test dataset). Tập huấn luyện là tập lớn nhất được sử dụng bởi mơ hình để học các mẫu trong tập dữ liệu. Tập validation cĩ kích cỡ chiếm khoảng 10%-30% của tập huấn luyện, nĩ được dùng để ước lượng khả năng khái quát hố của một mạng theo giả thiết được huấn luyện. Việc kiểm tra cuối cùng được thực hiện trên tập test. Mơ hình phân lớp dữ liệu huấn luyện thành hai lớp: tốt và xấu. Lớp tốt tương ứng với các giao dịch trong khoảng thời gian nhất định cĩ hiệu suất tốt Hiệu suất được tính theo cơng thức Perfomance=(FurtureQuote-PresentQuote)/PresentQuote (3.1) Trong đĩ: PresentQuote là giá đĩng cửa hiện tại FurtureQuote là giá đĩng cửa trong tương lai Hiệu suất là “Tốt” nếu Performance >0 Hiệu suất là “Xấu” nếu Performance <0 Sau đĩ dữ liệu được phân hoạch cho các tập train và tập test 2.2.5 Thiết kế và huấn luyện mạng Nơron Số lượng lớp ẩn: mạng đa lớp được chọn sử dụng 2 lớp Việc huấn luyện dữ liệu cĩ nhiều phương pháp như đã giới thiệu ở chương 2. Ở đây chúng ta sử dụng kỹ thuật mạng nơron và thuật tốn back-progapation được chọn để sử dụng bởi nĩ cĩ nhiều ưu điểm. Mạng Nơron được sử dụng là mạng đa lớp gồm 2 perceptron. Các tham số của mạng gồm: tốc độ học, số lượng nút ẩn, số vịng lặp tối đa. Kết quả huấn luyện sẽ cho ra các độ chính xác: dự báo macro, micro, F1… Sau khi chọn được kết quả huấn luyện tốt nhất, chúng ta chuyển sang phân tích dữ liệu mẫu để dự báo 2.2.6 Phân tích dữ liệu Dữ liệu cần phân tích là mẫu của các cơng ty chưa được gán nhãn trong quí tới. Dữ liệu này cĩ thể là dữ liệu theo quí hoặc dữ liệu theo năm. Kết thúc phân tích dữ liệu các mẫu sẽ được gán nhãn phân thành chia thành hai lớp: xấu và tốt. 42 Ngồi ra, chúng ta cịn lấy thêm thơng tin là hạng (rank) của từng cơng ty nhằm phục vụ cho việc xây dựng tập luật cơ sở của hệ hỗ trợ quyết định trong mục sau. 2.3 Xây dựng tập luật từ phân tích kỹ thuật Phân tích kỹ thuật tìm kiếm các mẫu, các xu thế và các hệ số khác trong các chuỗi giá, từ đĩ cĩ thể dự đốn hiệu quả của trong tương lai và sau đĩ đưa ra quyết định mua hay bán dựa trên các hệ số này. Các hệ số này thường cĩ được từ các dữ liệu trong quá khứ theo một lý thuyết đặc biệt dựa trên kinh nghiệm. Mặc dù vẫn cĩ những tranh cãi về hiệu quả của phân tích kỹ thuật, nhưng nhiều nghiên cứu đã chỉ ra rằng phân tích kỹ thuật cĩ khả năng dự báo tương đối mạnh, hơn hẳn các chiến lược mua- bán và các phương pháp thống kê. Mục đích của mục này là từ những kiến thức của các chuyên gia trong lĩnh vực tài chính xây dựng nên một hệ thống thương mại cĩ hỗ trợ quyết định. Hệ thống dùng phân tích kỹ thuật như là đầu vào. Bốn chỉ số kỹ thuật được sử dụng cho việc dự báo là: - Commodity Channel Index (CCI), - Relative Strength Index (RSI), - Moving Average Convergence and Divergence (MACD) - Bollinger Band. Below. 2.3.1 Phân kỳ và hội tụ của đường trung bình di động Cơng cụ chỉ báo MACD do Gernald Appel[10] phát triển, nĩ là một bộ tạo dao động được cải tiến dựa trên cách tiếp cận sự trung bình di chuyển đơn giản. Đường MACD được tính bằng cách lấy hai đường trung bình di chuyển mũ của giá đĩng cửa Đường MACD tiêu chuẩn hình thành từ trung bình di động 12 ngày và trung bình di động 26 ngày.Thơng thường, đường MACD 9 ngày được sử dụng như đường so sánh. Giao của đường MACD với đường so sánh thường dùng để chỉ ra tín hiệu mua-bán. Các luật cho MACD như sau: 1. IF MACD ở trên đường tín hiệu THEN BUY. 2. IF MACD ở dưới đường tín hiệu THEN SELL. Tuy nhiên giá trị của đường MACD cũng dao động lên trên vào xuống dưới đường zero. Đĩ là nơi nĩ bắt đầu tương đồng với một dao động. Tình trạng mua quá mức được thể hiện khi đường này nằm trên đường zero và ngược lại nếu nĩ nằm dưới đường zero thì đĩ là tình trạng bán quá mức. Ta cĩ thể cĩ luật sau: 1. IF MACD trên 0 THEN OVERBUY. 2. IF MACD dưới 0 THEN OVERSELL. 43 2.3.2 Chỉ số kênh giá hàng hố - The Commodity Channel Index (CCI) Chỉ số kênh giá hàng hố được xây dựng bởi Donal R.Lamber[10] bằng cách so sánh giá cả hiện tại với trung bình di động trên một khoảng thời gian được chọn- thường là 200 ngày. Sau đĩ chuẩn hố giá trị dao động bằng cách sử dụng một số chia dựa trên độ lệch trung bình. Kết quả là, chỉ số CCI biến động trong một giới hạn khơng đổi từ cận dưới -100 tới cận trên +100 (thỉnh thoảng cĩ thể là -200 và +200). Các nhà phân tích kỹ thuật sử dụng chỉ số CCI như là dao động mua/bán quá mức (oversold/overbought). Khi CCI vượt trên +100 thì được xem là mua quá mức, tương tự khi CCI dưới -100 thì được xem là bán quá mức. CCI được tính bằng cách sử dụng giá tiêu biểu (typical price-TP),đĩ là giá trị trung bình của các giá cao, thấp và đĩng trên một giá ngày. Sau đĩ tính trung bình di động của giá tiêu biểu cho khoảng thời gian N (MATP). Tiếp theo, trung bình sai (MD) được tính bằng cách lấy trung bình giữa giá tiêu biểu trong khoảng thời gian N- ngày và giá tiêu biểu khoảng thời gian mới nhất đã được làm trơn. Cuối cùng CCI được tính bằng cơng thức: [8] MDc MATPTPCCI    3.2 Trong đĩ hằng số c thường được chọn là 0.015. Các luật phân lớp thị trường với chỉ số CCI như sau: 1. IF CCI tăng trên 100 THEN BULLISH. 2. IF CCI giảm dưới 100 THEN BEARISH. 3. IF CCI tăng trên -100 THEN BULLISH 4. IF CCI giảm dưới -100 THEN BEARISH. 2.3.3 Chỉ số cường độ tương đối - Relative Strength Index (RSI) Chỉ số cường độ tương đối được phát triển bởi J. Welles Wilder, cũng được dùng như dao động mua/bán quá mức. Cơng thức tính như sau: [8] '1 100 RS RSRSI   3.3 trong đĩ RS trung bình giá đĩng cửa tăng và trung bình giá đĩng cửa giảm trong khoảng thời gian N. Cơng thức tính RSI cho ta một khoảng giới hạn từ 0 đến 100, nĩ giải quyết vấn đề của những dịch chuyển bất thường và giải quyết nhu cầu về một biên độ giới hạn trên và dưới khơng đổi. RSI biểu diễn mặt chia đứng từ 0 tới 100. Những dịch chuyển ở trên mức 70 được xem là mua quá mức trong khi tình trạng bán quá mức là những dịch chuyển dưới 30. Các luật phân lớp cho chỉ số này như sau: 44 1. IF RSI tăng trên 70 THEN BULLISH. 2. IF RSI giảm dưới 70 THEN BEARISH. 3. IF RSI tăng trên 50 THEN BULLISH. 4. IF RSI giảm dưới 50 THEN BEARISH. 5. IF RSI tăng trên 30 THEN BULLISH. 6. IF RSI giảm dưới 30 THEN BEARISH. 2.3.4 Dải băng Bollinger Dải băng Bollinger so sánh các mức giá khơng ổn định và tương đối qua một khoảng thời gian. Tính khơng ổn định được đo như dịch chuyển chuẩn của giá chứng khốn. Ba tín hiệu của chỉ tiêu kỹ thuật này tạo nên một dải trùm lên các chuỗi thời gian. Đường giữa của dải Bollinger được tính bằng việc lấy đường trung bình trượt (MA) của chuỗi giá. Các mức giá được xem là mua quá mức khi chúng đụng lên dải băng trên và được xem là bán quá mức nếu chúng đụng dải băng dưới. Các luật phân lớp thị trường sử dụng dải Bollinger Bands như sau. 1. IF Price tăng trên đường Bollinger bên trên THEN BULLISH. 2. IF Price giảm xuống dưới đường Bollinger bên trên THEN BEARISH. 3. IF Price tăng lên trên đường Bollinger giữa THEN BULLISH. 4. IF Price giảm xuống dưới đường Bollinger giữa THEN BEARISH. 5. IF Price tăng lên trên đường Bollinger dưới THEN BULLISH. 6. IF Price giảm xuống dưới đường Bollinger dưới THEN BEARISH. 2.4 Kết hợp phân tích kỹ thuật với logic mờ và mạng nơron Hệ thống dựa trên các luật mờ được xây dựng ở mục trên. Nhìn chung các luật với ngưỡng cứng được thay bởi các luật với ngưỡng mờ. Hệ thống suy diễn mờ Mamdani sẽ thực hiện việc này. Đầu vào của hệ thống là các chỉ số kỹ thuật và rank của cơng ty, đầu ra của hệ thống sẽ là một tín hiệu mua hoặc bán và cĩ thể là giữ. Hệ thống gồm một số mơ đun được minh hoạ trong hình. 45 Hình 3-3 Hệ suy diễn mờ 2.4.1 Mơ đun chỉ số kỹ thuật Đầu vào của hệ thống là một chuỗi giá chứng khốn với tần suất tuần. Dữ liệu này được đưa vào mơ đun chỉ số kỹ thuật, sau đĩ tính tốn các chỉ số như MACD, RSI, CCI, BB cho các chuỗi dữ liệu này. Các kiến thức chuyên gia sau đây liên quan tới các chỉ số kỹ thuật, chỉ số MACD là chỉ số quyết định cho việc mua và bán. Chỉ số RSI và CCI sử dụng để xác định mức độ mua bán, chẳng hạn mua mạnh, bán mạnh, hay đơn thuần chỉ là mua bán bình thường. Ngồi ra, chúng ta cịn sử dụng hạng của cơng ty để kết quả được chính xác hơn. Các tham số cho các chỉ số kỹ thuật được xác định theo nguyên tắc mặc định trong phân tích kỹ thuật. Ví dụ với chỉ số MACD, 12 và 26 ngày được sử dụng như là di chuyển trung bình ngắn hạn và dài hạn. Chỉ số RSI sử dụng khoảng thời gian là 20, tương tự với chỉ số CCI và cĩ thêm c=0.015 Mơ đun chỉ tiêu kỹ thuật Đầu vào FIS mới Các chỉ số kỹ thuật Giá chứng khốn Hệ suy diễn mờ Tín hiệu Mua/Bán Luật Hạng (Rank) Mơ đun hội tụ 46 2.4.2 Mơ đun hội tụ Mơ đun này cĩ nhiệm vụ chuyển các chỉ số kỹ thuật và hạng của cơng ty thành các biến đầu vào của hệ suy diễn mờ. Ví dụ sự khác biệt của tín hiệu MACD với tín hiệu so sánh được tính tốn để sử dụng như là đầu vào của hệ suy diễn mờ. Các biến đầu vào cho hệ thống suy diễn mờ được tổng kết như sau: Bảng 3-1 Miền giá trị của các tham số Biến Ý nghĩa Miền giá trị RANK Hạng của cơng ty [-1,1] MACD Chỉ số MACD [-2,2] RSI Chỉ số RSI tại thời điểm t [0,100] RSI1 Chỉ số RSI tại thời điểm t-1 [0,100] CCI Chỉ số CCI tại thời điểm t [-200,200] CCI1 Chỉ số CCI tại thời điểm t-1 [-200,200] BB Chỉ số BB tại thời điểm t [0,100] BB1 Chỉ số BB tại thời