ROOT MEAN SQUARE ERROR LÀ GÌ
Machine learning (Học máy) là một ứng dụng của trí tuệ nhân tạo (AI) hỗ trợ cho các khối hệ thống khả năng auto học hỏi và cải thiện từ kinh nghiệm tay nghề mà không cần phải lập trình rõ ràng.
Bạn đang xem: Root mean square error là gì
Một trong số những phần khó trong Học đồ vật là đánh giá hiệu suất của mô hình. Vậy làm phương pháp nào để tính toán sự thành công của một mô hình học máy? Làm cố nào chúng ta biết lúc nào nên ngừng việc đào tạo và giảng dạy và đánh giá và điện thoại tư vấn nó là tốt? Và nên chọn số liệu làm sao để reviews mô hình? Trong bài viết này, shop chúng tôi sẽ cố gắng giải đáp hồ hết điều này.
Giới thiệuMột khía cạnh đặc trưng của các thước đo reviews là kỹ năng phân biệt thân các kết quả của mô hình. Đánh giá giúp cho bạn hiểu thêm về mô hình của mình. Nó cho biết thêm liệu mô hình của người tiêu dùng đã ghi lưu giữ hay vẫn học. Điều này rất quan trọng nếu mô hình của khách hàng chỉ ghi lưu giữ thay vị học, quy mô sẽ chỉ hoạt động tốt đối với dữ liệu đang được huấn luyện và giảng dạy và làm cho cho mô hình không hiệu quả.
Để bảo đảm an toàn rằng tế bào hình của khách hàng biết được điều quan trọng là sử dụng nhiều số liệu đánh giá để nhận xét mô hình. Cũng chính vì một quy mô có thể chuyển động tốt khi sử dụng một vài liệu reviews trong khi hiệu suất có thể giảm đối với một số liệu đánh giá khác. Việc thực hiện nhiều chỉ số đánh giá là rất đặc biệt trong việc bảo đảm rằng tế bào hình của công ty đang hoạt động đúng mực và buổi tối ưu.
Tại sao review là cần thiết cho mô hình thành công?Overfitting cùng Underfitting là hai vì sao lớn tốt nhất dẫn đến hiệu suất kém của những thuật toán học máy.
Overfitting: xảy ra khi mô hình hoạt động tốt so với một tập phù hợp dữ liệu rõ ràng (Dữ liệu sẽ biết) và vì đó có thể không tương xứng với dữ liệu bổ sung cập nhật (Dữ liệu không xác định).
Underfitting: xẩy ra khi quy mô không thể thâu tóm đầy đủ cấu trúc cơ phiên bản của dữ liệu.
Tổng quát hóa: đề cập tới mức độ áp dụng của những khái niệm được học bởi vì một quy mô học máy so với các ví dụ ví dụ mà quy mô không nhận thấy khi nó sẽ học.
Có các số liệu khác biệt cho các nhiệm vụ phân loại, hồi quy, xếp hạng, phân cụm, quy mô hóa chủ đề, v.v. Một trong những số liệu như sau:
Các chỉ số phân nhiều loại (accuracy, precision, recall, F1-score, ROC, AUC, …)Chỉ số hồi quy (MSE, MAE)Chỉ số xếp hạng (MRR, DCG, NDCG)Số liệu những thống kê (Correlation)Các chỉ số thị giác máy vi tính (PSNR, SSIM, IoU)Các chỉ số NLP (Perplexity, BLEU score)Các chỉ số tương quan đến Deep Learning Inception score, Frechet Inception distance)Lưu ý: Để làm rõ hơn, tôi đang lên kế hoạch triệu tập vào các chỉ số Phân các loại và Hồi quy trong nội dung bài viết này.1. Những chỉ số phân loại
Số liệu phân loại
Khi tiến hành các dự kiến phân loại, gồm bốn loại kết quả rất có thể xảy ra:
True positives (TP) là khi bạn dự đoán một quan gần kề thuộc về một lớp với nó thực sự thuộc về lớp đó.True Negative (TN) là khi bạn dự đoán một quan ngay cạnh không thuộc về một lớp cùng nó đích thực không nằm trong lớp đó.False Positive (FP) xảy ra khi bạn dự đoán một quan tiếp giáp thuộc về một lớp trong khi thực tiễn thì không.False Negative (FN) xảy ra khi bạn dự đoán một quan sát không nằm trong về một phần trong khi thực tiễn là nó có.Bốn kết quả này thường được vẽ bên trên một ma trận nhầm lẫn. Ma trận lầm lẫn sau đấy là một ví dụ đến trường thích hợp phân loại nhị phân. Các bạn sẽ tạo ma trận này sau khi đưa ra dự đoán trên tài liệu thử nghiệm của chính bản thân mình và sau đó xác định từng dự đoán là một trong những trong bốn kết quả hoàn toàn có thể được biểu hiện ở trên.
Ba thước đo chính được thực hiện để review một mô hình phân các loại là accuracy, precision với recall.
1.1. Accuracy
Accuracy là 1 trong thước đo để nhận xét các quy mô phân loại. Về phương diện hình thức, accủacy có thể được khái niệm là số lần dự kiến đúng bên trên tổng tần số dự đoán.
Viết điều đó theo True Positive cùng True Negative: Tỷ lệ tỷ lệ trường hợp tích cực và lành mạnh trong tổng cộng trường vừa lòng tích cực thực tiễn . Vì đó, chủng loại số ( TP + FN) ở đây là số lượng thực tế các trường hòa hợp dương có trong tập dữ liệu.
1.2 Precision & Recall
Precsion (còn được điện thoại tư vấn là giá chỉ trị dự đoán dương) là phần bé dại của những trường hợp có liên quan trong các các trường thích hợp được tầm nã xuất, trong những lúc Recall (còn được hotline là độ nhạy) là phần của những trường đúng theo có liên quan đã được truy tìm xuất. Vị đó, cả độ đúng mực và tịch thu đều dựa trên mức độ liên quan.
Trong phân loại, Precision là số lượng trường hợp tích cực thực sự (TP) trong tổng cộng trường thích hợp được gắn nhãn là ở trong lớp tích cực.
Recall là số lượng các trường hòa hợp dương thực sự trên tổng số những trường hợp thực sự thuộc về lớp tích cực.
1.3. Điểm F1
Tùy ở trong vào ứng dụng, bạn có thể muốn ưu tiên Recall hoặc Precision cao hơn. Nhưng có không ít ứng dụng trong số đó cả thu hồi và độ đúng chuẩn đều quan lại trọng. Do đó, việc nghĩ ra cách phối kết hợp cả nhị thành một chỉ số độc nhất vô nhị là điều trọn vẹn tự nhiên.
Cuối cùng, thật xuất xắc khi tất cả một con số để review một quy mô học máy y hệt như bạn dành được một điểm nhất trong một bài bác kiểm tra ngơi nghỉ trường. Vì đó, việc kết hợp các chỉ số đo độ chính xác và độ lưu giữ lại sẽ rất hợp lý; cách tiếp cận thịnh hành để phối hợp các số liệu này được gọi là vấn đề f.
Các β tham số cho phép chúng tôi kiểm soát và điều hành sự tấn công đổi tầm đặc biệt quan trọng giữa độ chính xác và thu hồi. β 1tập trung nhiều hơn thế nữa vào vấn đề thu hồi.
Một số liệu phổ biến phối hợp độ đúng chuẩn và tịch thu được gọi là vấn đề F1 , là trung bình hài hòa của độ chính xác và tịch thu được tư tưởng là:
Vì quý giá trung bình hài hòa của một danh sách những số nghiêng những về các phần tử nhỏ dại nhất của danh sách, cho nên nó có xu thế (so với mức giá trị vừa phải cộng) để sút thiểu tác động của những giá trị nước ngoài lệ lớn và có tác dụng trầm trọng thêm tác động của các giá trị nhỏ.
Xem thêm: Game Bầu Cua Tôm Cá Gà Nai, Gà For Android, Bầu Cua Tôm Cá Gà Nai
Một điểm yếu kém là cả độ chính xác và thu hồi đều phải sở hữu tầm quan trọng đặc biệt như nhau cho nên vì vậy theo vận dụng của chúng tôi, cửa hàng chúng tôi có thể buộc phải một điểm cao hơn nữa điểm kia với điểm F1 hoàn toàn có thể không bắt buộc là số liệu đúng mực cho nó. Vì chưng đó, điểm F1 gồm trọng số hoặc bắt gặp đường cong truyền bá hoặc ROC hoàn toàn có thể hữu ích.
1.4. Đường cong PR
Đường cong pr chỉ đơn giản và dễ dàng là một đồ dùng thị có giá trị Precision bên trên trục y và giá trị Recall bên trên trục x. Nói bí quyết khác, đường cong PR đựng TP / (TP + FN) bên trên trục y cùng TP / (TP + FP) bên trên trục x.
Người ta mong muốn rằng thuật toán phải tất cả cả độ chính xác cao và kĩ năng thu hồi cao. Mặc dù nhiên, đa số các thuật toán học sản phẩm công nghệ thường tương quan đến sự tiến công đổi thân hai thuật toán này.
1.5. ROC
Đường cong ROC ( đường đặc tính hoạt động vui chơi của máy thu ) là một đồ thị thể hiện công suất của một mô hình phân một số loại ở tất cả các ngưỡng phân loại . Đường cong này vẽ nhị tham số:
Tỷ lệ lành mạnh và tích cực Thực sự (Recall)Tỷ lệ lành mạnh và tích cực giả (FPR)
Đường cong ROC vẽ biểu vật TPR so với FPR ở những ngưỡng phân loại khác nhau. Việc hạ thấp ngưỡng phân nhiều loại sẽ phân một số loại nhiều mục rộng là khẳng định, vì thế làm tăng cả khẳng định sai và xác định thật.
Nhiều mô hình phân loại bao gồm tính xác suất, có nghĩa là chúng dự đoán tỷ lệ của một mẫu là người. Sau đó, họ so sánh phần trăm đầu ra đó với một trong những ngưỡng giới hạn và nếu như nó to hơn ngưỡng đó, họ dự đoán nhãn của nó là bé người, trái lại là chưa hẳn con người. Ví dụ, quy mô của chúng ta cũng có thể dự đoán các xác suất dưới đây cho 4 hình hình ảnh mẫu: <0,45, 0,6, 0,7, 0,3> . Sau đó, tùy thuộc vào những giá trị ngưỡng bên dưới, bạn sẽ nhận được các nhãn khác nhau:giới hạn = 0,5: nhãn dự kiến = <0,1,1,0> (ngưỡng mặc định)giới hạn = 0,2: nhãn dự đoán = <1,1,1,1>giới hạn = 0,8: dự đoán- nhãn = <0,0,0,0>
Như chúng ta có thể thấy bằng phương pháp thay đổi những giá trị ngưỡng, các bạn sẽ nhận được các nhãn hoàn toàn khác nhau. Cùng như bạn cũng có thể tưởng tượng, mỗi trường hợp này đang dẫn đến độ đúng mực và xác suất thu hồi (cũng như TPR, FPR) khác nhau.
Để đo lường các điểm trong đường cong ROC, chúng ta có thể đánh giá mô hình hồi quy logistic các lần với những ngưỡng phân nhiều loại khác nhau, dẫu vậy điều này sẽ không hiệu quả. Suôn sẻ thay, có một thuật toán hiệu quả, dựa trên phân loại bao gồm thể đưa thông tin này, được điện thoại tư vấn là AUC.
1.6. AUC
Diện tích dưới đường cong (AUC), là thước đo tổng hợp hiệu suất của cỗ phân các loại nhị phân trên tất cả các quý giá ngưỡng rất có thể có (và vì vậy nó là ngưỡng không bao giờ thay đổi ) . Nghĩa là, AUC đo toàn bộ diện tích nhì chiều bên dưới toàn cỗ đường cong ROC.
Vì AUC là một phần của diện tích hình vuông đơn vị, bắt buộc giá trị của chính nó sẽ luôn luôn nằm trong khoảng từ 0 cho 1,0. Tuy nhiên, vị đoán ngẫu nhiên tạo thành đường chéo giữa (0, 0) cùng (1, 1), có diện tích 0,5, không có bộ phân loại thực tế nào tất cả AUC bé dại hơn 0,5
AUC được mong ước vì hai nguyên nhân sau:
AUC là không thay đổi quy mô . Nó thống kê giám sát mức độ xếp hạng của những dự đoán thay vì giá trị tuyệt đối hoàn hảo của chúng.AUC là 1 phân loại-ngưỡng-bất biến hóa . Nó đo lường unique của những dự đoán của quy mô bất đề cập ngưỡng phân nhiều loại nào được chọn.2. Chỉ số hồi quy
Các số liệu reviews cho quy mô hồi quy khá khác so với những số liệu ngơi nghỉ trên mà bọn họ đã đàm luận cho các mô hình phân loại cũng chính vì chúng tôi hiện tại đang dự kiến trong một phạm vi liên tiếp thay vì một số trong những lớp rời rạc. Nếu quy mô hồi quy của khách hàng dự đoán giá một căn nhà là 400 nghìn đô la và nó được bán với giá 405 ngàn đô la thì đó là 1 trong dự đoán hơi tốt. Tuy nhiên, trong số ví dụ phân loại, cửa hàng chúng tôi chỉ quan tâm đến việc một dự kiến đúng xuất xắc sai, không có công dụng nói một dự đoán là "khá tốt". Do đó, chúng tôi có một bộ số liệu reviews khác nhau đến các quy mô hồi quy.
2.1. Mean Squared Error
Mean Squared Error (MSE) chắc rằng là số liệu thông dụng nhất được sử dụng cho các bài toán hồi quy. Về cơ bản, nó tìm kiếm thấy sai số bình phương mức độ vừa phải giữa những giá trị được dự đoán và thực tế. MSE là thước đo unique của một biện pháp ước tính - nó luôn không âm và những giá trị càng sát 0 càng tốt.
Trong phân tích hồi quy, vẽ biểu đồ là 1 trong cách thoải mái và tự nhiên hơn nhằm xem xu hướng chung của cục bộ dữ liệu. Đơn giản MSE cho chính mình biết nút độ ngay gần của đường hồi quy với một tập hợp các điểm. Nó thực hiện điều này bằng cách lấy khoảng cách từ các điểm đến đường hồi quy (những khoảng cách này là “sai số”) với bình phương chúng. Bình phương là rất đặc biệt để giảm độ phức hợp với các dấu hiệu tiêu cực. Nó cũng tạo thành nhiều trọng lượng hơn mang đến sự biệt lập lớn hơn.
Để bớt thiểu MSE, mô hình có thể chính xác hơn, tức là mô hình gần với dữ liệu thực tiễn hơn. Một ví dụ về hồi quy tuyến đường tính sử dụng phương thức này là - phương thức bình phương nhỏ nhất đánh giá sự cân xứng của quy mô hồi quy con đường tính với tập dữ liệu hai biến, nhưng giới hạn của nó tương quan đến phân phối tài liệu đã biết.
MSE càng phải chăng thì đoán trước càng tốt.
2.2. Mean Absolute Error
Mean Absolute Error (MAE) đo độ bự trung bình của những lỗi vào một tập hợp những dự đoán mà lại không nên xem xét hướng của chúng. Đó là cực hiếm trung bình trên mẫu mã thử nghiệm về sự khác hoàn toàn tuyệt đối giữa dự đoán và quan giáp thực tế, vào đó tất cả các biệt lập riêng lẻ bao gồm trọng số bằng nhau.
Có thể diễn tả MAE là tổng hòa của hai thành phần: bất đồng về số lượng và sự không tương đồng về phân bổ.
MAE được nghe biết là khỏe khoắn hơn đối với các yếu hèn tố ngoại lai đối với MSE. Lý do chính là trong MSE bằng cách bình phương những sai số, những giá trị ngoại lai (thường gồm sai số cao hơn các mẫu khác) được chú ý nhiều hơn và chiếm ưu chũm trong sai số sau cuối và tác động ảnh hưởng đến các tham số của tế bào hình.
2.3. Root Mean Square Error
Root Mean Square Error (RMSE) hoặc Root Mean Square Deviation (RMSD) là căn bậc nhị của nút trung bình của các sai số bình phương. RMSE là độ lệch chuẩn chỉnh của những phần dư (sai số dự đoán).
Phần dư là thước đo khoảng cách từ những điểm dữ liệu đường hồi quy; RMSE là thước đo mức độ dàn trải của các phần dư này, nói biện pháp khác, nó cho mình biết mức độ tập trung của dữ liệu xung xung quanh đường tương xứng nhất.
Ảnh hưởng trọn của từng lỗi đối với RMSE xác suất với kích thước của lỗi bình phương; bởi đó những sai số lớn hơn có tác động lớn mang lại RMSE một bí quyết không cân xứng. Vì đó, RMSE nhạy cảm với những yếu tố ngoại lai. Không đúng số bình phương trung bình gốc thường được thực hiện trong nhiệt độ học, dự báo cùng phân tích hồi quy nhằm xác minh kết quả thực nghiệm.
Khi những quan gần cạnh và dự báo chuẩn hóa được thực hiện làm nguồn vào RMSE, có mối quan hệ trực tiếp với hệ số đối sánh . Ví dụ, giả dụ hệ số đối sánh là 1, RMSE sẽ bởi 0, bởi vì tất cả những điểm nằm trên tuyến đường hồi quy (và vì đó không tồn tại sai số).
RMSE luôn không âm và quý hiếm 0 (hầu như không lúc nào đạt được trong thực tế) sẽ chỉ ra sự tương xứng hoàn hảo cùng với dữ liệu. Nói chung, RMSD thấp hơn sẽ tốt hơn RMSD cao hơn.
Xem thêm: Game Meo Oggy Va Nhung Chu Gian Tinh Nghich Tap Cuoi, Game Mèo Oggy Và Những Chú Gián Tinh Nghịch
Trong nội dung bài viết này, shop chúng tôi đã đàm luận về tại sao tại sao công ty chúng tôi đánh giá các quy mô Học trang bị và các kỹ thuật để đánh giá. Một quy mô được review để xác nhận rằng nó đang chỉ dẫn những dự đoán tốt. Các kỹ thuật reviews phụ ở trong vào loại sự việc mà quy mô được huấn luyện để xử lý và loại thuật toán. Trong một thời hạn dài, accuracy là thước đo duy nhất cơ mà tôi sử dụng, kia thực sự là một trong những lựa lựa chọn mơ hồ. Tôi hy vọng nội dung bài viết này sẽ hữu ích cho bạn. Cảm ơn đã đọc nội dung bài viết và mong nhận được sự góp ý của mọi người.
