Công thức tính entropy

Entropy đọc tin là một trong có mang mở rộng của entropy trong sức nóng động lực học tập và cơ học những thống kê thanh lịch mang lại định hướng báo cáo.Quý Khách đang xem: Entropy là gì

Entropy thông báo miêu tả cường độ láo loạn vào một tí;n hiệu lấy xuất phát từ một sự khiếu nại bất chợt. Nói cách khác, entropy cũng đã cho thấy gồm bao nhiêu biết tin vào tí;n hiệu, với biết tin là những phần không láo lếu loàn bất chợt của tí;n hiệu.

Bạn đang xem: Công thức tính entropy

Ví; dụ, quan sát vào một trong những loại chữ giờ đồng hồ Việt, được mã hóa vị các vần âm, khoảng cách, với lốt câu, tổng thể là những ký kết tự. Dòng chữ bao gồm chân thành và ý nghĩa sẽ không còn chỉ ra một phương pháp hoàn toàn lếu láo loạn ngẫu nhiên; ví; dụ nhỏng tần số mở ra của vần âm x sẽ không kiểu như với tần số lộ diện của vần âm thịnh hành rộng là t. Đồng thời, nếu như cái chữ vẫn đang rất được viết giỏi đang rất được truyền mua, nặng nề hoàn toàn có thể đân oán trước được cam kết từ tiếp sau vẫn là gì, cho nên vì vậy nó có cường độ hốt nhiên nhất mực. Entropy biết tin là 1 trong thang đo mức độ hốt nhiên này.

Khái niệm này thứ 1 ra mắt vì chưng Claude E. Shannon vào bài bác báo "A Mathematical Theory of Communication ", năm 1948. Trước kia von Neumann sẽ sử dụng mang lại công thức có entropy vào khoảng thời gian 1927.

Định nghĩa

Claude E. Shannon đang thành lập tư tưởng về entropy nhằm mãn nguyện những đưa định sau:

Entropy nên phần trăm thuận thường xuyên cùng với những xác suất lộ diện của những bộ phận tự nhiên trong tí;n hiệu. Ttốt đổi nhỏ vào Phần Trăm buộc phải dẫn mang lại chuyển đổi nhỏ vào entropy. Nếu những bộ phận tự dưng đều phải sở hữu Xác Suất lộ diện đều nhau, Việc tăng số lượng bộ phận tự dưng cần làm tăng entropy. Có thể tạo thành những chuỗi tí;n hiệu theo khá nhiều bước, cùng entropy tổng cộng cần bằng tổng có trọng số của entropy của từng bước.

Shannon cũng cho rằng bất cứ định nghĩa làm sao của entropy, cho một tí;n hiệu có thể nhấn các quý giá rời rộc rạc, nhất trí những mang định của ông thì đều phải có dạng:


*

với

K là 1 trong hằng số, chỉ dựa vào vào đơn vị đo. n là tổng thể các giá trị hoàn toàn có thể nhấn của tí;n hiệu. i là quý hiếm rời rốc sản phẩm công nghệ i. p(i) là Tỷ Lệ mở ra của quý giá i.

Ngẫu nhiên rời rạc


*

Entropy của một phnghiền test Bernoulli được vẽ nhỏng một hàm số theo Xác Suất thành công xuất sắc, thường hotline là hàm entropy nhị phân.

Nếu một sự kiện thốt nhiên rời rộc rạc x, rất có thể nhận các giá trị là 1 trong..n, thì entropy của chính nó là:


*

với p(i) là Phần Trăm xẩy ra của quý hiếm i. do vậy, entropy của x cũng chính là quý hiếm mong mỏi đợi của những độ kinh ngạc của những cực hiếm mà x rất có thể dấn.

Entropy công bố trong trường hợp thành phần tí;n hiệu đột nhiên tách rộc còn được gọi là entropy Shannon.

Ngẫu nhiên liên tục

Nếu x là số thực bất chợt tiếp tục, thì định nghĩa entropy rất có thể được màn biểu diễn là:


*

Có thể minh chứng rằng entropy Boltzmann không hẳn là số lượng giới hạn của entropy Shannon khi n → ∞ cùng vì vậy không phải là độ đo cường độ lếu láo loạn của biết tin.

Ví; dụ

Một mẫu chữ luôn chỉ gồm các ký kết từ bỏ "a" sẽ có được entropy bởi 0, bởi cam kết từ bỏ tiếp theo sẽ luôn luôn là "a". Một dòng chữ chỉ bao gồm nhị cam kết tự 0 và 1 hốt nhiên hoàn toàn sẽ sở hữu được entropy là một bit cho từng ký kết từ bỏ.

Một mẫu chữ giờ Anh thường thì bao gồm entropy khoảng chừng 1,1 mang lại 1,6 bit cho từng ký kết tự. Thuật tân oán nén PPM rất có thể tạo nên Phần Trăm nén 1,5 bit cho mỗi ký trường đoản cú. Trên thực tiễn, phần trăm nén của các thuật toán thù nén thông dụng rất có thể được dùng làm cho ước chừng mang lại entropy của dữ liệu.

Entropy của mẫu văn uống bạn dạng thuần thường xuyên được có mang dựa vào mô hình Markov. Nếu các ký trường đoản cú tiếp theo sau trọn vẹn tự do với những cam kết tự trước kia, entropy nhị phân đã là:


*

cùng với pi là Phần Trăm của i.

Xem thêm: Cv Viết Tắt Của Gì ? Bí Quyết Chinh Phục Nhà Tuyển Bằng Cv Cv Là Từ Viết Tắt Của Từ

Liên hệ cùng với cơ học những thống kê

Ví; dụ về tương quan giữa entropy sức nóng rượu cồn lực học với entropy thông tin còn được biểu đạt sinh sống bé quỷ Maxwell. Quỷ Maxwell rất có thể tạo thành được Khi nó làm bớt entropy sức nóng cồn lực học mà lại làm tăng entropy công bố cùng cả hệ vẫn tuân thủ định dụng cụ nhì nhiệt độ đụng lực học tập cùng với tổng entropy không đổi cùng quá trình hoạt động của quỷ là thuận nghịch.