בסטטיסטיקה ובתחומים נוספים, ובעיקר בתורת האינפורמציה, אנטרופיה (באנגלית: Entropy) היא מדד לגודלו האפקטיבי של מרחב הסתברות. האנטרופיה של התפלגות אחידה בדידה על n מצבים היא \ \log_2n. את מושג האנטרופיה המתמטית פיתח אבי תורת האינפורמציה קלוד שאנון ב⁻1948. מתוך ויקיפדיה

תורת האינפורמציה (גם תורת המידע, מאנגלית: ''Information theory'') היא ענף של מתמטיקה שימושית בעל יישומים רבים במדע ובפרט במדעי המחשב ובהנדסת חשמל. התחום עוסק במדידת מידע וביכולת להעביר מידע בין מקור ליעד כאשר ביניהם קיים ערוץ תקשורת. התחום מבוסס על תורת ההסתברות, ועוסק בעיקר בבעיות תאורטיות, כגון חסמים על קצב המידע שניתן להעביר ללא שגיאות בערוץ נתון. מושגים וכלים שמוגדרים בתורת האינפורמציה איפשרו את פיתוחן של טכנולוגיות תקשורת מודרניות, ובמיוחד תקשורת ספרתית, ויישומים כגון לווייני תקשורת, מערכות אחסון נתונים, תקשורת סלולרית ותקשורת נתונים בקצבים גבוהים. מתוך ויקיפדיה

יתירות הוא מונח בתורת המידע המתואר על ידי היחס בין האנטרופיה |authorlink=David J.C. MacKay}}}} מתוך ויקיפדיה

תורת האדם, תורת האוטומטים, תורת האוטומטים - מונחים, תורת האילוצים, תורת האינווריאנטים, תורת האישיות, תורת האליטות, תורת האלקטרומגנטיות, תורת האמידה, תורת האפקטים