ข้อมูล (คอมพิวเตอร์)
ข้อมูล คือลำดับของสัญลักษณ์ใด ๆ ที่มีความหมายโดยการปฏิบัติการเฉพาะเพื่อตีความ ข้อมูลดิจิทัลคือปริมาณ อักขระ หรือสัญลักษณ์ในการดำเนินการอันกระทำโดยคอมพิวเตอร์ เก็บและบันทึกลงในสื่อแม่เหล็ก เชิงแสง หรือเชิงกลเป็นต้น และส่งผ่านในรูปแบบสัญญาณไฟฟ้า
โปรแกรมคือกลุ่มข้อมูลที่ประกอบด้วยอนุกรมของชุดคำสั่งซอฟต์แวร์ที่ลงรหัสไว้ สำหรับควบคุมการดำเนินการของคอมพิวเตอร์หรือเครื่องจักรอื่น
เอนโทรปีของข้อมูล
แชนนอนให้นิยามการวัดเอนโทรปี ("H" = − "p" log "p" − … − "p" log "p") ว่า เมื่อนำไปวัดที่แหล่งข้อมูล จะสามารถบ่งบอกขนาดที่เล็กที่สุดเท่าที่เป็นไปได้ ของช่องสัญญาณที่ใช้ในการส่งข้อมูลฐานสองได้อย่างถูกต้อง สูตรนี้สามารถสร้างขึ้นมาได้จากการคำนวณค่าคาดหวัง (expectation) ของ "ปริมาณของข้อมูล" ที่อยู่ในแต่ละหลักของ
แหล่งข้อมูล ค่าเอนโทรปีของแชนนอนนี้ได้กลายมาเป็นตัววัดความไม่แน่นอนของตัวแปรสุ่ม และดังนั้นจึงเป็นตัวบอกเกี่ยวกับข้อมูลที่บรรจุอยู่ในข้อความ เมื่อเปรียบเทียบกับส่วนของข้อความที่สามารถคาดการณ์ได้โดยโครงสร้างของมันเอง ตัวอย่างเช่น การใช้คำฟุ่มเฟือยในภาษาสื่อสาร หรือความถี่ของการเกิดตัวอักษรหรือคำแต่ละคู่หรือแต่ละชุด ดูห่วงโซ่มาร์คอฟเพิ่มเติม