Diskussion:Informationstheorie

Automatische Archivierung

Auf dieser Seite werden Abschnitte ab Überschriftenebene 2 automatisch archiviert, die seit 30 Tagen mit dem Baustein {{Erledigt|1=--~~~~}} versehen sind.

Quellen

• Claude E. Shannon. A mathematical theory of communication. Bell System Tech. J., 27:379-423, 623-656, 1948. (Shannons bahnbrechende Veröffentlichung)
• Holger Lyre: Informationstheorie - Eine philosophisch naturwissenschaftliche Einführung, UTB 2289;
• Ein verständliche Einführung (auf Englisch) zur speziellen nachrichtentechnischen Informationstheorie gibt es im Netz von einem Biologen T. D. Schneider http://www.lecb.ncifcrf.gov/~toms/paper/primer/
• Deutsche Scripte zur Informationstheorie , welche allerdings sehr knapp gehalten sind:
  • http://www.oelinger.de/maria/it_codi/index.htm
  • http://www.tnt.uni-hannover.de/js/edu/vorlesungen/InfoTheor/download.html
  • http://www.minet.uni-jena.de/%7Eaml/infosem/tex_archiv/www_archiv/www_archiv.html
• U. Schöning: Perlen der Theoretischen Informatik. Bibl. Institut Wissenschaftsverlag, 1995.
• U. Schöning: Algorithmen - kurz gefasst, Spektrum Akademischer Verlag, 1. Auflage, 09/1997
• U. Schöning: Theoretische Informatik - kurzgefasst. Spektrum Akademischer Verlag, 3. Auflage, 1999
• U. Schöning: Logik für Informatiker, Spektrum Akademischer Verlag, 5. Auflage, 2000
• J. R. Pierce, An Introduction to Information Theory: Symbols, Signals and Noise; Dover Publications, Inc., New York, second edition, 1980.
• W. Sacco, W. Copes, C. Sloyer, and R. Stark; Information Theory: Saving Bits; Janson Publications, Inc., Dedham, MA, 1988.
• N. J. A. Sloane and A. D. Wyner; Claude Elwood Shannon: Collected Papers; IEEE Press, Piscataway, NJ, 1993.
• Information Theory and Statistics (Dover Books on Mathematics) by Solomon Kullback
• Alexander I. Khinchin, Mathematical Foundations of Information Theory;
• Fazlollah M. RezaAn Introduction to Information Theory; Information Theory; Robert B. Ash
• Thomas M. Cover, Joy A. Thomas, Elements of Information Theory (Wiley Series in Telecommunication);

---

Im zweiten Teil des Artikels wird die Abkürzung GIT/SOI erwähnt. Bitte ausformulieren. Auch sonst ist wartet dort noch einiges an Arbeit. --HHK

---

Den folgenden Teil habe ich ausgeschnitten und hierher kopiert, da er mir sehr unausgegoren erscheint. Bitte zusammenhängend argumentieren und nicht nur ein unsortiertes Gerüst von einigen Stichworten bringen. Das folgende mag als Gedankenanstoss dienen; mehr ist es aber zur Zeit nicht. Wir schreiben Lexikonartikel, die einen gewissen Anspruch auf Allgemeingültigkeit haben. --HHK

„Die Selbstorganisation der Information (GIT/SOI)

In der Site http://generalit.de/ findet sich ein Ansatz, der aus den Grundbegriffen Information, Kommunikation und Entropie ein allgemeines Modell der Welt entwickelt. Einer Welt, deren Dynamik sich aus spezifischen entropischen Kommunikationsströmen entwickelt. Evolution der menschlichen Sprache, die Physik (als Wissenschaft), Technik, Wirtschaft, Politik, Gesellschaft usw. werden gleichermaßen als je spezifische Entropie-Prozesse interpretiert. Information wird hier also tatsächlich als fundamentales Phänomen aufgegriffen. Auf der Site-Leitseite finden sich kurze Skizzen, die den Ansatz in knapper Form in etwa erkennbar werden lassen:

• Informationsbegriff und Rechte-Evolution
• Informationstechnologie und menschliches Informationsbedürfnis
• Sprache als Informationsmedium
• Sprache als entwickelte Form der Zeichenverarbeitung“

Klärungsbedarf bei der Einleitung

Die Einleitung zur Informationstheorie sagt nichts über das Konzept aus, bitte um eine einschlägige Formulierung. wenn ich zeit haben sollte, setze ich mich damit gerne ausienander. --Vito bica 21:22, 11. Nov 2004 (CET)

Mathematische Theorie?

• Die Abschnitte "Einordnung des Begriffs Information in die naturwissenschaftlichen Grundkategorien" und "Fragen der allgemeinen Informationstheorie" haben mit Mathematik gar nichts zu tun. Sie sind wolkig und unpraezise formuliert. M.E. sollte man sie entfernen.
• Der Begriff "Infon" scheint es im Deutschen nur auf Wikipedia und als Name von Unternehmen zu geben (google). Gibt es tatsaechlich jemanden, der sich in der Informationstheorie(!) serioeus mit "Infonen" beschaeftigt? Falls ja, sollte man eine Referenz angeben (Fachartikel oder Fachbuch bei anerkanntem mathematischen Verlag), falls nein, sollte man den Kram loeschen.
• Die Literaturliste ist zu lang und enthaelt zu viel Muell, der mit Informationstheorie nichts oder wenig zu tun hat.
• Ich stimme Vito zu, dass die Einleitung schlecht (ungenau, wolkig) ist. Insbesondere die Unsitte, Listen von Woertern statt einer Erklaerung anzugeben, ist sehr stoerend.

Gruss, Matthias

• Vermutlich meint der Urheber der "Infonen" das, was heute allgemein als "Mem" bezeichnet wird, also die Idee als Informationseinheit. Es gibt da eine ganze Reihe von hübschen Theorien, das Problem ist aber, daß keine davon anerkannt ist (ebensowenig wie die Energonentherie von Hans Hass). Im Moment stellt der Artikel die Situation schon ganz gut da, daher begrüße ich den Rausschmiss der strittigen Punkte! --Homosapiens 01:43, 23. Sep 2006 (CEST)

Quellen zur Informationstheorie

Warum die zusätzliche Seite? Die Quellen sind doch bereits in diesem Artikel. -- Weltall 13:51, 13. Jul 2006 (CEST)

Entropie

Zitat: "Je ungleichförmiger eine Nachricht aufgebaut ist, desto höher ist ihre Entropie."

Ist das nicht genau umgekehrt ..?

Der genannte Satz ist sehr schwammig. In der Tat wäre die Entropie umso kleiner, je ungleichförmiger die Wahrscheinlichkeiten der Symbole (oder verallgemeinert z.B. "Abschnitte") verteilt sind. Andererseits könnte mit dem Satz gemeint sein, dass die Entropie höher ist, wenn nicht nur gleiche Symbole vorkommen können. Insgesamt sollte man also vielleicht den Satz abändern in Richtung: je zufälliger und weniger vorhersagbar eine Nachricht ist, umso höher die Entropie. Mbreiling (Diskussion) 00:27, 26. Nov. 2022 (CET)

Was besagt die Informationstheorie?

Schon die Gliederung dieses Artikels lässt nichts Gutes erwarten. Nach der Einleitung womit sie sich beschäftigt und wer daran gebastelt hat kommt als erstes und einziges Kapitel

• die Geschichte

und aus, das war´s, Literatur, Links und siehe auch.

Das ist nicht nur eine unglückliche Gliederung, es fehlt vorallem die klare Aussage zu diesem Lemma. Da wird nur viel um das Thema rund herumgeredet, - schade. Ist leider nicht mein Fachgebiet, sonst würde ich schon die Ärmel aufkrempeln, ich wollte eigentlich nur was wissen. Liebe Grüße --Volker Paix 14:35, 3. Nov. 2009 (CET)

PS.: Und wo wird das fundamentale Axiom der Informationstheorie behandelt oder implizit erläutert? --Volker Paix 14:42, 3. Nov. 2009 (CET)

ist Claude Shannon so bedeutend

bezüglich dieses Lemmas, dass er im ersten Satz zur Erklärung aufgeführt wird, vor anderen wichtigen Dingen. Ansich wirkt der Begriff sehr allgemein oder soll ich mir das so vorstellen wie die Pavlovsche (klassische) Konditionierung, die auf Pavlov zurückgeht.
--Dr. Vinzenz (Diskussion) 23:23, 14. Jan. 2013 (CET)

Ja, er hat mit seiner Veröffentlichung A Mathematical Theory of Communication die Informationstheorie begründet und im gleichen Zug wesentliche Sätze aufgestellt und bewiesen. Man könnte seine Rolle für die Informationstheorie mit der von Einstein für die Relativitätstheorie vergleichen.--Cirdan ± 17:35, 10. Aug. 2018 (CEST)

Widerlegt

Wurde inzwischen widerlegt: siehe z.B. http://newsoffice.mit.edu/2013/encryption-is-less-secure-than-we-thought-0814 (nicht signierter Beitrag von 85.233.98.130 (Diskussion) 16:47, 7. Apr. 2014 (CEST))

Widerlegt ist nicht die Informationstheorie, sondern es wurde gezeigt, dass die Annahme "the source files are perfectly uniform" bei der Analyse kryptographischer Systeme nicht getroffen werden darf.--Cirdan ± 17:35, 10. Aug. 2018 (CEST)

Abschnitt Geschichte

Dort heißt es: "Es ist zweifelhaft und wurde auch von Shannon so nicht beansprucht, dass seine 1948 veröffentlichte Studie A Mathematical Theory of Communication („Informationstheorie“) von substantieller Bedeutung für Fragestellungen außerhalb der Nachrichtentechnik ist." Die Aussage wirkt auf mich in vielerlei Hinsicht irreführend. Ja, in seinem Aufsatz "A math. theory...." spricht er ganz am Anfang explizit an, dass Semantik z.B. nicht durch die Informationstheorie beschrieben wird, und auch der einführende Aufsatz von Warren Weaver in dem Buch "THE math theory..." spekuliert auch nur darüber, wie so etwas wie Semantik verarbeitet werden könnte, aber: Shannon selbst hat quasi das Fach künstliche Intelligenz mitbegründet, z.B. durch "Theseus", die Maus die er entwickelt hat, die über eine relay Verschaltung ein veränderbares Labyrinth durchlaufen kann anhand von boolscher Logik. Dazu gibt es auch ein Video in der er Bezüge zu komplexerer Inferenz explizit herstellt. Gleiches gilt für seine Arbeit an Schachcomputern. Vielleicht ist mmit dieser Stelle etwas differenzierteres gemeint? Oder gibt es da eine Quelle dazu?--StSchwerdtfeger (Diskussion) 02:27, 19. Mär. 2022 (CET)