Testmethodik

Zuerst: Was derzeit nicht geprüft wurde

Es ist üblich, eine Methodikseite mit dem Anspruch zu beginnen. Wir beginnen mit dem Fehlbestand, weil er für Ihre Einordnung wichtiger ist.

Zum Stand dieser Seite gilt: Es wurde kein Anbieter getestet. Es liegen keine eigenen Messungen zu Bildqualität, Bitraten, Startzeiten, Ausfällen oder Stabilität vor. Es existiert keine Rangliste und keine Empfehlung einzelner Dienste. Es wurden keine Testzugänge von Anbietern angenommen, und es bestehen keinerlei kommerzielle Beziehungen zu Anbietern.

Wo auf dieser Website Anbieterseiten entstehen, zeigen sie daher zunächst nur das, was aus öffentlich zugänglichen Angaben nachprüfbar ist – und an jeder Stelle, an der das nicht gelingt, den Eintrag „nicht überprüfbar“. Das ist unbefriedigend, aber es ist der ehrliche Stand. Eine Methodik zu veröffentlichen, bevor Ergebnisse vorliegen, ist Absicht: Sie können dann beurteilen, ob spätere Ergebnisse dieser Methodik tatsächlich folgen.

Was ein Test auf dieser Website bedeuten wird

Der Begriff „Test“ wird in Ratgeberangeboten für sehr Verschiedenes verwendet – von der Laborvermessung bis zur Zusammenfassung fremder Werbetexte. Deshalb legen wir fest, was er hier bedeutet und was nicht.

Ein Test auf dieser Website ist eine dokumentierte Prüfung überprüfbarer Eigenschaften eines Angebots gegen benannte Quellen. Er hat zwei Bestandteile, die getrennt ausgewiesen werden.

Der erste Bestandteil ist die Dokumentenprüfung: Angaben, die ein Anbieter öffentlich macht oder öffentlich machen muss – Identität und Anschrift im Impressum, Aussagen zur Rechtekette, Preisangaben, Vertragsbedingungen, Kündigungs- und Widerrufsregelungen, Datenschutzhinweise, unterstützte Geräte. Diese Prüfung ist jederzeit von Dritten wiederholbar, weil die Quelle benannt ist.

Der zweite Bestandteil ist die Beobachtung im Betrieb: Eigenschaften, die sich erst im tatsächlichen Gebrauch zeigen – Bildeindruck, Stabilität über einen längeren Zeitraum, Verhalten der Anwendung, Erreichbarkeit der Kundenbetreuung. Dieser Teil ist naturgemäß weniger übertragbar, weil Anschluss, Gerät, Tageszeit und Wohnort das Ergebnis mitbestimmen. Er wird deshalb nur veröffentlicht, wenn die Bedingungen mit angegeben werden, und niemals als allgemeingültiger Messwert dargestellt.

Was ein Test hier ausdrücklich nicht ist: keine Laborvermessung, kein Dauerlauf unter kontrollierten Bedingungen, keine Übernahme von Herstellerangaben als Ergebnis und keine Bewertung auf Grundlage fremder Rezensionen.

Die 15 Kriterien

Jeder beurteilte Anbieter wird gegen dieselben 15 Kriterien geprüft, in derselben Reihenfolge. Kein Anbieter bekommt ein zusätzliches Kriterium, weil es ihm nützt, und keines wird weggelassen, weil es ihm schadet.

Die ersten neun Kriterien sind Dokumentenprüfung, die Kriterien zehn bis dreizehn betreffen die Beobachtung im Betrieb, die letzten beiden sind wieder Dokumentenprüfung.

Die 15 Prüfkriterien, die zugehörige Leitfrage und die Quelle, gegen die geprüft wird

Kriterium	Leitfrage	Geprüft gegen Ergibt die Quelle keine belastbare Antwort, lautet das Ergebnis nicht überprüfbar.
1. Anbieteridentität	Wer betreibt den Dienst, unter welcher Rechtsform, mit welcher ladungsfähigen Anschrift?	Impressum des Angebots, öffentliche Registerauskunft, Domaindaten
2. Lizenztransparenz	Macht der Anbieter nachvollziehbare Angaben dazu, von wem die Verbreitungsrechte an den angebotenen Programmen stammen?	Eigene Angaben des Anbieters, Angaben der Rechteinhaber, schriftliche Anfrage
3. Preistransparenz	Sind Preis, Laufzeit, Abrechnungszeitraum und Zusatzkosten vor Vertragsschluss vollständig erkennbar?	Preisseite und Bestellstrecke des Anbieters, Vertragsbedingungen
4. Unterstützte Geräte	Welche Plattformen werden ausdrücklich unterstützt, und wie ist die Unterstützung technisch umgesetzt?	Dokumentation des Anbieters, Angaben im jeweiligen App-Store
5. Verfügbarkeit in Deutschland	Ist das Angebot für einen Wohnsitz in Deutschland vorgesehen und vertraglich zugänglich?	Vertragsbedingungen, Angaben zum Geltungsbereich, Bestellstrecke
6. Balkansprachige Programme	Welche südosteuropäischen Sprachen und welche Sender aus welchen Ländern gibt der Anbieter selbst an?	Angaben des Anbieters, abgeglichen mit den Angaben der jeweiligen Rundfunkanstalt
7. Kundenbetreuung	Welche Kontaktwege bestehen, in welchen Sprachen, und wie schnell wird tatsächlich geantwortet?	Angaben des Anbieters, eigene Anfrage mit dokumentierter Antwortzeit
8. Testphase	Gibt es eine Möglichkeit, das Angebot vor der Zahlung zu prüfen, und zu welchen Bedingungen?	Vertragsbedingungen, Bestellstrecke
9. Kündigung und Erstattung	Wie wird gekündigt, mit welcher Frist, und unter welchen Bedingungen wird erstattet?	Vertragsbedingungen, Widerrufsbelehrung, Kündigungsfunktion im Kundenkonto
10. Bildqualität	Welcher Bildeindruck ergibt sich unter angegebenen Bedingungen, und passt er zu dem, was beworben wird?	Eigene Beobachtung mit dokumentiertem Gerät, Anschluss und Zeitraum
11. Stabilität	Wie verhält sich der Dienst über einen längeren Zeitraum, insbesondere zu Zeiten hoher Netzlast?	Eigene Beobachtung über einen benannten Zeitraum, mit Angabe der Bedingungen
12. Anwendungen	Wie ist die mitgelieferte oder empfohlene Anwendung aufgebaut, und welche Funktionen fehlen?	Eigene Nutzung der Anwendung, Angaben im App-Store, Berechtigungsliste
13. Gleichzeitige Streams	Wie viele Geräte dürfen laut Vertrag gleichzeitig wiedergeben, und wie verhält sich der Dienst bei Überschreitung?	Vertragsbedingungen, eigene Beobachtung
14. Datenschutz	Welche Daten werden erhoben, zu welchem Zweck, wie lange, und an wen werden sie übermittelt?	Datenschutzerklärung des Anbieters, Berechtigungen der Anwendung
15. Gesamttransparenz	Wie viele der vorstehenden 14 Kriterien ließen sich aus öffentlich zugänglichen Angaben überhaupt beantworten?	Ergebnis der Prüfung selbst

Das letzte Kriterium ist bewusst kein inhaltliches, sondern ein Maß für die Prüfbarkeit selbst. Wie viel ein Anbieter offenlegt, ist eine Information über ihn – und in einem Markt, in dem viele Angebote nicht einmal einen Betreiber nennen, häufig die aussagekräftigste.

Die Bewertungslogik

Jedes Kriterium erhält genau einen von drei Werten. Zwischenstufen, Punkte und Prozentangaben gibt es nicht.

Belegt bedeutet: Die Angabe liegt aus einer benannten Quelle vor und ist eindeutig. Eingeschränkt belegt bedeutet: Es gibt eine Angabe, sie ist jedoch unvollständig, mehrdeutig oder widersprüchlich; worin die Einschränkung besteht, wird ausgeschrieben. Nicht überprüfbar bedeutet: Zu diesem Punkt existiert keine öffentlich zugängliche, belastbare Angabe, oder eine Anfrage blieb unbeantwortet.

Diese Dreiwertigkeit hat einen Grund. Eine feinere Skala würde eine Genauigkeit vortäuschen, die eine Dokumentenprüfung nicht hergibt: Der Unterschied zwischen 6 und 7 von 10 Punkten bei der Preistransparenz wäre nicht begründbar, sondern gesetzt. Der Unterschied zwischen einer vollständigen, einer unvollständigen und einer fehlenden Angabe ist dagegen begründbar und überprüfbar.

„Nicht überprüfbar“ ist ausdrücklich kein neutraler Zwischenwert und wird auch nicht als solcher behandelt. Dass ein Anbieter nicht erkennen lässt, wer ihn betreibt oder woher seine Rechte stammen, ist ein Befund und wird als Befund ausgewiesen – aber eben als Befund über die Informationslage und nicht als erfundene Tatsachenbehauptung über den Dienst.

Die Quellen

Zu jedem ausgefüllten Kriterium wird angegeben, gegen welche Quelle geprüft wurde und wann. Ohne Abrufdatum ist eine Quelle in einem Markt, der sich wöchentlich ändert, wertlos.

Die Rangfolge der Quellen ist festgelegt. An erster Stelle stehen Primärquellen: das Impressum, die Vertragsbedingungen, die Datenschutzerklärung und die Preisseite des Anbieters selbst sowie amtliche Register. Es folgen Angaben Dritter mit eigener Zuständigkeit – etwa die Veröffentlichungen einer Rundfunkanstalt zu ihrem eigenen Programm oder die Dokumentation eines Geräteherstellers. An dritter Stelle steht die eigene Beobachtung, sofern die Bedingungen mit angegeben werden. Nicht als Quelle verwendet werden Bewertungsportale, Foren, Werbematerial ohne Beleg und Berichte anderer Ratgeberseiten.

Bleibt eine schriftliche Anfrage an einen Anbieter unbeantwortet, wird das vermerkt – mit Datum der Anfrage und der Frist, die gesetzt wurde.

Wiederholbarkeit

Eine Bewertung, die sich nicht nachvollziehen lässt, ist eine Meinungsäußerung mit Tabellenlayout. Deshalb gilt für jede veröffentlichte Beurteilung:

Der Dokumentenanteil wird so dokumentiert, dass Sie ihn selbst wiederholen können – mit Quelle und Abrufdatum. Kommen Sie zu einem anderen Ergebnis, ist das ein Hinweis, den wir als Korrekturmeldung behandeln.

Der Beobachtungsanteil wird mit seinen Bedingungen veröffentlicht: verwendetes Gerät, Art des Anschlusses, Zeitraum und Tageszeiten. Diese Angaben sind nicht Beiwerk, sondern der Grund, warum eine Beobachtung überhaupt einordenbar ist. Warum dieselbe Verbindung an verschiedenen Orten und zu verschiedenen Zeiten unterschiedlich funktioniert, erläutert der Beitrag zu Buffering und Ruckeln.

Wird ein Anbieter erneut geprüft, bleibt die frühere Beurteilung nachvollziehbar: Was sich geändert hat, wird benannt, statt das alte Ergebnis stillschweigend zu überschreiben.

Umgang mit nicht überprüfbaren Angaben

Dies ist der Punkt, an dem sich Methodiken unterscheiden. Die Regel lautet hier: Eine nicht überprüfbare Angabe wird als solche ausgewiesen – sie wird weder geschätzt noch aus Werbematerial übernommen noch durch eine leere Zelle ersetzt.

Eine leere Zelle liest sich wie ein Versäumnis der Redaktion. Eine geschätzte Zahl liest sich wie ein Messwert. Der ausgeschriebene Eintrag „nicht überprüfbar“ liest sich als das, was er ist: eine Aussage über die Informationslage. Aus demselben Grund erhält jede Anbieterdarstellung ein Prüfdatum und wird erst dann öffentlich, wenn eine Person die Felder tatsächlich geprüft hat.

Gibt es eine Gesamtnote?

Diese Entscheidung ist begründungsbedürftig, deshalb hier beide Seiten.

Die Entscheidung: Es wird keine Gesamtnote geben. Stattdessen erhält jeder beurteilte Anbieter ein Transparenzprofil – die 15 Kriterien einzeln, jeweils mit Wert, Quelle und Datum – sowie eine ausgeschriebene redaktionelle Einordnung, die sich ausschließlich auf diese Befunde stützen darf und keine Aussage enthalten darf, die nicht in der Tabelle steht.

Das Einzige, was verdichtet ausgewiesen wird, ist das fünfzehnte Kriterium: wie viele der vorstehenden vierzehn Punkte sich überhaupt beantworten ließen. Diese Angabe ist keine Qualitätsnote, sondern ein Maß für die Prüfbarkeit – und sie ist, anders als eine Gesamtnote, exakt das, was sie zu sein vorgibt.

Rangfolgen entstehen niemals nach Vergütung

Es bestehen derzeit keine kommerziellen Beziehungen zu Anbietern. Sollte sich das ändern, gilt ausnahmslos: Die Reihenfolge, in der Anbieter dargestellt werden, ergibt sich aus einem sachlichen, auf der jeweiligen Seite genannten Ordnungskriterium – etwa alphabetisch oder nach dem Ergebnis des Transparenzkriteriums. Sie ergibt sich nie aus einer Zahlung.

Ein Anbieter kann sich nicht in eine Übersicht einkaufen, nicht aus einer Übersicht herauskaufen und kein Kriterium beeinflussen. Eine Vergütung, die für einen Verweis anfällt, wird an der betreffenden Stelle gekennzeichnet, bevor Sie ihn anklicken können; wie diese Kennzeichnung aussieht, steht auf der Seite Transparenz und Werbekennzeichnung. Die allgemeinen Regeln zur Trennung von Redaktion und Werbung stehen in den Redaktionsrichtlinien.

Was als Nächstes geschieht

Diese Methodik wird angewendet, sobald die erste vollständige Dokumentenprüfung abgeschlossen ist. Bis dahin bleiben die Anbieterseiten ausdrücklich unbefüllt statt vorläufig ausgefüllt. Halten Sie eines der Kriterien für falsch geschnitten oder vermissen Sie eines, schreiben Sie uns über die Kontaktseite – Änderungen an dieser Methodik werden nachvollziehbar vermerkt, damit erkennbar bleibt, unter welchem Raster eine Beurteilung entstanden ist.