Handy-Tests: Connect gegen Stiftung Warentest

    Der dpa Pressetext:



    Weiter geht's...


    Text auf der Connect-Seite: Hans-Martin Burr, Herausgeber und Chefredakteur der Zeitschrift connect, hat sich aus den genannten Gründen in einem Brief an den Bereichsleiter Publikationen der Stiftung Warentest und test-Chefredakteur, Hubertus Primus, gewandt. connect veröffentlicht den Schriftwechsel.


    Schreiben von connect-Chefredakteur Hans-Martin Burr:


    Sehr geehrter Herr Primus,


    in der aktuellen Ausgabe Ihrer Zeitschrift test 9/2002 haben Sie ab Seite 32 einen Vergleichstest von Handys veröffentlicht und kommen in diesem zu völlig anderen Resultaten als connect. Und das ausgerechnet beim wichtigsten Kriterium eines Handys: der Fähigkeit, gut zu telefonieren.


    Um nur ein Beispiel zu nennen: Das Nokia 8910 schneidet bei Ihnen im D-Netz ("Funktion bei schwachem Netz") mit einem "sehr gut" ab – bei connect erreicht es mit nur 18 Prozent der möglichen Punktzahl ("Sende- und Empfangsqualität über Antenne") lediglich ein "ungenügend". Eine Auswahl weiterer Beispiele finden Sie in der untenstehenden Tabelle.


    test (Wertung/Verbalnote) | connect (Prozentpunktzahl/Verbalnote)
    1. Handy: Nokia 5210 (Vorletzter im Test)
    D-Netz: + gut | 42 % mangelhaft
    E-Netz: ausreichend | 64 % ausreichend


    2. Handy: Nokia 8910 (Testsieger mit sechs anderen)
    D-Netz: ++ sehr gut | 18% ungenügend
    E-Netz: + gut |32 % ungenügend


    3. Handy: Nokia 6510 (Testsieger mit sechs anderen)
    D-Netz: + gut | 40 % mangelhaft
    E-Netz: + gut | 56 % ausreichend


    4. Handy: Sony Ericsson T68i (Testsieger mit sechs anderen)
    D-Netz: ++ sehr gut | 30 % ungenügend
    E-Netz: + gut | 50 % ausreichend



    - test-Kriterium: Funktion bei schwachem Netz (D-Netz und E-Netz)
    - connect-Kriterium: Sende- und Empfangsqualität über Antenne (D-Netz und E-Netz)




    Diese extremen Differenzen lassen sich nicht erklären. Schließlich sprechen wir von einem Kriterium, das sich messtechnisch eindeutig belegen lässt – und bei dem subjektive Kriterien demzufolge außen vor bleiben.


    Warum also sind die Ergebnisse derart unterschiedlich? Liegen Messfehler vor? Sind die Messbedingungen so verschieden? Oder sind die Testmuster derart unterschiedlich? Genau diese Fragen sollten wir klären.


    Dem Verbraucher ist nämlich nicht damit gedient, wenn wir ihn mit solch widersprüchlichen Aussagen im Regen stehen lassen. Außerdem investiert connect viel Energie, Know-how und Geld in Handy-Tests, um unseren Lesern praxisnahe, seriöse und nachvollziehbare Ergebnisse zu liefern. Da Ihre Testmethoden sowohl in der aktuellen Ausgabe als auch im Handy-Test der Ausgabe 12/01 nur sehr rudimentär beschrieben werden, bitte ich Sie, uns Ihre Messmethodik – besonders in puncto Funk- und Akustikmessungen – zu erläutern. Im zweiten Schritt können wir dann gerne die Einzelmessergebnisse und bei Bedarf auch die Testgeräte für Gegenmessungen austauschen. Nur so können wir möglichen Mess- oder Interpretationsfehlern auf den Grund gehen. Die Beschreibung unserer Messgeräte und Methodik finden Sie anbei. Bitte haben Sie Verständnis, dass wir uns unseren Lesern gegenüber erklären wollen. Daher bitten wir Sie um Stellungnahme bis zu unserem Redaktionsschluss am 12. September.


    Mit freundlichen Grüßen


    Hans-Martin Burr




    * * *


    Stellungnahme der STIFTUNG WARENTEST per E-Mail:


    Sehr geehrter Herr Burr,


    wie eben telefonisch avisiert, die vom zuständigen Leiter unserer Abteilung Produkttests I, Jürgen Nadler und dem zuständigen Projektleiter Dr. Bernd Schwenke erarbeitete Stellungnahme. Für einen vertieften methodischen Austausch, den ich sehr begrüßen würde, sind die beiden Herren die zuständigen Ansprechpartner.


    Mit freundlichem Gruß


    Hubertus Primus
    Chefredakteur test
    Bereichsleiter Publikationen



    Bei Tests von Mobiltelefonen wurden bei gleichen (nicht den selben!) Produkten von unseren Zeitschriften test und connect unterschiedliche Urteile bei einzelnen Prüfpunkten angegeben.


    Ganz abgesehen davon dass Unterschiede aufgrund einer unterschiedlichen Zielgruppe bei den Lesern (Berufsstand, Alter, Bildung) durchaus berechtigt sein können ist festzustellen, dass bei der Gesamturteilsfindung auch objektive Messwerte in subjektive (aber begründbare) Bereichsgrenzen der Notenstufen eingeordnet werden. Um zu einem Gesamturteil für das Produkt zu gelangen, werden sie mit einem subjektiven (aber ebenfalls begründbaren) Wichtungsfaktor multipliziert. Dies erklärt viele Unterschiede.


    Bei technischen Messungen sollten die Messergebnisse unterschiedlicher Labore im Rahmen der Messgenauigkeit und der Produktstreuung natürlich übereinstimmen.


    In dem von Ihnen genannten Testkriterium, der Fähigkeit eines Handys, gut zu funktionieren, gibt es zwischen unseren Zeitschriften unterschiedliche Konzeptionen der Testausführung und auch damit werden unterschiedliche Urteile erklärbar.


    Die Messungen für connect werden hochtechnisiert ausgeführt, über 1.500 Einzelmessungen tragen zur Urteilsfindung bei. Am Ende kommen wieder Bewertungsgrenzen und Wichtungsfaktoren hinzu, um ein prägnantes Urteil entstehen zu lassen. (Transparent, aber nicht unumstritten sind beispielsweise Abwertungen aufgrund fehlender Schnittstellen zu Hochfrequenz-Messadaptern.)


    test lässt die Handys im wesentlichen durch vergleichende Praxisversuche prüfen, zur Prüfung der Sprachverständlichkeit wird beispielsweise Hintergrund-Straßenlärm eingespielt. Um schwache Netze zu simulieren, werden als empfangsproblematisch bekannte Räume innerhalb sonst gut versorgter Gebiete aufgesucht.


    Um möglichen Ungereimtheiten auf die Spur zu kommen, schlagen wir folgende weitere Schritte vor:
    1. Ausschalten von Produktstreuungen: Benennen wir einige Handys (mit den 4 genannten sind wir einverstanden), die wir austauschen, um die Produkteigenschaften mit der jeweils eigenen Messmethode zu bestimmen. Vorgeschlagener Modus: alle Geräte eine Wochen bei Ihnen, dann eine Wochen bei uns.


    Hintergrund: connect berichtet etwa 4 - 6 Monate vor test über neue Handys, möglicherweise beeinflussen Softwareupdates oder Produktionsänderungen in der laufenden Fertigung die Produkteigenschaften.


    2. Erweiterte Praxistests von Empfangssituationen. connect prüft durch vergleichende Praxisprüfungen (ähnlich wie derzeit die STIFTUNG WARENTEST) die Übertragungseigenschaften. Hierbei sollte eine zu den test-Resultaten ähnliche Hitliste der Geräte entstehen


    Oder besser gemäß wissenschaftlicher Vorgehensweise: connect benennt Orte, Zeiten oder Betriebsbedingungen, bei denen die als ungenügend beurteilten Handys nur ungenügend funktionieren, besser beurteilte Geräte jedoch benutzbar sind. Dort, dann und so wird, gerne gemeinsam, geprüft.


    Hintergrund: Bereits vor Jahren hatte die STIFTUNG WARENTEST technischen Messungen zur Sende und Empfangsqualität der Handys ausführen lassen. Jedoch ergaben sich Widersprüche zu dem tatsächlichen Verhalten der Geräte in der Praxis. Diese Widersprüche waren für uns erklärbar durch Handyeigenschaften (z. B. Sensitivität, Selektivität, Synchronisationsfähigkeit und Fehlerkorrektur) und der Umgebungsparametern (Sende- und Empfangssignalstärke des Netzes und elektromagnetischer Störnebel durch andere Sendegeräte). Im Ergebnis haben wir den Praxismessungen mehr vertraut und die aufwändige technische Empfangsmesserei eingestellt.
    Es ist durchaus möglich, dass inzwischen die technische Messverfahren so ausgereift sind, dass sie die Praxistests sinnvoll ersetzen oder ergänzen können. Das wird zu beweisen sein.


    3. Sonstige Meinungsbilder befragen
    Im Internet habe ich auf der Seite [von dooyoo.de, Anm. d. Red.] die kritischsten Meinungen 5 von ca. 20 zum Nokia 6510 gesichtet: Empfangseigenschaften wurden mit mindestens gut bewertet, Probleme zum Empfang habe ich (bei einer Stichprobe) nirgendwo gelesen.


    Dr. Bernd Schwenke



    * * *


    Antwort von Hans-Martin Burr per E-Mail:


    Sehr geehrter Herr Primus,


    vielen Dank für Ihr Schreiben, einen vertiefenden methodischen Austausch nehmen wir gerne auf. Nicht nur darum würde ich Sie aber bitten, der Bitte meines ersten Schreibens zu entsprechen und mir die Beschreibung der Testmethodik und der Testbedingungen Ihrer vergleichenden Praxisversuche der Übertragungseigenschaften von Handys zukommen zu lassen.


    Mit freundlichen Grüßen


    Hans-Martin Burr



    * * *


    Antwort von Hubertus Primus per E-Mail:


    Sehr geehrter Herr Burr,


    ich habe Ihre Bitte an Herrn Nadler und Herrn Schwenke weitergeleitet, die für diese Frage die direkten Ansprechpartner sind.


    Gruß, H. Primus


    Was haltet Ihr davon, zumal die Connect-Tests selber hier sehr oft in Kritik stehen. :rolleyes:

    Wer im Glashaus sitzt soll nicht mit Steinen werfen...


    Ich will damit keineswegs die Tests der Stiftung Waretest verteidigen, aber die Connect sollte sich da wirklich zurückhalten und erstmal selber brauchbare Tests produzieren, die das Papier wert sind auf dem sie gedruckt sind, bevor sie andere Publikationen angreift.


    cu,
    Mickey09


    „Der Mann, der gesagt hat ‚Ich hätte lieber Glück als Talent.’ hat tiefe Lebensweisheit bewiesen. Manchmal will man nicht wahrhaben, wie viel im Leben vom Glück abhängt. Es ist erschreckend, wie viel außerhalb der eigenen Kontrolle liegt. Es gibt Augenblicke in einem Tennismatch, da trifft der Ball die Netzkante und kann für den Bruchteil einer Sekunde nach vorn... oder nach hinten fallen. Mit einem bisschen Glück fällt er nach vorn... und man gewinnt oder vielleicht auch nicht und man verliert.“

    Wenn ich das richtig verstanden habe, geht es ausschließlich um die Tests der Sende- und Empfangsleistung.
    Wie wir beim HK-Connect besuch feststellen konnten, sind die wirklich objektiv und sauber. Da ist nix angreifbar.
    Das Problem ist, daß nur ein einziges Gerät getestet wird. Produktionsschwankungen werden dadurch nicht berücksichtigt. Bei der Connect wurde uns zwar damals erklährt daß solche Schwankungen nicht auftreten würden, aber die Erfahrung (zB. T68) hat gezeigt daß das nicht so ist.
    Daraus resultieren, auch die geteilten Meinungen über die Connect Tests.


    Aber ich denke mal die Stiftung Warentest hat auch nicht 20 mal dasselbe Gerät getstet. Insofern würde ich die Connect Tests auf jeden Fall denen der Stiftung Warentest vorziehen.


    Daß solche probleme immer wieder in einer Schlammschlacht, ob die Connect nun Käuflich ist, oder nicht, ausarten müssen :flop:

    **** Commodore 64 Basic V2 ****
    64K RAM System 38911 Basic Bytes Free
    READY.

    Brainstorm nannte den HK-Trip zur Connect, an dem ich auch teilnahm.
    Dazu möchte ich noch was sagen...


    Die Connect hat mit ihrer Testfactory europaweit eine der besten Testlabore.
    Das ist gemäß unzähligen DIN nicht nur ne Behauptung, sondern Fakt.


    Fakt ist aber auch, daß die Connect immer nur ein Gerät testet,
    und was viel erstaunlicher ist: Dieses Gerät kommt direkt vom Hersteller,
    und nicht etwa aus dem Ladenregal, vom einenm Onlineshop oder von einem Netzbetreiber.


    Sprich: Der Hersteller kann das Gerät manipulieren (was die Connect abstreitet),
    und letztendlich bekommt der Endverbraucher qualitativ schlechtere Handys,
    und muß Produktionsschwankungen hinnehmen.


    Im Klartext bedeutet das für mich als Leser, daß ich keinem Test Glauben schenke.
    Egal von welchem Verein der kommt.


    Die besten Testmethoden, oder sagen wir lieber Mittel zum Testen,
    hat die Connect, denn sie sind spezialisiert auf Telekommunikation.
    Das bedeutet für mich aber noch lange nicht, daß jeder Test objektiv und sachgemäß von Statten geht.
    Eine gewisse Subjektivität fließt immer ein.


    Die Stiftung Warentest nimmt alles unter die Lupe, vom O-Saft bis zum Staubsauger,
    aber dabei wird das Ding mehr schlecht als Recht getestet.
    Man kann keine High-Tech Geräte ohne die nötigen Anlagen testen.


    An Zeitschriften glaube ich schon lange nicht mehr,
    viel interessanter, informativer und representativer sind Testberichte
    von erfahreren Usern wie BigBlue007 oder John.


    Und ob die Sprachqualität des Gerätes gut ist oder nicht,
    verrät mir immer noch am besten mein Ohr.

    Signatur ist so 2002.

    Zitat

    Original geschrieben von chico
    Der Hersteller kann das Gerät manipulieren (was die Connect abstreitet), und letztendlich bekommt der Endverbraucher qualitativ schlechtere Handys

    Eine interessante Behauptung, die ich auch teile, aber wohl nie beweisen werde. :rolleyes:

    Es geht ja auch nicht darum, der Connect oder den Herstellern etwas zu unterstellen
    und dies auch zu beweisen. Das wird wohl nie möglich sein.


    Aber ich persönlich war nach dem Trip überzeugter als zuvor,
    daß ich keinem Handytest irgendeiner Zeitschrift jemals glauben werde.


    Previews lese ich gerne, und die Bilder sind auch klasse.
    Aber wegen den Tests habe ich die Connect ganz sicher nicht im Abo.

    Signatur ist so 2002.

    Man sollte aber auch dran denken daß BB007 oder andere TT-Tester nur ein Gerät testen. Aber immerhin ist es ein Ladengerät, und damit sicher nicht manipuliert. Anderersits hat BB007 sicher kein Testlabor wie die Connect, und kann sich was die Sende, und Empfangsleistung angeht, nur auf subjektive Eindrücke beschränken.
    Produktionsschwankungen können den Test eines TT-Testers genauso durcheinanderbringen, wie den Test der Connect.
    Ich bin der Meinung man sollte sich auf jedem möglichen Weg über ein Handy informieren, wenn man eins kaufen will. Also sowohl über die Connect, als auch über TT. Meßergebisse in Zahlen kann ein TT-Tester kaum liefern, und schon gleich gar nicht reproduzierbar. die gibt es nur bei der Connect. Auch ein TT-Tester ist nicht sicher voll Objektiv. Das ist kein Mensch. Insofern sollte man immer mehrere (am besten möglichst viele) Tests lesen. Dann der Durchschnitt ist schon einigermaßen Objektiv. Weil sich die unterschiedlichen Meinungen gegenseitig einigermaßen aufheben.

    **** Commodore 64 Basic V2 ****
    64K RAM System 38911 Basic Bytes Free
    READY.

    Vorweg: Beide Institutionen sind für mich keine Referenz bei einer Kaufentscheidung.


    Die Connect nicht, weil ihre Resultate hier oft nicht nachvollziehbar sind und die Stiftung Warentest nicht, weil sie technische Geräte auch nur oberflächlich testet und "unwichtige" Dinge (z.B. umweltfreundlichkeit der Verpackung o.ä.) zu sehr gewichtet.


    Dennoch sehe ich im Statement der Stiftung Warentest den entscheidenen Punkt: Da heißt es, daß auf die aufwendige Meßtechnik wieder verzichtet wurde, weil die Ergebnisse zu oft von der Realität abweichten.


    Die Connect mag ja das beste und teuerste Testlabor haben, welches wirklich objektive Werte liefert. Aber dieses Labor simuliert halt nicht die Realität.


    Ich persönlich und auch wir hier auf TT (bzw. früher HK) haben doch schon oft genug die Erfahrung gemacht, daß ein Handy welches laut den Connect-Messungen z.B. Schwächen im E-Netz haben müßte in der Realität im E-Netz auch an kritischen Stellen sehr gut funkt.


    Was den Empfang betrifft, vertraue ich daher auch lieber den Berichten hier auf TT. Wobei hier leider auch viel zu oft nicht zwischen D- und E-Netz unterschieden wird sondern einfach nur gesagt wird "Das Handy hat guten/schlechten Empfang".


    Aber das diese "Methode" sogar einigermaßen objektiv ist zeigen ja auch immer wieder die Fragen nach dem Handy mit dem besten Empfang, wo sich ja doch immer wieder das S10aktive, das S25 und das R310s herauskristallisieren.


    So gesehen wäre dann auch die Untersuchung der Stiftung Warentest bezüglich des Empfangs praxisnäher und besser.


    Wobei ich meine mich zu erinner, daß die Connect zumindest früher auch den Empfang an schlecht versorgten Orten überprüft hat.

    Hallo!


    Was mich bei der CONNECT auch immer wieder stört ist die massive Abwertung, wenn keine Messung über einen externen Antennenanschluß möglich ist. Das kann für den Verbraucher doch kaum ein Argument sein, ob die vernünftig messen können, oder nicht.


    Gruß


    JEB

Jetzt mitmachen!

Sie haben noch kein Benutzerkonto auf unserer Seite? Registrieren Sie sich kostenlos und nehmen Sie an unserer Community teil!

Benutzerkonto erstellen Anmelden