Die beste Analyse kann nur die Information aus den Daten rausholen, die in den Daten drinsteckt. Die Forschung im Bereich der Versuchsdesignplanung untersucht die Möglichkeiten, schon vor der Datenerhebung die Chancen für viel Information in den Daten zu maximieren. Dadurch kann man mit demselben Einsatz von z.B. Geld mehr über den Forschungsgegenstand lernen.
Grundsätzlich lassen sich Versuchsdesigns durch das spätere Analysemodell beschreiben. Kann man einen plausiblen Bereich der Parameter des Modells – sowohl des Effekts als auch der restlichen Parameter – einschätzen, kann man abschätzen, wie viel Entropie die Posteriorverteilung haben wird und ob das ausreicht, eine Hypothese über die Zielparameter mit einer vorgegebenen Sicherheit ablehnen oder annehmen zu können. Methoden dafür reichen von simpler Powerschätzung, d.h. wie viele Probanden für eine bestimmte statistische Power notwendig sind, bis hin zu komplexen Vergleichen von Studiendesigns in Designparametern wie der Probandenzahl, der Anzahl an Messitems, Anzahl an Messzeitpunkten, Anzahl an Multi-Level Einheiten wie z.B. Schulen oder Klasse, der Messgenauigkeit, der Studienlänge oder der Größe eines vernachlässigbaren Effekts.
Zwei Messdesigns, die dieselbe statistische Power aufweisen – also z.B. dieselbe erwartete Entropie eines Zielparameters – bezeichnet man als poweräquivalent. Will man z.B. die Wirkung eines Trainingsprogramms messen, dann können wir z.B. mit weniger Probanden denselben erwarteten Informationsgewinn bekommen, wenn wir dafür das Trainingsprogramm etwas länger laufen lassen und dadurch den Gesamteffekt steigern. Da das Trainingsprogramm und Probanden mit unterschiedlichen Kosten – finanziellen Kosten, Arbeitsaufwand, Last für die Probanden – einhergehen, lohnt es sich, diese Designs zu vergleichen und eins auszuwählen, dass am wenigsten Ressourcen benötigt. Der Übergang zwischen poweräquivalenten Modellen erfolgt in mathematisch beschreibbaren Regeln.
Am Thomas Bayes Institut forschen wir (1) an mathematischen Wegen, den Raum möglicher Versuchsdesigns nach dem effizientesten Design zu optimieren, (2) der Übertragbarkeit des Konzepts auf bayesianische Beschreibung von statistischer Power und (3) an Softwareentwicklung, um angewandten Forschern einfach zu ermöglichen, verschiedene Designs zu vergleichen und, gegeben die Constraints des konkreten Forschungsvorhaben, das Design zu finden, dass in dieser Forschungssituation ressourceneffizientesten ist.