Не подменен ли объект исследования?

Когда изучаете статистические показатели, особенно внимательно следите, не произошло ли подмены в процессе перехода от исходных данных к выводам. Прискорбно часто бывает, что исследуют одно, а, сообщая результаты, называют это другим.

Как уже отмечалось, рост зарегистрированных случаев заболевания – не всегда то же самое, что рост самих случаев заболевания. Если кандидат выходит в победители по данным «соломенных опросов» [31] , это не всегда то же самое, что результат самих выборов. Если «типичная представительная группа» аудитории издания назвала в качестве предпочтительных статьи на международные темы, это еще не доказывает, что эти люди непременно будут читать подобные статьи.

Количество случаев заражения энцефалитом в Калифорнийской долине за 1952 г. оказалось втрое выше, чем в самом неблагоприятном году из предыдущих. Многие встревоженные жители поспешили отправить своих детей куда-нибудь подальше. Но когда все данные были сведены воедино, они не показали сколько-нибудь существенного роста смертности от летаргического энцефалита. Причиной тревожной статистики послужило следующее: значительные силы сотрудников органов здравоохранения штата и федерального ведомства были привлечены, чтобы найти решение проблемы в долгосрочном плане, и в результате их усилий было зарегистрировано и учтено множество случаев легкой формы заболевания, каковые в прошлые годы не фиксировались и, возможно, даже не были выявлены.

Все это живо напоминает историю о том, как двое нью-йоркских репортеров, Линкольн Стеффенс и Джейкоб Риис, однажды создали волну преступности. Криминальная хроника в газетах разрослась до таких масштабов (по числу упоминавшихся преступных деяний, отведенному им газетному месту и величине шрифта, каким печатались эти сообщения), что общественность потребовала решительных действий. Теодор Рузвельт, в те поры лично возглавлявший реформирование полицейского управления, попал в незавидное положение. Однако волну преступности он утихомирил самым простым способом: потребовал, чтобы Стеффенс и Риис прекратили нагнетать ситуацию. Корень бед, как выяснилось, состоял в том, что с подачи этой парочки газетные репортеры развернули соревнование, кто сумеет накопать больше всего информации о кражах со взломом и прочих преступлениях. Между тем официальная полицейская статистика не зафиксировала вообще никакого роста преступности.

«Британец старше 5 лет отмачивает себя в горячей ванне в среднем 1,7 раза в неделю зимой и 2,1 раза в летний сезон, – говорится в газетной заметке. – Британка же за неделю принимает ванну в среднем 1,5 раза в неделю зимой и 2,0 раза летом». Источником сведений стал проведенный Министерством общественных работ Великобритании опрос о пользовании горячей водой, в котором участвовали «6000 британских семей». Выборка отвечает требованиям репрезентативности, говорилось в итоговом докладе, и представляется вполне подходящей по размеру. Что оправдывает вывод, который сан-францисская газета Chronicle’s сформулировала следующим забавным заголовком: «БРИТАНЦЫ ПРИНИМАЮТ ВАННУ ЧАЩЕ, ЧЕМ БРИТАНКИ».

Сведения эти могли бы больше сказать о положении дел, если бы отчет содержал хотя бы намек на указание, будут ли приведенные цифры средним или медианным значением. Но самое слабое место в этих сведениях – это что по ходу исследований произошла подмена понятий. Добытые министерством сведения в реальности говорят о том, насколько часто британцы, по их собственным словам, принимают ванну, а не о том, насколько часто они делают это на самом деле. Когда вопрос касается такой сугубо интимной темы, да еще в свете британской традиции часто принимать ванну, нельзя исключать, что ответы респондентов и то, как они поступают в реальности, совсем не одно и то же. В жизни британец с равным успехом может принимать ванну как чаще, так и реже своей соотечественницы. Так что единственное, о чем можно судить с уверенностью, это что британцы говорят, что дела обстоят именно так.

Приведу еще несколько разновидностей подмены объекта исследований, чтобы вы были начеку и при случае не пропустили чего-то подобного.

После того как перепись населения показала, что в 1935 г. в США стало на полмиллиона больше ферм, чем пятью годами раньше, многие усмотрели в этом тенденцию к возвращению на фермы. Однако два этих подсчета имели в виду далеко не одно и то же. За те пять лет само определение фермерского хозяйства, которым руководствовалось Бюро переписи населения США, изменилось, и в итоге при новой переписи к категории фермерских были отнесены как минимум 300 000 хозяйств, которые, согласно действовавшему в 1930 г. определению, таковыми не считались и потому учтены не были.

Порой возникают и настоящие нелепости, если цифры основываются на том, что говорят сами люди, – даже когда речь идет об объективных вроде бы фактах. Так, перепись населения выявила большее количество людей в возрасте, скажем, 35 лет, чем тех, кому 34 и 36. В подобных случаях картина искажается оттого, что кто-то из членов семьи, сообщая о возрасте домочадцев и не будучи в нем точно уверенным, часто следует привычке округлять года до величины, кратной пяти. Один из способов обойти подобные ошибки – просить, чтобы респонденты называли не возраст, а дату рождения.

Или такой случай: сообщалось, что население крупного района Китая составляет 28 миллионов человек. Спустя пять лет численность населения была уже 105 миллионов. Однако реальный рост населения составлял лишь малую долю этого почти четырехкратного увеличения. Огромную разницу между двумя этими показателями можно объяснить, только принимая во внимание цели переписей населения в том районе, и степень готовности самих жителей быть переписанными. Как выяснилось, первая перепись проводилась в интересах налогообложения и военных нужд, а вторая – для того, чтобы разработать меры по борьбе с голодом.

Нечто подобное случилось и в США. Перепись населения 1950 г. выявила больше граждан в возрасте 65–70 лет, чем было зафиксировано десять лет назад в возрастной группе 55–60 лет. Такую разницу явно нельзя списать на иммиграцию. Думается, причиной расхождения послужило желание многих получить социальное страхование, и потому люди в массовом порядке завышали свой возраст. Возможно также, что некоторые представители старшей возрастной категории (за 70) из тщеславия занизили свой реальный возраст.

Еще один образчик подмены объекта исследования явил сенатор Уильям Лангер, когда возопил, что «мы могли бы взять заключенного из “Алькатраса” и поместить на содержание в “Уолдорф-Асторию” – дешевле бы обошлось…» Дело в том, что сенатор от Северной Дакоты ссылался на ранее опубликованные данные, что содержать узника в тюрьме «Алькатрас» стоит $8 в сутки, а «это стоимость номера в хорошем сан-францисском отеле». Здесь произошла подмена общих затрат на содержание (в «Алькатрасе») на одну только стоимость номера в отеле.