«Шум» — это не просто книга, а новое революционное исследование, в котором автор бестселлера «Думай медленно... решай быстро» Даниэль Канеман, совместно с профессором стратегии высшей коммерческой школы Парижа Оливье Сибони и бывшим сотрудником администрации Белого дома Кассом Санстейном, изучают «шум», постороннее влияние на наши суждения в самых разных областях, от криминалистики и экономического прогнозирования до медицины и юриспруденции. Но это еще не все. Авторы дадут практические советы о том, как снижать уровень этого самого «шума», а значит — находить лучшие решения.
Эта книга посвящена профессиональным суждениям в широком смысле. Предполагается, что те, кто выносит такие суждения, компетентны и стремятся к точным результатам. Однако само понятие суждения поневоле подразумевает, что в его точности никогда нельзя быть уверенным до конца.
Задумайтесь о значении выражений «субъективная оценка» или «субъективное решение». Никто не назовет субъективными утверждения о том, что завтра снова взойдет солнце или что формула хлорида натрия — NaCl. Ожидается, что каждый разумный человек безусловно с этим согласится. В субъективные оценки заложена доля неопределенности, и мы допускаем, что здравомыслящие и компетентные люди могут иметь разные мнения.
Существует, однако, некий предел тому, насколько сильно мнения могут не совпадать. Действительно, слово «суждение» в основном используют, когда предполагается некое согласие. Субъективные суждения не то же самое, что личные мнения или вкусы, где непреодолимые разногласия вполне допустимы. Руководители страховой компании, которых поразили результаты ревизии шума, едва ли удивились бы тому, что оценщики убытков имеют полярно противоположные взгляды на достоинства «Битлз» и «Роллинг Стоунз» или, к примеру, тунца и горбуши.
Субъективные суждения, в том числе профессиональные, находятся где‑то между фактами и вычислениями, с одной стороны, и личными мнениями или вкусами — с другой. Для них характерно ожидание ограниченных разногласий.
Ответ на вопрос о допустимом масштабе разногласий в суждениях сам по себе является субъективной оценкой, зависящей от сложности проблемы. Особенно нетрудно достичь согласия по поводу суждений, лишенных здравого смысла. Судьи, чьи приговоры по типичному делу о мошенничестве могут сильно различаться, сойдутся в том, что штраф в размере одного доллара или пожизненный срок здесь совершенно неуместны. Члены жюри на конкурсе вин могут спорить по поводу победителей, но единогласно забракуют неудачные вина.
Прежде чем говорить о процессе вынесения суждений, мы предлагаем вам попробовать вынести свое собственное. Глава принесет больше пользы, если вы выполните нижеследующее упражнение до конца.
Представьте, что вы входите в комиссию, задача которой оценить кандидатов на должность генерального директора в довольно благополучной финансовой компании, столкнувшейся с ростом конкуренции. Вам нужно оценить вероятность успеха потенциального кандидата спустя два года после начала работы. Под успехом понимается способность кандидата удержаться на месте генерального директора по истечении двухлетнего срока. Оценку вероятности требуется выразить по шкале от 0 (невозможно) до 100 (определенно).
Майклу Гамбарди тридцать семь лет. Двенадцать лет назад он окончил Гарвардскую школу бизнеса и с тех пор успел поработать на разных должностях. В начале карьеры он стал основателем и инвестором двух стартапов, которые потерпели неудачу, не найдя необходимой финансовой поддержки. Затем Майкла наняла крупная страховая компания, где он быстро вырос до главного исполнительного директора в Европейском регионе. На этой должности он предложил и затем курировал изменения, позволившие оптимизировать урегулирование страховых исков. Коллеги и подчиненные находили Гамбарди эффективным, однако излишне властным и жестким: за время его пребывания в должности управленческий персонал менялся довольно часто. Сослуживцы также указывают на его честность и готовность взять на себя ответственность за неудачи. Последние два года Майкл является генеральным директором финансовой компании среднего размера, которая изначально находилась под угрозой банкротства. Ему удалось стабилизировать положение компании; коллеги считают его успешным, хотя подтверждают, что работать с ним нелегко. Гамбарди выразил заинтересованность в карьерном росте. По результатам собеседования, проведенного с ним несколько лет назад, специалисты по кадрам охарактеризовали его как в высшей степени находчивого и энергичного специалиста, отметив при этом, что он высокомерен и порой деспотичен.
Итак, Майкл претендует на должность генерального директора в относительно успешной региональной компании, столкнувшейся с растущей конкуренцией. Какова вероятность того, что, если Майкла пригласят на эту должность, он все еще будет генеральным директором два года спустя? Прежде чем продолжать читать, пожалуйста, оцените эту вероятность по шкале от 0 до 100. При необходимости перечитайте данную вам информацию.
Если вы отнеслись к этому упражнению серьезно, вероятно, оно показалось вам непростым. Информации довольно много, при этом она кажется довольно противоречивой. Вам пришлось потрудиться, чтобы составить для себя некий связный портрет специалиста, необходимый для вынесения суждения. При этом вы сосредоточили внимание на деталях, которые представлялись вам важными, и, скорее всего, не придали значения остальным. Если вас попросят объяснить свой выбор, вы назовете несколько характерных фактов, но их будет недостаточно для полноценного отчета о вашем решении.
Ваш мыслительный процесс при выполнении этого задания демонстрирует несколько особенностей умственных операций, называемых суждениями:
Поскольку каждый из этих трех шагов в сложном процессе вынесения суждения влечет за собой возникновение разброса, не следует удивляться, когда ответы на задачу про Майкла Гамбарди окажутся очень шумными. Если вы предложите это упражнение своим друзьям, скорее всего, вы обнаружите огромный разброс в оценках будущего успеха кандидата на должность. Когда мы дали это задание 115 студентам MBA, их оценки вероятности успеха Гамбарди варьировались от 10 до 95. Это очень шумный результат.
Между прочим, возможно, вы заметили, что задачка о Гамбарди и упражнение с секундомером служат примерами двух разных видов шума. Разброс во время нескольких попыток отмерить интервалы с секундомером — это шум в суждениях одного человека (вас). Разброс в задаче о Гамбарди — шум в суждениях разных людей. С точки зрения измерений первая проблема демонстрирует внутриэкспертную надежность, а вторая — межэкспертную.
Ответ, данный вами на задачу о Гамбарди, — прогнозное суждение в нашем определении этого термина. Однако оно существенно отличается от других суждений, которые мы также называем прогнозными. До какого значения завтра поднимется температура воздуха в Бангкоке? Кто победит сегодня вечером в футбольном матче? Кто станет следующим президентом? Если вы с приятелем расходитесь во мнениях на этот счет, когда‑нибудь вы все равно узнаете, кто прав. Но если вы по‑разному оцениваете шансы Гамбарди, точного ответа вы не узнаете даже со временем. Причина проста: никакого Гамбарди не существует.
Даже если бы в задаче говорилось о реальном человеке и мы знали ответ, невозможно подтвердить или опровергнуть одно‑единственное вероятностное суждение (отличное от 0 или 100%). Ответ не раскрывает, какой вероятность была изначально. Если событие, вероятность которого оценили в 90%, не происходит, само суждение о вероятности необязательно считать неудачным. В конце концов, результаты, вероятность которых оценивается в 10%, в итоге достигаются в 10% случаев. Задача о Гамбарди — пример вынесения непроверяемого прогнозного суждения. Его нельзя проверить по двум причинам: кандидатура Гамбарди — вымышленная, а ответ на задачу — вероятностный.
Многие профессиональные суждения непроверяемы. За исключением ситуаций с вопиющими ошибками, андеррайтеры, например, так никогда и не узнают, была ли стоимость полиса завышена или, наоборот, занижена. Прогнозы бывают непроверяемыми из‑за своей условности. Каким бы важным ни казалось пророчество «если мы ввяжемся в войну, нас просто раздавят», скорее всего, оно (надеемся) так и останется непроверенным. Прогнозы также могут охватывать слишком длительный период, и тогда профессионалов, которые их составили, уже нельзя будет призвать к ответу — к таким прогнозам можно, например, отнести предположения о средних температурах на планете к концу XXI века.
Повлияла ли непроверяемость ответа в задаче о Гамбарди на ваш подход к ее решению? Задались ли вы вопросом о том, существовал ли Гамбарди на самом деле? А о том, будет ли в конце главы информация о его дальнейшей судьбе? Может, вы подумали, что, даже если вы о ней узнаете, это все равно не поможет ответить на вопрос задачи? Вероятно, нет, потому что в процессе выполнения задания все эти соображения казались несущественными.
Проверяемость суждения никак не влияет на сам процесс его вынесения. Возможно, вы чуть серьезнее подойдете к обдумыванию задачи, решение которой вскоре будет дано, поскольку ваш мозг сосредотачивается больше, когда есть риск быть уличенным в неправоте. С другой стороны, вы не станете задумываться над задачей, которая абстрактна до нелепости. («Стал бы Гамбарди хорошим директором, если бы у него было три ноги и способность летать?») В общем же и целом, если гипотетическая задача правдоподобна, вы отнесетесь к ней точно так же, как и к реальной. Это немаловажно для исследований в психологии, где нередко используются вымышленные задания.
Поскольку у задачи нет решения, а вы, вероятно, даже не задумывались, будет ли оно вообще дано, вы не пытались минимизировать погрешность. Вы постарались вынести верное суждение и остановились на значении, которое не побоялись предложить в качестве ответа. Конечно, оно не вселяло в вас столько же уверенности, как утверждение о том, что дважды два четыре. Вы допускали некоторую неопределенность (и, как мы увидим, на самом деле ее больше, чем вы думали). Однако в какой‑то момент вы осознали, что дальше двигаться некуда, и сделали свой выбор.
Как вы поняли, что приняли верное или хотя бы вполне допустимое решение? Мы полагаем, вы почувствовали внутренний сигнал о том, что суждение вынесено, никак не связанный c информацией извне. Найденный ответ вполне соответствовал условиям задачи. Ощущения соответствия не возникло бы, будь ваш ответ 0 или 100: такие выводы предполагают уверенность, несовместимую с настолько беспорядочными, неоднозначными и противоречивыми условиями задачи. Однако ваш ответ, каким бы он ни был, показался вам вполне правомерным. Когда вы выносили суждение, вашей целью было найти именно правомерное решение.
Основное свойство такого внутреннего сигнала — то, что ощущение правомерности является неотъемлемой частью процесса вынесения суждения, не зависящей от реального результата. Поэтому внутренний сигнал возникает при вынесении как непроверяемых, так и проверяемых суждений. Вот почему решение задачи о вымышленном человеке вроде Гамбарди ничем не отличается от решения задач с реальными данными.
Проверяемость не влияет на процесс вынесения суждения, однако от нее зависит то, как это суждение будет оцениваться впоследствии.
Объективный наблюдатель просто оценит точность проверяемых суждений, сравнив выводы с реальным результатом. Если синоптик дал прогноз, что воздух сегодня прогреется до 70 градусов Фаренгейта, а реальная температура достигла лишь 65, значит, он ошибся на пять градусов. Очевидно, что такой подход не сработает, когда суждения проверить нельзя, как в задаче о Гамбарди, где искомого ответа просто нет. Как же тогда оценить их качество?
Существует еще один способ оценивать как проверяемые, так и непроверяемые суждения. Он заключается в оценивании процесса их вынесения. Называя одни суждения удачными, а другие неудачными, мы подразумеваем либо итоговый ответ (к примеру, число, данное вами при решении задачи о Гамбарди), либо процесс решения — то, как вы к этому ответу пришли.
Чтобы оценить процесс решения, можно понаблюдать, насколько успешно его можно применить к большому количеству задач. Представьте, что политический прогнозист оценил шансы множества кандидатов на победу в местных выборах. Вероятность победы ста из этих кандидатов он оценил в 70%. Если семьдесят человек из них в итоге будут избраны, у нас появится повод считать, что этот прогнозист действительно неплохо разбирается в деле. Проверяемой является вся совокупность этих суждений, тогда как признать единственное вероятностное суждение верным или неверным просто невозможно. Подобным образом установить наличие предвзятости по отношению к определенной группе людей достовернее всего можно с помощью статистики по значительному количеству случаев.
Процесс вынесения суждения можно также оценить, ответив на вопрос о его соответствии принципам логики или теории вероятностей. Многие исследования когнитивных искажений посвящены именно этому.
Если сосредоточить внимание не на результате, а именно на процессе вынесения суждения, можно оценить непроверяемые выводы, такие как гипотетические задачи или долгосрочные прогнозы. Даже не сравнивая эти выводы с реальным результатом, мы все‑таки способны определить, была ли в них допущена ошибка. Когда мы перейдем к вопросу улучшения качества суждений, а не просто их оценки, мы также уделим основное внимание именно процессу. Все процедуры, рекомендованные в этой книге для снижения уровня смещения и шума, нацелены на внедрение процессов вынесения суждений, минимизирующих ошибки в совокупности похожих ситуаций.
Мы противопоставили друг другу два способа оценки суждений: сравнение вывода с реальным результатом и оценку качества процесса, который позволил к этому выводу прийти. Заметьте, что, оценивая проверяемое суждение обоими способами, мы можем прийти к разным заключениям. Квалифицированный и осторожный прогнозист, вооруженный лучшими инструментами и методиками, время от времени ошибается, предсказывая уровень квартальной инфляции. С другой стороны, иногда даже шимпанзе, метающая дротики в дартс1, может попасть в точку.
1Имеется в виду эксперимент, поставленный в 1999 году. Шимпанзе метала дротики по мишени, на которой в случайном порядке были нанесены названия 133 компаний США. По результатам попаданий был составлен инвестиционный портфель, доходность которого составила 213%, что превзошло результаты работы 6000 брокеров с Уолл‑стрит.
Чтобы разрешить это противоречие, специалисты, изучающие принятие решений, дают четкие рекомендации: сосредоточьте внимание не на результате, полученном в индивидуальном случае, а на процессе принятия решения. Однако мы понимаем, что на практике так обычно не происходит. Профессионалов, как правило, оценивают по тому, насколько близкими их оценки оказываются к проверяемым результатам. При этом и сами они уверены, что стремятся к наиболее точному совпадению.
Итак, обычно люди убеждены, что при вынесении проверяемых суждений стремятся к совпадению прогноза с реальным результатом. На деле же, вне зависимости от степени проверяемости прогноза, они ждут внутреннего сигнала о готовности суждения, а он, в свою очередь, возникает, когда между условиями задачи и сделанным выводом не остается противоречий. Однако гораздо правильнее стремиться к тому, чтобы в процессе вынесения суждений было найдено оптимальное решение для целой совокупности похожих случаев.
До сих пор в этой главе мы подробно рассматривали прогнозные суждения, и большинство примеров, разбираемых в этой книге, относятся именно к этому типу. Однако глава 1, где речь шла о судье Франкеле и шуме в системе вынесения уголовных приговоров, исследует иной тип суждений. Вынесение приговора — это не прогноз, а оценочное суждение, призванное подобрать наказание, соответствующее тяжести преступления. Жюри винных конкурсов и ресторанные критики выносят оценочные суждения. Профессора, читающие сочинения студентов, судьи на соревнованиях по фигурному катанию и комитеты, распределяющие исследовательские гранты, также выносят оценочные суждения.
Несколько другой тип оценочных суждений выносится в ситуациях, где для принятия решения нужно рассмотреть и взвесить множество альтернатив: руководители выбирают самого подходящего кандидата на некую должность, управленцы ищут оптимальную стратегию, президенты решают, как реагировать на эпидемию в Африке. Несомненно, для решения всех этих задач нужно сначала вынести прогнозные суждения, которые послужат исходными данными. Насколько продуктивным окажется выбранный кандидат в первый год работы? Как фондовый рынок отреагирует на новый стратегический ход? Как быстро распространится эпидемия в отсутствие сдерживающих мер? Однако для окончательного решения потребуется взвесить преимущества и недостатки имеющихся вариантов, и вот здесь понадобятся оценочные суждения.
Оценочные суждения, как и прогнозные, допускают лишь ограниченные разногласия. Ни один уважающий себя федеральный судья не скажет: «Я считаю такой приговор самым подходящим, и меня совершенно не волнует, что по этому поводу думают другие судьи». При выборе стратегии компании специалисты ожидают, что коллеги и эксперты, знакомые с ситуацией и преследующие те же цели, с ними согласятся или, по крайней мере, не будут категорически против такого выбора. Оценочные суждения отчасти зависят от ценностей и предпочтений тех, кто их выносит, но их нельзя назвать делом вкуса или личным мнением.
Именно по этой причине граница между прогнозными и оценочными суждениями настолько размыта, что часто о ней даже не подозревают. Судьи, назначающие наказания, и преподаватели, оценивающие сочинения, очень серьезно подходят к своей задаче и стремятся принять «правильное» решение. Постепенно они приобретают уверенность как в верности своих суждений, так и в их мотивах. Нет никаких различий в том, как мыслят, действуют и оправдывают свои действия профессионалы, выносящие прогнозные («Будет ли этот продукт хорошо продаваться?») и оценочные суждения («Насколько продуктивным был мой ассистент в этом году?»).
Если мы обнаруживаем шум в прогнозных суждениях, это сигнализирует о проблемах. Когда мнения двух врачей по поводу диагноза отличаются, а два прогнозиста ожидают разные показатели продаж в следующем квартале, по крайней мере один из них ошибается. Ошибку можно объяснить нехваткой квалификации у одного из специалистов или каким‑то иным источником шума. Какой бы ни была причина, ошибка в суждении может иметь серьезные последствии для людей, полагающихся на диагнозы и прогнозы этих экспертов.
В оценочных суждениях шум является проблемой по другой причине. В системе, где судьи предположительно взаимозаменяемы и якобы назначаются случайным образом, значительные расхождения в приговорах по одному делу нарушают ожидания справедливости и последовательности. При значительных расхождениях в наказаниях, назначенных одному подсудимому, мы сталкиваемся с «произволом жестокости», который обличал судья Франкел. Даже судьи, которые выступают за индивидуальный подход в вынесении приговоров и имеют разные точки зрения по поводу наказания грабителю, не станут отрицать, что разногласия, превращающие судейство в лотерею, недопустимы. Это утверждение справедливо (хотя, пожалуй, с несколько меньшим накалом драматизма) в отношении огромных расхождений в отметках за одно и то же сочинение, разнобоя в оценках мер безопасности одного и того же ресторана, разброса в баллах после выступления одного и того же фигуриста или даже случаев, когда один пациент, страдающий от депрессии, получает пособие по инвалидности, а другой — с таким же заболеванием — не получает ничего.
Даже если считать, что несправедливость не так уж и страшна, в феномене системного шума кроется другая проблема. Люди, которых коснулись последствия оценочных суждений, полагают, что такие суждения отражают решение, принятое системой, а не мнение отдельно взятого судьи. Должно быть, дела плохи, если один покупатель, пожаловавшись на бракованный ноутбук, получил деньги назад, а другому достались лишь извинения от магазина; если один служащий с пятилетним стажем в компании, попросив о повышении, получил его, тогда как другой, ничем не хуже первого, услышал вежливый отказ. Системный шум — это непоследовательность, а непоследовательность подрывает авторитет системы.
Все, что нам нужно для измерения уровня шума, — это множество суждений, вынесенных по одной проблеме. При этом нет нужды знать истинный результат. Как показала история про стрельбу в тире во введении, взглянув на оборотную сторону мишени, мы не видим обозначения ее центра, зато можем наблюдать разброс попаданий. Если нам известно, что все стрелки целились в одно и то же «яблочко», мы можем измерить уровень шума. Именно эту задачу и выполняет ревизия шума. Если мы попросим прогнозистов оценить продажи в следующем квартале, шумом будет разброс в их оценках.
Понимание различия между смещением и шумом необходимо для практической цели улучшения качества суждений. Утверждение о том, что можно улучшить суждения, даже не имея шансов проверить, насколько они верны, звучит парадоксально.
Однако это действительно так — при условии, что мы начнем с измерения уровня шума. Неважно, нацелено суждение на достижение верного ответа или на более сложный компромисс между различными альтернативами, шум нежелателен и при этом часто поддается количественной оцен
«Это субъективное суждение. Люди не могут полностью во всем соглашаться».
«Да, это суждение субъективно, но некоторые оценки настолько оторваны от жизни, что просто не могут быть верными».
«Ваш выбор в пользу одного из кандидатов — отражение личных предпочтений, а не трезвое суждение».
«Для принятия решения необходимы как прогнозные, так и оценочные суждения».
Рейли Кора
Вялов Сергей Сергеевич
Охлобыстин Иван Иванович
Фэйсян Цзюлу
Анонимус
Фэйсян Цзюлу
Фонтен Максим
Третьякова Наталья Александровна
Сухарев Александр Алексеевич
Анонимус
Сенаторов Артем Алексеевич
Так Стелла
Нет глаз - нет слез
Пелевина Оксана
Касивай Хисаси
Бодлер Алиса
Хван Порым
Худе Лань
Карнеги Дейл
Сорокин Владимир Георгиевич
Рушди Салман
Рейли Кора
Тюменцева Елена Николаевна
Приветствуем вас в сообществе читающих людей! Мы всегда рады вашим отзывам на наши книги, и предлагаем поделиться своими впечатлениями прямо на сайте издательства АСТ. На нашем сайте действует система премодерации отзывов: вы пишете отзыв, наша команда его читает, после чего он появляется на сайте. Чтобы отзыв был опубликован, он должен соответствовать нескольким простым правилам:
На странице книги мы опубликуем уникальные отзывы, которые написали лично вы о конкретной прочитанной вами книге. Общие впечатления о работе издательства, авторах, книгах, сериях, а также замечания по технической стороне работы сайта вы можете оставить в наших социальных сетях или обратиться к нам по почте support@ast.ru.
Если книга вам не понравилась, аргументируйте, почему. Мы не публикуем отзывы, содержащие нецензурные, грубые, чисто эмоциональные выражения в адрес книги, автора, издательства или других пользователей сайта.
Пишите тексты кириллицей, без лишних пробелов или непонятных символов, необоснованного чередования строчных и прописных букв, старайтесь избегать орфографических и прочих ошибок.
Мы не принимаем к публикации отзывы, содержащие ссылки на любые сторонние ресурсы.
Если вы купили книгу, в которой перепутаны местами страницы, страниц не хватает, встречаются ошибки и/или опечатки, пожалуйста, сообщите нам об этом на странице этой книги через форму «Дайте жалобную книгу».
Если вы столкнулись с отсутствием или нарушением порядка страниц, дефектом обложки или внутренней части книги, а также другими примерами типографского брака, вы можете вернуть книгу в магазин, где она была приобретена. У интернет-магазинов также есть опция возврата бракованного товара, подробную информацию уточняйте в соответствующих магазинах.
Если у вас есть вопросы о том, когда выйдет продолжение интересующей вас книги, почему автор решил не заканчивать цикл, будут ли еще книги в этом оформлении, и другие похожие – задавайте их нам в социальных сетях или по почте support@ast.ru.
В карточке книги вы можете узнать, в каком интернет-магазине книга в наличии, сколько она стоит и перейти к покупке. Информацию о том, где еще можно купить наши книги, вы найдете в разделе «Где купить». Если у вас есть вопросы, замечания и пожелания по работе и ценовой политике магазинов, где вы приобрели или хотите приобрести книгу, пожалуйста, направляйте их в соответствующий магазин.
Запрещается публиковать любые материалы, которые нарушают или призывают к нарушению законодательства Российской Федерации.
Для этого войдите или зарегистрируйтесь на нашем сайте.