Оригинал материала находится по адресу www.computerra.ru/50002/mahinatoryi-i-zakon-benforda-magiya-chis/
18.01.2013
Махинаторы и Закон Бенфорда: магия чисел как лакмусовая бумажка
Отчёты о состоянии дел — будь они корпоративные или государственные — это почти никогда не истина в последней инстанции. Да, есть законы, регулирующие что и как раскрывать, рассчитывать, в какой форме подавать, и в одних странах они жёстче, чем в других — что, кстати говорят, всегда хорошо: прозрачность всегда идёт на пользу и считается, к примеру, что Соединённые Штаты, вышедшие из экономических потрясений XX века с более строгими правилами корпоративной отчётности, именно благодаря им стали лучшей в мире площадкой для стартапов и инвесторов.
Но, как говорится в бессмертной «Матрице», что-то можно обойти, другое нарушить. С отчётами в точности так. Растянуть амортизацию, выдать поставки за продажи (вспомните «Акман против Гербалайф»?), скрыть до поры до времени лишние расходы… Манипуляции с отчётностью — настоящее искусство. Если за дело берётся профессионал, отличить выдумку от правды будет чрезвычайно сложно. Но всё-таки возможно. И когда такое происходит, жди скандала.
Помните, как Сергей Голубицкий покусился на продажи Самсунга (см. «Как нам постоянно врут» и «Ведущий анализм»)? Я и до сих пор опасаюсь использовать самсунговскую статистику в своих материалах: вне зависимости от того, сколь крупной была подтасовка, уверенности, что один раз испачкавшись, электронный гигант не соврёт повторно, уже нет. Но сегодня хочу рассказать о другом примере, к которому приковано внимание западной деловой прессы как раз в эти дни. В центре внимания — фактически тоже корпорация, только с иным масштабом степеней: Китай. На днях сразу несколько исследовательских групп высказали сомнения в корректности официальных цифр экономического роста, публикуемых КНР.
Поднебесная переживает не лучшие времена и, в частности, демонстрирует слабейший в новом тысячелетии результат прироста ВВП (китайской слабости, впрочем, многие могут позавидовать: почти восемь процентов прибавки за год). А проблема собственно в том, что руководство страны отрапортовало о неожиданно резком росте экспортной статьи, чем и вызвала осторожные сомнения западных аналитиков (ANZ Bank, Goldman Sachs, UBS). Очевидный диссонанс между слабой экономикой и нереально сильным всплеском экспорта заставил усомниться в озвученных цифрах, и — копнуть глубже, в надежде выявить подделку. Тут-то и всплыли интересные детали.
Исследователи из ANZ Bank подвергли китайскую макроэкономическую отчётность действию забавного математического инструмента под названием Закон Бенфорда (ориг. Benford’s law). Иногда его также называют Законом первой цифры, но вообще говоря, это не закон природы, а скорее эмпирическое правило, выведенное на основе наблюдений в конце XIX века канадским астрономом Саймоном Ньюкомбом. Как утверждает легенда, листая математические таблицы, Ньюкомб обратил внимание на странную вещь: первые странички были истрёпаны сильнее всего. Тогда-то он и сформулировал своё контринтуитивное правило. Впрочем, история часто несправедлива — и формула оказалась вписана в учебники под именем американского инженера Фрэнка Бенфорда, который повторил открытие Ньюкомба полвека спустя.
Так вот, представьте себе числовую последовательность, содержащую несколько сотен членов: скажем, ежеквартальный процентный прирост внутреннего валового продукта некоторого государства за достаточно продолжительный период. И попробуйте предположить, как часто первой цифрой каждого числа будет единичка, двойка, тройка и далее вплоть до девяти? Здравый смысл подсказывает, что цифры должны встречаться одинаково часто. Но вопреки здравому смыслу, в действительности единичка будет встречаться чаще всего, двойка чуть реже, тройка реже двойки, но чаще четвёрки и т.д.
Собственно в этом и заключается наблюдение Ньюкомба-Бенфорда: частотное распределение цифр в потоке данных, полученном от естественных процессов, имеет особый характер. Грубо говоря, в трети всех случаев числа последовательности должны начинаться с единицы, каждое шестое — с двойки, каждое седьмое с тройки, и так далее по убывающей. Эта странная ниспадающая зависимость справедлива не только для первой цифры: вторая и последующие тоже ей подчиняются, разве что в менее выраженной форме.
Что это за естественные процессы, подпадающие под действие Закона Бенфорда? Да любые процессы/последовательности в реальном мире, на которые не в силах оказать значительное влияние отдельно взятый человек. Длина рек и высота гор, смертность и рождаемость, колебания цен на биржевых площадках и доходы хедж-фондов, численность приверженцев той или иной религии и результаты голосований. Понятно, что в каждом конкретном случае график частотного распределения будет не таким красивым и гладким, как предсказывает математика. Но в общем и целом, если соблюдаются некоторые условия (нет верхней и нижней границ для последовательности; результаты измерений описываются несколькими разрядами), получившаяся картинка должна совпадать с предсказанной Бенфордом.
Почему цифры ведут себя именно так, а не иначе? Отчасти это связано с самой природой счёта, но в данном случае для нас важней другое: чем такое правило может оказаться полезным? Для Ньюкомба, а равно и Бенфорда, оно, похоже, было лишь забавным наблюдением. Только в 70-х годах прошлого века пришло понимание практической ценности. В самом деле, если Закон Бенфорда справедлив для естественных числовых рядов, не подвергавшихся коррекции вручную, то можно предположить, что любые манипуляции с членами ряда приведут к искажению частотного графика. Именно от этого и стали отталкиваться исследователи в самых разных областях, прежде всего в экономике и финансах, используя старое правило как лакмусовую бумажку.
Не всегда и не везде отклонения от теоретической кривой означают вмешательство человека: в случае с оценкой рождаемости, например, значительное влияние может оказать война или экономический кризис. Но когда речь идёт о финансовых отчётах, вывод почти всегда один: подделка!
Проанализировав с помощью Закона Бенфорда вторую цифру ежеквартальных процентных приростов ВВП (а также промпроизводства, инфляции и пр.) за два последних десятилетия, исследователи пришли к выводу, что имеют дело (в лучшем случае) с сознательной лёгкой подтасовкой: нолик и числа до 5 встречаются слишком часто. Вероятно, китайские государственные пиарщики округляют показатели роста в большую сторону, чтобы экономическая ситуация выглядела лучше.
Насколько можно доверять Закону Бенфорда? В Штатах, например, суды принимают основанные на нём доводы в качестве улики. Но он конечно же не идеален. Так анализ результатов парламентских выборов 2011 года в России позволяет предположить подтасовку в пользу «Единой России». Но, скажем, попытки на скорую руку вывести на чистую воду Берни Мэдоффа, потерпели фиаско: его месячные отчёты рисуют частотную картину, вполне соответствующую теории. Вот почему австралийцы, указывающие на несоответствие китайской статистики Бенфорду, делают осторожный вывод: утверждать, что речь идёт о подтасовке, нельзя, но есть хороший повод усомниться в чистоте данных.
Чтобы использовать Закон Бенфорда дома или в офисе, не требуется быть математиком: скажем, в популярном свободном инструменте GNU R есть соответствующая функция и примеры. Для чего его можно применить? Прежде всего для выявления махинаторов всех сортов. А биржевым игрокам такой анализ может дать дополнительную хорошую идею для торговли.
закон_Бенфорда,GNU_R,математика,сделай_сам,Китай,обмани_меня,статистика,отчётность