Результаты разработки новой методологии определения индекса цен «Планеты Оболонь» рассматривались на научном семинаре в Институте кибернетики НАН Украины

17 марта 2010 года Владимир Коломейко выступил на научном семинаре в Институте кибернетики имени В.М.Глушкова НАН Украины с докладом «Методология определения индекса цен рынка недвижимости с учетом особенностей происходящих на рынке процессов, а также злонамеренного интрудерского воздействия на базы данных».



Читать дальше >>

Вы всегда молодцы

Ниасилил. Можно перевести на "наш"?
Как будет считаться индекс? Только понятным языком плиз. Создаётся впечатление, что хотят заморочить голову.

Браво, в который раз браво...

Цитата:

Ниасилил. Можно перевести на "наш"?
Как будет считаться индекс? Только понятным языком плиз. Создаётся впечатление, что хотят заморочить голову.

Начну с конца.
Стремления заморочить кому-либо голову - нет.
Есть стремление усовершенствовать уже существующее и/или предложить что-то новое.
Теперь по сути.
Уже достаточно давно мы параллельно рассчитываем достаточно много разных типов индексов стоимости киевской недвижимости.
Публикуем два (очень близких по методологии) индекса: недельный и месячный.
Основы этой методологии нам предоставили московские коллеги из аналитического центра ИРН.

Мы эту методологию адаптировали для киевского рынка недвижимости и внесли в нее несколько новых вещей, связанных с:
- отсеиванием дублей и недостоверной информации,
- учетом цен торгов,
- учетом цен реальных продаж,
- аппроксимацией ("сглаживанием" кривых.
Насколько принципиальны внесенные нами изменения - сказать сложно. Москвичи, наверное, тоже делают нечто подобное, но как и что именно - данных нет.
И обо всем этом мы писали много раз.

Помимо этой методологии (которую мы до сих пор именуем методологией ИРН), разработали еще несколько принципиально новых методологий.
Расчеты по ним ведем, но результаты не публикуем. Ибо когда появляется два принципиально разных индекса, то у пользователей возникают трудности (в том числе, связанные с непониманием и устоявшими привычками).

Одна принципиально новая методология основана на том, что индекс по Киеву определяется не по "сгущениям" в так называемом "ядре выборки", а по наиболее характерным для Киева сегментам рынка.
Степень "характерности" определяется по двум параметрам:
- количеству объектов в данном сегменте рынка (чем больше объектов, тем выше степень "характерности");
- разбросу цен в данном сегменте рынка (чем меньше разброс - тем выше степень "характерности"). Разброс же цен характеризуется среднеквадратичным отклонением (СКО) выборки.
Чем меньше СКО - тем выше степень "характерности" сегмента. А чтобы выделить наиболее характерные сегменты, мы СКО еще и в степень возводим.
В результате получаем целое семейство индексов (за которыми пока лишь наблюдаем).

Вторая принципиально новая методология заключается в использовании "метода приведения параметров квартир к усредненным".
Дело в том, что при всех прочих равных условиях, квартира в центре стоит дороже, чем "усредненная". А квартира на дальней окраине - дешевле, чем "усредненная".
То же самое относится и к состоянию квартиры. Квартира с "евроремонтом" и встроенной мебелью стоит дороже чем "усредненная", а "убитая" - дешевле "усредненной".
Вот мы и разработали методологию, которая вначале приводит параметры квартир в конкретном сегменте к "усредненным", а уж затем анализирует тенденции изменения цен (в данном сегменте и по всему рынку в целом).
Обе эти методики могут работать совместно.
Есть и другие новации.
Основные сложности заключаются в том, что приходится (в первую очередь) опираться на цены предложений, а не на цены продаж (как это принято во всем мире).

Цитата:

.... Одна принципиально новая методология основана на том, что индекс по Киеву определяется не по "сгущениям" в так называемом "ядре выборки", а по наиболее характерным для Киева сегментам рынка.

Уточняющий вопрос. Я правильно поняла, что по Киеву рассматриваются несколько "ядер выборки". То есть РН Киева разделяется на несколько характерных сегментов. Затем в каждом характерном сегменте определяется своя зона сгущения - свое ядро выборки характерного сегмента РН Киева?

Цитата:

Вот мы и разработали методологию, которая вначале приводит параметры квартир в конкретном сегменте к "усредненным", а уж затем анализирует тенденции изменения цен (в данном сегменте и по всему рынку в целом).

Вопрос. я правильно поняла, что ... в конкретном сегменте к "усредненным" не по Киеву, а к "усредненным" по этому же конкретному сегменту?

Похоже риелторам прочли лекцию по высшей математики, как второкурсникам. Поскольку замечаний небыло, для всех присутствующих это было в диковинку ?! ИМХО давно нужно использовать DSS (англ. Decision Support System), а не будеттолькодорожать

Цитата:

Уточняющий вопрос. Я правильно поняла, что по Киеву рассматриваются несколько "ядер выборки". То есть РН Киева разделяется на несколько характерных сегментов. Затем в каждом характерном сегменте определяется своя зона сгущения - свое ядро выборки характерного сегмента РН Киева?

Нет, не правильно.
«Сгущения» можно использовать там, где:
- цены не очень отличаются;
- объектов достаточно много для того, чтобы образовывать устойчивые/явные сгущения.

На практике это означает, что при определении общегородского индекса цен фактически отбрасываются «дорогие» и «самые дешевые» квартиры. А при вычислении индекса цен по «малой выборке» (например, по району) явно выраженных стабильных «сгущений» может и не быть.
И это существенный недостаток методологии ИРН.
Потому в своей методологии ориентируемся не на «сгущения», а на выбранные сегменты.
Каждый выбранный сегмент учитывается с вполне конкретным весом, зависящим от его «представительности» (характерности).
«Представительность» прямо пропорциональна количеству объектов в данном сегменте и обратно пропорциональна квадрату СКО (за достаточно продолжительное время, например, за последний год).

Это основная идея.
А конкретная ее реализация может быть разной.
В частности, такой: учитываем вклад конкретного сегмента (например, вклад «украинского кирпича» в Дарницком районе) в виде произведения коэффициента «представительности» (в районе или в городе) на медианную цену «украинского кирпича» в этом районе.
А определив вклад всех выбранных сегментов, определяем индекс цен в конкретном районе и в городе в целом.

Цитата:

Вопрос. я правильно поняла, что ... в конкретном сегменте к "усредненным" не по Киеву, а к "усредненным" по этому же конкретному сегменту?

На данном этапе – да.
Но при этом работаем над уточнением значений матрицы, с помощью которой сможем «приводить» параметры подавляющего большинства киевских квартир к «усредненным» по Киеву.

2Константин
На семинаре преобладали математики и программисты.
Правда, тематика, связанная с индексами цен для большинства (?) была достаточно новой. Но люди там весьма толковые (специалисты в "сложных системах" - то есть в таких системах, которые простыми методами адекватно не опишешь).
И вполне способны разобраться в новой тематике.

Цитата:

Начну с конца.

Основные сложности заключаются в том, что приходится (в первую очередь) опираться на цены предложений, а не на цены продаж (как это принято во всем мире).

Владимир, не кажется ли Вам, что Вы действительно начали с конца... т.е. не определив общий алгоритм (если хотите, стратегию подхода к решению вопроса), взялись за техническую сторону вопроса... если что, придется многое пересматривать и переделывать... как на организационном так и техническом уровне.


Если закрытость информации по ценам продаж - данность, нужно находить варианты решения вопроса на существующих условиях. Вы же согласитесь, что даже очень мудрая система подсчета чего-либо, очень сильно зависит от первоисточника информации. Вариант, даже очень качественной работы человека/группы людей по определению адекватности базы данных и ее деления - несостоятелен (и не только из-за неизбежного "субъективизма")

ЗЫ Но, вообще-то, хорошо уже то, что вы работаете в этом направлении...

Ого риэлторы - кибернетики!!!
Аж разрывает от смеха!
Вот людей грузят....
Уже и таким способом(

2222
Я не риэлтор. Посредником никогда не был.
А то, что рынок недвижимости изучаю... Так его очень многие изучают.

P.S.
Кстати, кибернетика - это наука о принятии эффективных решений.
Отечественный рынок недвижимости - отличный полигон для проведения научных исследований в области подготовки и принятия ответственных решений в условиях неопределенности.

Цитата:

Владимир, не кажется ли Вам, что Вы действительно начали с конца... т.е. не определив общий алгоритм (если хотите, стратегию подхода к решению вопроса), взялись за техническую сторону вопроса... если что, придется многое пересматривать и переделывать... как на организационном так и техническом уровне.

Стратегию и общий подход мы определили.
Это создание человеко-машинных методов и алгоритмов отсеивания недостоверной и ложной информации, а также формирования ядра выборки, анализ которого позволяет судить о тенденциях изменения цен на рынке недвижимости.

Цитата:

Если закрытость информации по ценам продаж - данность, нужно находить варианты решения вопроса на существующих условиях.

Именно этим мы и занимаемся.
Выискиваем всю релевантную информацию (то есть такую информацию, которая так или иначе относится к данной проблеме), разрабатываем методики/алгоритмы, позволяющие использовать всю эту информацию.
У нас ведь индексы цен учитывают не только цены предложений, но и цены продаж, а также цены торгов (уступок при торгах).
При выборе методик аппроксимации учитываем и мнения экспертов.
Кроме того, с помощью одних источников стараемся перепроверить другие источники.
Сочетая различные источники, дополняем информацию (о параметрах квартир, ценах, торгах, сделках…)
Опираясь на «сильные стороны» людей, пытаемся восполнить недостатки компьютеров (формализованных методов, которые заложены в их алгоритмы). И наоборот, опираясь на «сильные стороны» компьютеров, пытаемся компенсировать недостатки людей.

Цитата:

Вы же согласитесь, что даже очень мудрая система подсчета чего-либо, очень сильно зависит от первоисточника информации.

С этим согласен.
Но в подобных вещах люди обычно полагаются на многие источники информации.
Если же источник информации лишь один, то и выводам /результатам относятся соответственно.

Цитата:

Вариант, даже очень качественной работы человека/группы людей по определению адекватности базы данных и ее деления - несостоятелен (и не только из-за неизбежного "субъективизма")

С этим (с несостоятельностью) не согласен.
На рынках, где торгуют многими/разными товарами, изрядная доля субъективизма присуща любым индексам цен.
Вот отрывок из моего доклада, посвященного зарубежным индексам цен.
- - - - - - -
В настоящее время в мире широко используются достаточно много индексов цен (среди наиболее известных: Dow Jones, DAX, S&P500, FTSE100, Nikkei, NASDAQ, САС 40, РТС, ММВБ). И строятся они, как правило, на разной базе. Например, индекс Dow Jones учитывает изменение курсов акций 30 компаний, индекс FTSE100 – 100 компаний, индекс S&P500 - 500 компаний.

У разработчиков каждого индекса свои резоны, почему среди огромного количества компаний выбраны именно эти. Серьезных формальных обоснований автор в литературе не встречал. Каждый индекс цен имеет свои плюсы и минусы, сферы применения, пользователей, сторонников.

Одна из основных причин такой множественности индексов цен заключается в методологии их построения. Разработчики опираются не только на объективную информацию, но и на субъективные представления о том, курсы акций каких компаний дают наиболее адекватное представление о процессах, происходящих на данном рынке.

Необходимо понимать, что рыночные процессы описываются не только объективными показателями, но и восприятиями отдельных людей, выводами экспертов, пропагандистскими материалами.

Сопоставление индексов цен с представлениями людей о рыночных процессах неизбежно опираются на степень информированности наблюдателей, на их приоритеты.

Те факторы и тенденции, которые для одних наблюдателей представляются важными, для других нередко представляются второстепенными.

Все это непосредственно влияет на методологию, в том числе, на выбор так называемого «ядра» (списка компаний, сегментов рынка, товаров), на основании анализа которого формируется индекс цен. Влияет это и на мнения экспертов при выборе весов отдельных составляющих «ядра».

Роль субъективных факторов существенно возрастает в случае, если индекс цен разрабатывается на перспективу.
Формальной экстраполяции существующих тенденций в этих случаях недостаточно. Требуются прогнозные оценки, учитывающие различные сценарии развития событий, в том числе возможные изменения устремлений и стиля жизни отдельных групп людей и общества в целом.

При этом в методологию нередко закладываются возможности изменения «ядра» и весов отдельных его составляющих.
Основная сложность заключается в том, что подобные изменения не должны влиять на прошлые и текущее значение индекса. Это возможно лишь при «сшивании» процессов и зависимостей. Математические методы при этом нередко приходится дополнять «ручным» изменением некоторых алгоритмов и коэффициентов.

Так что субъективизм разработчиков и пользователей индексов присутствует на многих этапах. Даже в тех случаях, когда индексы строятся исключительно на достоверных данных о ценах продаж.

Владимир, я закончил КГУ в 1973 году. Летичевский в те годы читал нам лекции на факультете кибернетики. Вот уже в течении года я злонамеренно воздействую на базы данных риелторов.
Моя цель купить дешево в Киеве. Это ответ.
Совет Вам Владимир, алгоритмы в недвижимости нечеткие.Следует применить Теорию нечетких множеств француза Заде.
Академику Александру Адольфовичу Летичевскому передайте привет от студента Сильвера.

Цитата:

С этим (с несостоятельностью) не согласен.
На рынках, где торгуют многими/разными товарами, изрядная доля субъективизма присуща любым индексам цен.
Вот отрывок из моего доклада, посвященного зарубежным индексам цен.
- - - - - - -
В настоящее время в мире широко используются достаточно много индексов цен (среди наиболее известных: Dow Jones, DAX, S&P500, FTSE100, Nikkei, NASDAQ, САС 40, РТС, ММВБ). И строятся они, как правило, на разной базе. Например, индекс Dow Jones учитывает изменение курсов акций 30 компаний, индекс FTSE100 – 100 компаний, индекс S&P500 - 500 компаний.

У разработчиков каждого индекса свои резоны, почему среди огромного количества компаний выбраны именно эти. Серьезных формальных обоснований автор в литературе не встречал. Каждый индекс цен имеет свои плюсы и минусы, сферы применения, пользователей, сторонников.

Одна из основных причин такой множественности индексов цен заключается в методологии их построения. Разработчики опираются не только на объективную информацию, но и на субъективные представления о том, курсы акций каких компаний дают наиболее адекватное представление о процессах, происходящих на данном рынке.

Необходимо понимать, что рыночные процессы описываются не только объективными показателями, но и восприятиями отдельных людей, выводами экспертов, пропагандистскими материалами.

Сопоставление индексов цен с представлениями людей о рыночных процессах неизбежно опираются на степень информированности наблюдателей, на их приоритеты.

Те факторы и тенденции, которые для одних наблюдателей представляются важными, для других нередко представляются второстепенными.

Все это непосредственно влияет на методологию, в том числе, на выбор так называемого «ядра» (списка компаний, сегментов рынка, товаров), на основании анализа которого формируется индекс цен. Влияет это и на мнения экспертов при выборе весов отдельных составляющих «ядра».

Роль субъективных факторов существенно возрастает в случае, если индекс цен разрабатывается на перспективу.
Формальной экстраполяции существующих тенденций в этих случаях недостаточно. Требуются прогнозные оценки, учитывающие различные сценарии развития событий, в том числе возможные изменения устремлений и стиля жизни отдельных групп людей и общества в целом.

При этом в методологию нередко закладываются возможности изменения «ядра» и весов отдельных его составляющих.
Основная сложность заключается в том, что подобные изменения не должны влиять на прошлые и текущее значение индекса. Это возможно лишь при «сшивании» процессов и зависимостей. Математические методы при этом нередко приходится дополнять «ручным» изменением некоторых алгоритмов и коэффициентов.

Так что субъективизм разработчиков и пользователей индексов присутствует на многих этапах. Даже в тех случаях, когда индексы строятся исключительно на достоверных данных о ценах продаж.

Спорить не буду. Это ваши индексы и вам видней что состоятельно, а что нет.

Но, по моему мнению, индекс должен формировать себя сам. И, если речь идет о ядре выборки, как первоисточнике, то и оно не должно быть подвержено ручной коррекции.

А в приведенные Вами примеры индексов, насколько мне известно, выбираются не имена (т.е. не конкретные компании), а определяются правила, при соблюдении которых компания попадает в зону или вылетает из нее... и это в рамках квот по отраслям (т.е. при соблюдении правил)
Таким образом, Вы не разводите понятия правил формирования ядра и способов его наполнения.

Не скажете, какие правила формирования ядра вы определили?
Если это будут делать даже супер профессионалы с учетом абсолютно всех изменений и тенденций развития рынка - индексы будут неинформативны и несостоятельны. Здесь, нужно развести понятия аналитики и индексов.

Цитата:

Спорить не буду. Это ваши индексы и вам видней что состоятельно, а что нет.

Но, по моему мнению, индекс должен формировать себя сам. И, если речь идет о ядре выборки, как первоисточнике, то и оно не должно быть подвержено ручной коррекции.

А в приведенные Вами примеры индексов, насколько мне известно, выбираются не имена (т.е. не конкретные компании), а определяются правила, при соблюдении которых компания попадает в зону или вылетает из нее... и это в рамках квот по отраслям (т.е. при соблюдении правил)
Таким образом, Вы не разводите понятия правил формирования ядра и способов его наполнения

Разговор о принципах выбора ядра. И о конкретных алгоритмах его выбора.
Вот основные (ИМХО) принципы выбора «ядра»:

1. Наиболее массовый принцип. Принцип выбора «корзинки товаров», по изменению стоимости которой судят об индексе цен на конкретном рынке (а также об уровне доходов, инфляции, прожиточном минимуме и многом другом);

2. Принцип «индекса Биг Мака»: среди множества товаров эксперты выбирают наиболее представительный (вернее, стандартный и распространенный во всем мире), и по изменению цен на этот товар судят о реальных курсах валют, состоянию экономики, покупательной способности населения;

3. Принцип опоры на социологические опросы (так называемые «диффузионные индексы» или индексы деловой активности). О состоянии экономики и ценам судят на основании социологических опросов представителей соответствующих «целевых аудиторий», вот эти «целевые аудитории» - и есть «ядро»;

4. Принцип, предложенный ИРН (анализ «сгущений» или максимальной плотности распределения предложений на ценовой шкале).
Какие товары попали в «сгущения», те и анализируются;

5. Принцип формирования «ядра» на основе анализа законов распределения цен в конкретных сегментах рынка. Чем больше выборка и меньше дисперсия, тем выше степень «представительности» данного сегмента рынка, и тем выше его вес в «ядре»; сегменты, «вес» которых ниже порога, вообще не рассматриваются.

- - - - - - -
Любой из этих принципов сводится к методикам и алгоритмам.
А там вариантов (и соответственно простора для разработчиков) очень много.
Каждый вариант – это (по сути) иной индекс.
Именно поэтому у нас сейчас достаточно большое количество индексов, за которыми мы просто наблюдаем. Пытаясь выявить наиболее удачные.
Но чтобы выявить «наиболее удачный» индекс, необходимо (и нам, и любым другим разработчикам индексов цен) сравнивать его с «реальными рыночными процессами».
А у разных людей свое понимание/ощущение «реальных рыночных процессов».
То есть, человечество так и не смогло выработать некий «эталонный метр», позволяющий объективно сравнивать варианты описания рыночных процессов.
- - - - - - - -

Теперь относительно правил изменения «ядра».
Любые правила выбора задают люди.
Другое дело, что правила выбора можно зафиксировать навсегда. А можно время от времени корректировать (ситуация в экономике и на рынке меняется, на некоторые товары спрос резко падает, на другие – растет).

Почему правила изменения весов (отдельных сегментов рынка), зафиксированные на многие десятилетия, лучше тех правил, которые меняются по «мере созревания проблемы»?
Вы полагаете, что люди, жившие столетие назад могли разработать такие правила, которые наилучшим образом соответствуют сегодняшним реалиям?
Ведь они (и все остальные) исходили (и исходят) из своих представлений о том, «что такое хорошо, и что такое плохо». А не от объективной реальности.
- - - - - - -
И еще чисто техническая проблема.
Допустим, согласно правилам формирования «ядра» нужно исключить один товар и вместо него внести другой. К примеру, ориентировались на пельмени, а потом решили ориентироваться на гамбургеры...
Стоимость этих товаров разная, объем продаж разный…
А индексы («сегодняшний» и за прошлые периоды) при этом не должны измениться. Да и «будущий» индекс при этом не должен резко изменить свои тенденции (ведь на рынке ничего особенного не произошло).
То есть, пользователи вообще не должны ощутить то, что «ядро» изменилось.
Возможно, я ошибаюсь, но при решении подобных задач без «ручного сшивания» процессов и зависимостей не обойтись.

Цитата:

Не скажете, какие правила формирования ядра вы определили?
Если это будут делать даже супер профессионалы с учетом абсолютно всех изменений и тенденций развития рынка - индексы будут неинформативны и несостоятельны. Здесь, нужно развести понятия аналитики и индексов.

О правилах формирования ядра тех индексов, что мы сейчас публикуем, я писал неоднократно. Они достаточно близки к тем, что предложили аналитики ИРН.
Другое дело, что мы предварительно отсеиваем некоторые типы объектов (например, квартиры по "переуступке").
Что же касается "своих индексов", то мы пока не пришли к однозначным выводам.
Потому параллельно рассчитываем (но не публикуем) целое семейство индексов.