конспект лекций, вопросы к экзамену

Являются ли проигрыши Zillow ошибкой ИИ?

О режимах, оптимизации и компасах

Когда мне было за 20, я столкнулся с необычной возможностью для человека моего возраста. Вот он, подробный план на следующие два года о том, как я намеревался управлять огромной суммой денег других людей и в процессе строить несколько хороших зданий. Все соответствовало бюджету и срокам, которые я оценил. Все выглядело отлично. Перед хорошо подготовленным концертом я почувствовал себя дирижером филармонического оркестра.

Возможность была необычной, так как этот уровень решения не тот, на котором вы обычно находитесь без большого опыта, и по уважительной причине. Но это были годы безумного пузыря на рынке недвижимости, до 2007 года, добавить пару случайных событий, и вот я, с моими исследованиями архитектуры и «очень большим танкером с сырой нефтью», чтобы отплыть домой, так сказать. Нервный? Не совсем. Я очень доверял своим способностям. Даже сегодня я улыбаюсь, вспоминая это.

Но даже если я был слишком самоуверен, я знал, что некоторые советы могут оказаться полезными. Проблема заключалась в том, что было не так много людей, к которым я мог бы получить доступ, с доказанной успешной репутацией в этой области. Фактически был только один. К своим 60-м годам этот человек участвовал во всех сражениях. После моего скромного подхода он согласился взглянуть, задал пару каверзных вопросов и, похоже, удовлетворился ответами. Я почувствовал облегчение, но затем последовал приговор:

«Но это не то, что произойдет, вам лучше сохранить тот самый подарок»

  • «Что ты имеешь в виду, это о предполагаемых сроках? ”
  • «Нет, сроки разумные. ”
  • «Итак, дело в бюджете, кто-нибудь здесь использует ошибочные цифры или, что еще хуже, вводит в заблуждение? ”
  • «Нет, наверное, все сообщают в соответствии со своими убеждениями». Я все еще не понимал этого.
  • «Но этого просто не произойдет. Этого никогда не бывает. Вы не планируете покупать йогурт в магазине на углу. Через два года все может и случится. Компании, законы, масштаб проекта, скрытые ограничения… все это динамично. Ваш план - это неполный черновик. ”

Вам нужен лучший черновик с дополнительным слоем, вашим слоем. А потом будет компас и больше ничего ...

  • … Компас для определения местоположения на север в следующие 2 года. Может показаться, что компас - это не так уж и много, но вы больше не можете целиться в этом масштабе. Это поставит вас впереди всех ».

Разговор длился дольше, это был пример успешного «обучения передачи между людьми», который хорошо распространился на многие ситуации в следующем десятилетии.

Достаточно о прошлых жизнях. Как эта небольшая история соотносится с проблемой Зиллоу?

Как вы, вероятно, знаете, к концу 2021 года Zillow сообщила об огромных убытках и сократила 25% своей рабочей силы из-за того, что публикуется как провал «машинного обучения». Но я не думаю, что здесь виноваты алгоритмы.

Печальная правда заключается в том, что некоторые проблемы машинного обучения применительно к рынкам далеки от решения, а именно: смена режима (радикальный сдвиг концепции) и противоборство. В текущем состоянии машинное обучение можно рассматривать как оптимизацию и интерполяцию. Вы понимаете проблему этого инструмента для работы с временными рядами цен?

На рынках иногда «дешево» (или любая другая характеристика) может означать «выгодно, покупай сейчас», но также в другом режиме «дешево» может означать с точностью до наоборот: «завтра будет дешевле, продай как можно скорее!» ». Если режим определяется скрытыми факторами, то никакой Трансформатор LSTM вам не поможет. Моделирование просто оптимизирует любую цель, которую вы определили для набора обучающих данных.

Другими словами, иногда рынки белые, а иногда черные, но если вы не можете сказать, какой из них применяется, машинное обучение будет либо слепо делать ставку на один цвет, либо чаще оптимизировать серый для набора данных.

А как насчет онлайн-обучения? Разве это не будет лучше при смене режима? Хорошо, может быть. Но если функции не содержат информации о режиме, самое большее, на что вы можете надеяться, - это минимизировать задержку реакции на основе структуры потерь последних наблюдений. Но оптимальность снова будет зависеть от набора обучающих данных и структуры изменения режима, которую он содержит, так что вам лучше получить правильные данные!

Я хочу сказать, что, поскольку эти проблемы в настоящее время не решены, вы не можете полагаться на модели, которые будут вести себя хорошо при изменении рыночного режима.

Мы не должны называть «сбой машинного обучения» сбой в управлении рисками.

На мой взгляд, потери Zillow говорят не столько об «искусственном интеллекте», сколько о сложности управления рисками, когда вы человек.

11.02.2022; 05:00
просмотров: 50