ПЦ #76. Где машина думает, а где понимаешь ты

Машине можно отдавать операции мышления. Нельзя отдавать место, где операция превращается в суждение. Потому что суждение требует критерия, база требует практики, а понимание требует прожитого опыта.

Пару месяцев назад Андрей Карпаты процитировал впроброс чей-то твит: «You can outsource your thinking, but you can’t outsource your understanding». Я челленджил друзей и подписчиков, кто как это понимает. Может, просто красивая фраза? Thinking — это все мышление целиком? Если отдавать мышление, мы потупеем? Неиронично не понимал.

Потом понял, что фокус не в том, чтобы заранее сузить thinking до удобных операций. Наоборот: внутри thinking есть этажи. Нижние — память, поиск, сборка, генерация, первичная обработка — машина забирает легко. Верхние — постановка вопроса, выбор критерия, оценка, суждение — уже начинают срастаться с understanding. Вот эту границу мне и хотелось найти.

При этом по своим задачам, и для этого текста тоже, я все так же гонял в ллмках ресерчи и теории, рисовал схемы и связи понятий, вычитывал и редактировал, искал противоречия и несостыковки, выбрасывал и начинал заново. То есть некоторый аутсорсинг мышления я делаю уже давно. Получается, Карпаты узаконил такие действия?

Разберу этот аутсорсинг в два захода: какие этажи мышления правда отдаются машине и где эта отдача упирается в понимание. А чтобы не теоретизировать, начну с того, что отвалилось первым. Память. Это вроде бы не про мышление, а про хранение, но думать же нечем, если нечего держать в голове. Память — нижний этаж мышления, и отдавать ее я начал раньше всего, еще до всякого ИИ.

I. Мышление

Память дырявится — и это нормально

Вторые мозги, таски в тудушнике, файлы на диске и в контекстах ллмок — это развитие «эффекта Google». Мы запоминаем не саму информацию, а указатель на нее. Или создаем инструкцию, сохраняем — и тут же забываем, как ее собрали. Но доверяем ллмке, что она найдет и подгрузит.

Термин «эффект Google» подарила работа 2011 года в журнале Science: людям давали печатать факты и говорили, что компьютер сохранил их в папку, и после чего установили, что факты запоминались хуже. Выглядит красиво, медийно, понятно — разошлось по назидательным лекциям.

А потом в 2018 провели большой проект — и прогнали заново на выборках в среднем впятеро больше оригинальных. Так вот в независимой репликации размер эффекта оказался практически нулевым — есть вопросики к этому красивому лабораторному фокусу.

Тем не менее, трюк 2011 года про «технологическую амнезию» нащупал (а другие работы подтвердили) сам механизм. Современная когнитивистика концепт переосмысливает: разгрузка — это не баг памяти, а решение на основе ценности. Мозг работает как экономист, считает цену удержания и пользу дублирования. Если факт надо держать внутри, он занимает ресурс. Если он надежно лежит снаружи, платить за вторую копию почти бессмысленно.

Никакого особого «стирания» в памяти не нужно — мозг просто не вкладывается в кодирование (мышление?) того, что и так сохранено, потому что это невыгодно. Google не делает нас забывчивыми, просто голова отказывается платить за дублированный экземпляр.

Да, с внешними костылями и взрослые, и дети возятся с запоминанием все меньше: не повторяют про себя, не выдумывают истории-зацепки, не рисуют картинку в голове. Зачем, если можно не. Мотивацию для запоминания теперь приходится создавать каким-то другим, хитрым и человечным способом, чтобы включать активное запоминание заново.

Но я пишу не чтобы морализаторствовать, что мы забудем второй закон Ньютона. Я честно принимаю реальность: если внешнее хранилище делает эти затраты лишними, это не слабость, а (эволюционная?) оптимизация. Не потеря, а размен.

Итак, мы забываем выгруженное, чтобы освободить голову под новое, иначе это новое вообще не случится. Выгружать старое ради процессинга нового нормально. Но разгрузка усиливает только тогда, когда освобожденный ресурс уходит наверх. Если он просто исчезает в пассивном потреблении, это уже не оптимизация, а атрофия.

О чем размен

Тревога говорит, что, выгружая память наружу, мы потеряем глубину, словим иллюзию знания, начнем галлюцинировать не хуже ллмок. И ведь правда так. Но — еще раз — без разгрузки не дойдешь до анализа вообще, а утонешь раньше.

Рабочая память — узкое место в голове. Долгое время ее емкость описывали формулой «семь плюс-минус два», теперь — около четырех осмысленных кусков. Точное число неважно, суть та же: пока в голове ворочается один массив, второй физически некуда положить.

Поэтому, кстати, спрессованный «птичий язык» науки не понты, а прямой обход лимита — один плотный термин упаковывает то, на что иначе ушли бы все ячейки. «Вытеснение», «энтропия» и пр. — каждое слово как чемодан, занимающий одну ячейку вместо двадцати. Профессиональный жаргон существует ровно для того, чтобы было чем думать о сложном, не захлебываясь.

В одном эксперименте (2015) людям давали два списка слов. Когда первый список разрешали предварительно сохранить в файл, тогда память для хранения второго списка становилась лучше, чем когда сохранять запрещали. Мозг, убедившись, что первое никуда не денется, моментально пускал освободившийся ресурс на второе.

Но эффект исчезал, когда внешнее хранилище было ненадежным. Когда процесс сохранения подделывали так, чтобы ему нельзя было доверять, тогда мозг отказывался отпускать информацию, и ресурс не высвобождался.

И вот вторая половина, ключевая. Первое правило разгрузки: она работает только под надежное хранилище. Не доверяешь инструменту — мозг втихаря продолжает держать все сам, и выигрыша нет. Эта деталь вернется ближе к концу, когда речь зайдет про доверие к машине, которая выдает бриллианты и треш одинаково гладко.

Значит, разгрузка не делает всех одинаково умными, но дает слабой рабочей памяти шанс дотянуться до следующего этажа. Слабые заметно подтягиваются к сильным, но не сравниваются в ноль. Костыль выравнивает поле, но не делает всех одинаковыми.

Мы это делали давно — но с подвохом

Когда-то меня поразил тезис, что ни один нормальный современный предмет не помещается в одну голову. У этой мысли есть старший родственник, эссе Леонарда Рида «I, Pencil» (1958). Обычный карандаш. Дерево валят одни, графит добывают другие, желтую краску варят третьи, латунную обжимку для ластика делают четвертые, и над всей цепочкой нет никого, кто держал бы ее в одной голове целиком. Знание не утеряно, оно роздано — по головам, странам и станкам.

Эту же мысль студент Томас Твейтс проверил буквально: в 2010 году он решил сделать тостер с нуля. Он разобрал дешевый тостер и обнаружил больше 400 деталей из сотни материалов. Чтобы повторить их «с нуля», ему понадобились руда, нефть, никель, печи, формы, химия, металлургия. Руду он добыл, нефть ему не дали, пластик пришлось плавить из мусора, никель — из старых монет. На выходе получился не прибор, а расплавленный ком. Главным результатом оказалось открытие: если начинать совсем с нуля, можно потратить жизнь на одну бытовую вещь.

И это вообще устройство сложных систем — у них нет дирижера. Самую точную формулировку дал Хайек в работе «Использование знания в обществе» (1945): знание, нужное для работы экономики, никогда не существует в собранном виде ни в одной голове и ни в одном центре. Оно рассеяно по миллионам людей, у каждого свой клочок, и никто не владеет картиной целиком. Согласованность собирается снизу, из частных решений, и ни один штаб не держит ее за всех.

Больше того: попытка завести центр, который командует каждой деталью, систему не усиливает, а парализует. Централизованное управление сложностью невозможно, живое всегда держится распределенным, а не собранным в одном месте — город, рынок, язык, иммунная система — нигде нет волшебника, кто все понимает и решает за всех. Система вообще заглохнет, если такой центр завести силой.

Значит, выгрузка знания из отдельной головы — не изгнание из рая понимания. Карандаш, тостер и даже самолет не отняли у нас понимание, его никогда и не было в одной черепной коробке.

Но авиамеханик отвечает за самолет головой и зарплатой, его можно спросить, он включен в цепь ответственности. А ИИ в эту цепь не включен — он не отвечает ни за что и при этом сконструирован звучать уверенно даже там, где сочиняет.

Доверие машине приходится калибровать на каждом ответе. Вспомните оговорку про надежное хранилище: разгрузка дает выигрыш только когда хранилищу можно верить. А машина — хранилище, которое выдает бриллианты и треш одинаково гладко.

Где граница

И если не стоит вопрос «отдавать или нет», остается вопрос, чем в этой раздаче рулишь ты. Проверять это удобно на таксономии Блума — эта модель классифицирует цели обучения от простых к сложным. Ну а где еще проверять/замерять мышление, как не в обучении.

В таксономии Блума шесть ступеней — помнить, понимать, применять, анализировать, оценивать, создавать — и интуиция говорит, что машина упрется где-то на «создавать», это же вроде ВЕРШИНА. А на деле наоборот — генерацию машина берет легко, потому что генерация — это пересборка того, что уже лежит внутри. Спотыкается машина на оценке, на предпоследней ступени, потому что оценка требует критерия, а критерий живет не в корпусе информации, а в тебе, в твоем контексте, в том, зачем все это вообще делается.

В 2026 посадили студентов писать эссе с одной и той же ллмкой, но поделили на две группы. В первой группе ИИ писал черновик, а затем студенты челленджили этот результат, искали дыры, требовали обоснований, заставляли переделывать. Во второй группе студенты писали сами, а ИИ оценивал и выдавал обратную связь.

Результат контринтуитивный: тот, кто отдал машине сочинять, а сам стал судить, научился заметно больше того, кто сам сочинял, а судить отдал. Студенты, отдавшие ИИ генерацию черновика и взявшие на себя роль критика-оценщика, показали более глубокое когнитивное вовлечение. Там, где ИИ отдавали функцию оценки, у студентов находили меньше метакогнитивных процессов, той самой оценки и ориентировки.

Авторы назвали это метакогнитивной ленью: фидбэк принимается некритично, и обработка остается поверхностной. Вывод: человек не должен слагать с себя роль арбитра качества.

Объяснения можно поискать в теории когнитивной нагрузки — она делит усилия нашей куцей рабочей памяти на три сорта:

1. лишняя возня (extraneous load): шум, кривой интерфейс, неудачная подача, все, что грузит, но к делу не относится

2. сложность самого материала (intrinsic load), его объективная трудность

3. и та часть, что идет на сборку внутренней схемы (germane load) — на то, чтобы куски срослись в твою собственную структуру и осели в долгую память. Это и есть обучение в чистом виде.

Для практики различение «возни» и «сборки схемы» остается фундаментальным.

Главное не перепутать! ИИ блестяще снимает возню и сбивает сложность материала: формулировки, синтаксис, оформление, поиск, первичную раскладку = ресурс высвобождается. Но сборку схемы отдать наружу нельзя, наоборот — высвобожденный ресурс надо вложить в оценку, понимание и само научение.

Оценка не одинакова на разных уровнях мастерства (модель Дрейфусов): новичок судит аналитически, сверяется с явными правилами, с чек-листом, а у эксперта оценка сворачивается в целостное схватывание, в то самое «вижу раньше, чем могу объяснить». Тысячи отработанных случаев перестают быть списком правил и слипаются в мгновенное чувство качества, в гештальт. Поэтому «оценка» в начале пути и «оценка» у мастера — разные.

Путь от первого ко второму машина за тебя не пройдет. Везде присвоение смысла остается у человека: операции производства уходят машине, но смысл надо присвоить самому.

И вот парадокс — только что я говорил, что у сложных систем нет дирижера, согласованность живет без центра, а теперь говорю, что ты обязан оставаться арбитром и принимать решения. Правда в том, что в большом масштабе (завод, организация, цивилизация) познание живет без единого центра (и правильно делает), но внутри твоей собственной работы выгрузить арбитра означает выгрузить понимание. На уровне человечества нет никакого дирижера, а на уровне твоей работы арбитр только ты. Противоречия нет, как только разведешь их по масштабам.

Отсюда смена роли: ты больше не писатель, ты главный редактор. Отдаешь производить черновик, сам ищешь дыры, заставляешь переделывать, держишь планку. Машина берет на себя буквы, ты направляешь все на одно: работает или нет — тренируешь собственное суждение через оценку чужой работы. Машина умеет имитировать форму, но не субстанцию.

Значит, машина забирает не thinking целиком, а его нижние этажи: память, поиск, сборку, генерацию, первичную обработку. Но чем выше поднимаешься, тем меньше мышление похоже на операцию и тем больше — на суждение. А там, где начинается постановка вопроса, выбор критерия и оценка, thinking уже переходит в understanding.

II. Понимание

Чуйка на базу — оценочный зуд

Кажется, смысл таблицы умножения меняется. Держишь ее не чтобы считать, для этого есть калькулятор. Смысл смещается в наличие «оценочного зуда», чуйки на оценку результата, работы, артефакта.

Например, «17 × 23 = 911» — чот великовато. Можешь не считать, что там 391, но сомнение и прикидка сработали как чуйка на вранье.

У этого зуда такой же неромантичный механизм — лимит рабочей памяти. Ребенок, который еще считает, сколько будет семью восемь, физически не имеет чем проверить, верно ли ИИ решил уравнение посложнее: вся память занята нижним этажом, на верхний ничего не остается. Если база не доведена до автоматизма, она сама съедает ресурс = автоматизм низа — условие зрячести наверху. Пока факт (область знания) не слепился в один кусок, он не свернутый чемодан, а россыпь, забивающая все ячейки.

Вот тут и пригождается знание второго закона Ньютона. Надо ли его знать или достаточно знать, где найти? Зависит от того, что ты с ним делаешь. Если просто иногда свериться, то гугли — его незачем держать в голове. Но если ты на нем строишь поверх, если хочешь чувствовать, что в задаче про силы что-то не сходится, он должен быть в голове, а не в закладках.

Найденное заново каждый раз остается рассыпухой, а впитанное сворачивается в один чемодан, на котором стоит следующий этаж. Разница не между «важным» и «неважным» знанием, а между тем, что ты только проверяешь, и тем, на чем строишь. Фундамент учат наизусть — и вживляют.

На практике — держи в голове то, что дает прикидку. Отдавай то, что дает только точный результат. Порядок величин остается, а деление столбиком отдается.

«Оценочный зуд» нельзя скачать или взять готовым — это осадок от опыта и практики. Когда прорешал руками достаточно, то неправильное будет ощущаться неправильным еще до того, как понял почему. Так новичок с чек-листом для проверки дорастает до эксперта с мгновенным чутьем, и другого маршрута нет. Поэтому совет и ребенку, и взрослому один: делай руками, пока ошибки не начинают зудеть. Зазудело-закололо — тогда можешь откладывать карандаш, базу взял.

Проблема вот в чем. В новой для тебя области зуда еще нет, и про это ты не знаешь. Опасность не в том, что чего-то не знаешь. Опасность в том, что не чувствуешь, что зуд не включился, и принимаешь гладкое за верное.

С машиной в новой области вдвойне легко и быстро, мозг записывает это как «я разобрался», хотя разобралась машина. Знание на поверхности — это не знание предмета, а когда отличалка еще не выросла. У такой подмены есть имя — иллюзия глубины понимания: люди уверены, что понимают, как устроена молния или унитаз, пока их не попросят объяснить пошагово, так уверенность осыпается. С гладким ответом ИИ ровно это, только и осыпаться нечему, потому что объяснял даже не ты.

Галлюцинации ИИ опасны тем, что лишены маркеров неуверенности: модель порождает правдоподобный текст вероятностно, и звучит он уверенно даже когда полностью неверен. Без внутренней базы человек не просто не замечает ошибок, он принимает стандарт качества ИИ за собственный. Это не незнание, это замещение суждения.

Мозг привыкает к мгновенному ответу и теряет навык продираться сам, тот самый навык, на котором и нарастает база. Сначала отдаешь работу машине, потом не растишь проверялку, а потом уже нечем проверить то, что отдал. Цикл замыкается.

Признак, что ты на тонком льду, простой: тебе нечем удивиться. Ответ ИИ не может тебя ни царапнуть, ни обрадовать, значит базы в этой теме пока нет, и доверять себе как судье рано.

Чуйка на воздействие на тебя — укол тела

Первая чуйка — на неверный факт, который звучит гладко. Вторая — на то, что двигают уже тебя: подбирают слова так, чтобы ложное зазвучало гладко. Одно врет фактом, другое намерением — и иногда надо проверить не ответ, а воздействие на тебя.

Манипуляция, подбор слов, подтасованная логика, игра на когнитивных искажениях — эта чуйка не в таблице умножения, а в социальном слое, но и у нее есть научный дом, и он телесный.

Гипотеза соматических маркеров Дамасио говорит, что тело подсказывает решение раньше головы: прежде чем ты осознанно взвесил, в организме уже срабатывает сигнал «здесь что-то не так», легкий укол, который потом рационализируется в довод. В классическом эксперименте с карточной игрой кожа испытуемых начинала реагировать на опасную колоду карт раньше, чем человек осознавал, что колода опасная. А люди с повреждением вентромедиальной префронтальной коры (кейс Эллиота) рассуждают безупречно, но решать не могут: лишены этой телесной подсказки и поэтому застревают в бесконечных вычислениях.

Оговорюсь, что клинические кейсы иллюстративны, но не дают однозначной причинно-следственной картины для всех типов решений. Так что беру как правдоподобную рамку — зрелая оценка без укола не собирается.

Укол идет не от знания, а от проживания с ценой и ставками. Сто статей про манипуляцию можно отдать машине, она разберется. Но когда один раз повелся и обжегся — сядет в тело. В следующий раз слышишь похожую интонацию, и сжимаешься еще до анализа.

Машинерия тут древняя — мы заточены читать других людей: статус, надежность, врет или нет. Мы считываем микросигналы, заминки, несовпадение слов и тела. Чуйке на человека миллионы лет, и с машиной она дает осечку. У человека, который пытается тобой двигать, есть тело и есть протечки: дрогнул голос, отвел взгляд, пережал. У текста протечек нет: поверхность идеальна, намерения за словами не поймаешь, а убедительность уже встроена в форму. Тела у машины нет, а текст тем временем работает.

Заметить манипуляцию — почти мышление. Назвать прием («ложная дилемма», «давят срочностью») — уже анализ, и его хоть машине отдай, пусть разбирает текст на приемы. Но первый укол, до называния, дочувственный — тело раньше головы. И схватывает оно разом, а не по пунктам — видишь кривизну целиком.

У машины же этого нет в принципе.

Почему у машины нет укола

Оценку нельзя делегировать не потому, что машина глупа. У нее просто нет шкуры, которой она рисковала — она читала про боль, но ее не било.

Познание вшито в тело: смысл цепляется за сенсомоторный опыт, и понимать что-то отчасти значит уметь телесно это просимулировать, проиграть внутри. У машины нет человеческого понимания, калиброванного телом, ставками и последствиями. Она привязана к обучающему корпусу, отражает статистические закономерности текста, а не прожитые реальности. Это близко к линии embodied cognition: познание не висит в воздухе, а встроено в тело, действие и социальный опыт.

У человека уверенность не гарантирует правоты, но хотя бы чем-то оплачена: репутацией, шкурой, тем, что соврать дорого. ИИ уверенно заполняет пробелы даже когда выдумывает, ведь быть уверенным — его состояние по умолчанию, а не признак правоты. И тут замыкается оговорка про надежное хранилище из начала: разгрузка работает только под надежный источник, а единственный способ проверить надежность машины — твоя собственная база. Нет базы — нечем поверить прибор, который всегда говорит, что все хорошо.

Калибрует оценку тот опыт, что проходит через тебя с последствиями. Прочитанное бесплатно остается сведениями, прожитое с болью или радостью событие оставляет осадок. Поэтому свое понимание нельзя выгрузить: оно стоит на осадке прожитого, а прожить за тебя машина не может.

И раз уж мы начали с чужой умной фразы, закончим философским эхом под ней. Декарт, продираясь сквозь радикальное сомнение, искал то, в чем нельзя усомниться, и нашел: пока я сомневаюсь, уже есть тот, кто сомневается. Само сомнение выполняет акт, который удостоверяет существующего. У Декарта дословно: «Я есмь, я существую — необходимо истинно всякий раз, когда я это произношу или мыслю». По аналогии, понимание тоже схватывается из первого лица, в самом акте схватывания: акт понимания неотделим от того, кто его совершает и чем за него платит.

И чтобы не уходить в телесную мистику и эзотерику уколов, стоит честно добавить, что и укол не оракул — тело часто врет ложной тревогой — травмы и предрассудки кричат на всякий случай почем зря. Но такой укол не выносит вердикт, он запускает проверку, чтобы чуйка звала суждение, а не отменяла его. Лучшего стартового механизма насторожиться у нас, возможно, нет. В этом и разница между зрелой оценкой и «доверяй нутру всегда»: первая берет укол как звонок, вторая как готовое решение.

Финал. Как мы пощупали фразу

Проверили, что мышление отдается не целиком, а этажами (и давно отдавалось). Проверили, что понимание не отдается, увидели почему.

Отдавать можно многое: операционку, память, генерацию, первичный разбор, даже раскладку манипуляций по приемам. Но нельзя отдать то место, где операция превращается в суждение.

Этот текст я собирал ровно так, как в нем написано. Структуру, исследования, перебор и формулировки отдал машине. Понимание, что из этого взять и где оно врет, не отдавалось никуда. Что не делегировалось — ты сейчас дочитываешь.

Может, тревога не в том, что мы перестанем думать, а в том, что мы не решили, какая человеческая функция остается после аутсорсинга мышления. Вопрос не «как удержать мышление», а сколько прожитого опыта нужно накопить, чтобы было чем судить, когда думать будет машина.

Ну-с, расчехляйте свои ллмки, чтобы найти дырки в рассуждениях, и несите в камменты свои собственные суждения.

Ссылки

→ Карпаты в интервью Sequoia, 28:08 — тот самый момент

→ Леонард Рид «Я, карандаш» и оригинал на английском

→ Thomas Thwaites: How I built a toaster from scratch

→ Рассеянные знания, wiki

→ Рассеянные знания и Хайек, Щедровицкий

→ Дрейфусовская модель приобретения навыков, wiki

→ Иллюзия глубины понимания, wiki

→ Somatic marker hypothesis, wiki

→ Воплощённое познание, wiki

→ Памяти Франсиско Варелы, «Эрос и космос». В тексте развиваю идеи из книги «Отелесненный ум. Когнитивная наука и человеческий опыт», которую в соавторстве написал Франсиско Варела. Его другую книжку «Древо познания», написанную в соавторстве с Умберто Матураной, горячо рекомендую всем.

→ Аж в марте 2018 я цитировал Людвига Быстроновского, который писал: «Если тебе кажется, что чего-то качественного очень много, то ты просто не сечешь фишку. Это правило не позволяет отличать хорошее от плохого, зато указывает на уровень собственной недалекости»

→ Как я отдал мошенникам 100 тысяч, апрель 2019 — рассказываю про свой опыт столкновения с манипуляцией

→ И архив PDF, чтобы в NotebookML поговорить с ними про cognitive offloading.