
Признавать ошибки неприятно. Быть правым приятно.
Во времена gpt4.5 и 4o я говорил, что llm вероятнее всего, уже прошли середину логистической кривой и никакого сверхинтеллекта нам не светит, а светит дурка... галлюцинации.
В чём-то чуть-чуть я был прав - прямой ответ на вопрос из "памяти LLM" очевидно почти достиг пика. Однако, прям в это время релизили o1, и это был действительно большой прорыв, который привёл к процессу "думания" (а не просто говорения). В том, что это середина логистической кривой я был очень, очень не прав, и мы уже имеем дело с нечеловеческим интеллектом (который чем дальше, тем больше бесит - именно так и выглядит uncanny valley, с выводом, который просто невозможно терпеть, но который умён).
LLM действительно сейчас начинают двигать области, которые человеку были не по зубам. Recursive self-improvement - открытый вопрос, но с учётом, что их начинают тащить в разработку чипов тоже, ... Открытый.
Второй ошибочный прогноз касался более важного топика. Я говорил, что нельзя говорить о свободе воли для системы, которая на тот же самый ввод даёт тот же самый вывод, каждый раз.
Утверждение всё так же имеет смысл, однако теперь, при наличии mcp, мы имеем систему, которая не может быть воспроизведена в точном виде. Потому что mcp связан с окружающим миром, и коэффектами, часть из которых невоспроизводима (и чем дальше, тем более невоспроизводима - например, точное время выполнения команд). Можно пытаться играть в кассеты и прочие игрища тестирования, но сам факт наличия коэффектов и сайд-эффектов резко отменяет детерминированность. Мы начинаем делать детерминированный мир, а не детерминированный мозг.
Таким образом:
* Возможности сильно больше, чем я ожидал.
* Вопрос свободы воли теперь снова открыт.
Не смотря на то, что в основе лежит детерминированная LLM.
Если этот тезис не совсем понятен, ещё раз раскрою. Решение LLM выглядит так:
(условно фиксированный ввод) - фиксированный ответ LLM с вызовом MCP - ответ MCP с малым возмущением, уже нефиксированный ответ LLM с следующим коэффектом, и дальше накопительное возмущение.
Получается, что в permutation city ответ был: в тот момент, когда эффекты и коэффекты прекратились, система стала детерминированной и потеряла свободу воли.