Сверхразум в предсказаниях.
две нашумевшие публикации пытающиеся предсказать как пойдёт развитие искусственного интеллекта в ближайшем будущем:
ai-2027 и The Era of Experience Paper
стоит прочитать, ну или хотя бы попросить ваш любимы ЛЛМ прорезюмировать и далее попросить объяснить важные моменты.
AI 2027 это несколько исследователей написали сценарий как может пойти развитие ИИ в ближайшие года, и как это всё кончится, потом попросили популярного блогера переписать это в формате полу-художесвенного рассказа для лёгкого восприятия. Если кратко, то там всё гарантировано кончается плохо. Далее из-за обильной критики они разделили концовку на два варианта: более угрюмый и слегка подающий неоправданные надежды. 2027 это условность, там примерно до 2035 года расписано.
Многое из того, что они пишут возможно так и пойдёт, но моё мнение, что мир сложнее, и вот эти все сложности и нюансы важны, и поэтому в итоге всё сложится иначе, опять же мы не знаем, и я не берусь предсказывать, а они взялись, и поэтому критиковать легче. Вот с чем я согласен — это поводы для волнения есть, но с другой стороны прогресс не обратим, и мы его не остановим, и надо не пытаться его замедлить, а стоит готовиться к позитивным сценариями и работать над повышением их вероятности. А то, что сверхразум нас всех сможет уничтожить — ну уничтожит, тут мы будем бессильны. Пишите дневники и блоги, это будет прообразом ваших виртуальных копий, можно сказать детей будущего. Если повезёт.
Эра опыта - о другом, там они говорят что есть два очень разных подхода к развитию ИИ: RL (обучение через подкрепление / reinforcement learning) и LLM (большие языковые модели / large language model), и описывают разницу. Авторы описывают новую эру в развитии искусственного интеллекта, которая будет характеризоваться агентами со сверхчеловеческими способностями, отучающимися преимущественно через собственный опыт, а не через анализ человеческих данных.
Я думаю они умышленно сильно завышают разницу в этих подходах, потому что оба направления обильно заимствуют инструменты и подходы друг друга, и хотя разница конечно есть, одна из главных коварных подоплёк это показать что их подход, RL лучше и правильнее, ну и под это дело повысить свою важность и получить больше средств. Понятно почему. Но всё равно интересно конечно.
Мой общий вывод всего этого, что предсказатели значительно упрощают именно нечеловеческую сложность развития всего этого и упрощённое понимание на качественном уровне даст другие результаты в будущем. То есть всё будет иначе. И не просто "трудно сказать как", а именно нельзя, потому что разница будет столь большой, что у нас нет сейчас средств в языке, культуре и понимании мира это понять и тем более описать.
Обе публикации больше не про техническое развитие ИИ, а про социо-философские переживания. Как всегда, чтобы правильно справляться с большими сложностями надо чтобы дома был порядок, а порядка мало и всё меньше. Можете на это смотреть как угодно, как на ментальный вирус которым планета защищается от паразитов, или как на человеческую натуру, или как на что угодно. Но мой собственный пунктик обо всём этом — надо сильнее стараться понять мир глубже и шире, и это поможет, а дальше просто смотрим как идёт история. Моя аллегория что вселенная не расширяется, она как была так и есть, но повышается уровень детализации, который нами ощущается как расширение пространства во времени. А ИИ всё же через LSM пойдёт, где и RL и LLM это составляющие.
