Так вот, что произошло
Так вот, что произошло: OpenAI тестирует новую модель, скажем ChatGPT 6, но может и другую, неважно. Что они просили её сделать, мы не знаем. Но для теста они посадили модель в песочницу, то есть в среду без выхода в интернет. И тестировали вроде как на кибербезопасность. Но в современном мире проверять на кибербезопасность без доступа к разного рода распространенным пакетам, сделанным множеством разных других компаний, невозможно. В наши дни никто, НИКТО не пишет продукты с нуля. Все используют разные готовые куски, сделанные другими. И там, конечно же, всегда есть риск, что кто-то может подсунуть вредоносный код через них. Но серьёзные компании понимают риск и для его снижения используют следующее: первое — они не пользуются пакетами, скачанными напрямую из интернета; второе — они не используют самое новое, они ждут и смотрят, не обнаружились ли проблемы у других; третье — они тестируют это сами; и четвёртое — чтобы случайно не нарушить этот процесс, они используют так называемый пиннинг, то есть продукт привязан к определённой версии пакета (проверенной) и обновляется только с разрешения. Но это серьёзные компании так делают. А мы знаем из не столь давних событий, когда уже хакали OpenAI, что они так строго или осторожно не поступают. То есть там отношение к безопасности не на высоте. Что само по себе кошмар.
Но в данном случае у них есть свой собственный внутренний репозиторий для разных сторонних пакетов. И у тестируемой модели был доступ только к их внутреннему репозиторию. Но модель умна, нашла баг в репозитории, хакнула его, тем самым выбралась из песочницы сперва во внутреннюю сеть OpenAI и далее в мировой интернет. Далее, как можно предположить, модель решила, что для выполнения теста можно получить ответ, порывшись в HuggingFace (это такой аналог GitHub'а для AI). Взломала этот несчастный ХаггингФейс. Так вот получился скандал.
Мы не знаем, было ли это плохое указание, что делать, неправильная задача, неправильные ограничения, неправильное вознаграждение или что-то ещё. Но что я хочу сказать — мы не знаем, что делали эти инженеры из OpenAI, но явно что-то неправильно. Либо по незнанию, халатности, либо в силу умственных ограничений вида человеческого по сравнению с искусственным разумом. Но если у них, вот у этих компаний, будет полный контроль — это ещё опасней, чем безумный диктатор с чемоданом. Может, пока ещё не так же опасно сегодня, но мы на верном пути к тому, что точно будет опаснее. Прогресс не остановить.
Но мы как человечество должны выработать хотя бы какие-то механизмы защиты. С ядерным оружием в чём-то даже хорошо, что оно не только у одной страны, и также хорошо, что не у всех. Хорошо, что запуск ракет — процесс, требующий много людей. С ИИ, возможно, будет иначе. И мирный атом тут не аргумент.