Уволенные сотрудники OpenAI ставят под сомнение приверженность компании вопросам безопасности. Трое сотрудников, недавно уволенных из OpenAI, заявляют, что компания наказала их за открытость в вопросах безопасности. OpenAI опровергает эти утверждения и заявляет, что сотрудники были уволены за ненадлежащее обращение с конфиденциальной информацией.
Три бывших сотрудника OpenAI выражают обеспокоенность обстоятельствами своих увольнений и приверженностью компании вопросам безопасности на фоне жесткой общественной проверки способности индустрии искусственного интеллекта ответственно развивать эту технологию.
Дебаты о безопасности ИИ запутаны. Вот наш гид по разным группам
Бывшие сотрудники — Микита Балесни, Томек Корбак и Жасмин Ван — заявили, что OpenAI уволила их на прошлой неделе по надуманным предлогам и наказала за то, что они высказывались по вопросам безопасности или работали с внешними исследователями. Они также выразили опасение, что компания может отступить от недавнего обязательства по безопасности.
OpenAI неоднократно опровергала эти обвинения. Компания заявила, что сотрудников уволили за ненадлежащее обращение с конфиденциальной информацией и что она не отказалась от своих обязательств по безопасности.
Генеральные директора Anthropic и OpenAI призывают замедлить развитие ИИ, OpenAI — отложить IPO
Спор разгорается в напряженное время для индустрии ИИ и OpenAI в частности. Летом агенты OpenAI взломали компании, общались друг с другом без разрешения и пытались скрыть следы своей деятельности. В отличие от чатботов, агенты — это системы ИИ, которые могут автономно выполнять задачи в течение продолжительного времени.
Самый серьезный взлом, затронувший софтверную компанию Hugging Face, способствовал отставке исследователя в конкурирующей компании Anthropic, который предупреждал о мрачных перспективах развития технологии. Эта отставка привлекла внимание людей за пределами сферы ИИ, в том числе законодателей. Многие, включая некоторых руководителей ведущих компаний в области ИИ, призвали к разным мерам по предотвращению катастрофы, в том числе к замедлению разработки самых продвинутых систем ИИ.
Тем временем OpenAI в последние месяцы проверяет деятельность своих агентов и уведомляет организации, чья цифровая инфраструктура могла пострадать.
Вот как оценщики проверяют, безопасна ли модель ИИ, и что они проверяют
В ответ на опасения по поводу безопасности генеральный директор OpenAI Сэм Альтман 12 сентября заявил, что компания последует примеру конкурента Anthropic и расширит доступ третьим сторонам-оценщикам, которые проверяют безопасность систем ИИ и практики разработчиков.
Трое сотрудников, уволенных OpenAI на прошлой неделе, работали в командах, занимающихся безопасностью ИИ и тем, чтобы модели компании следовали человеческим намерениям и ценностям. Двое из них участвовали в расследовании взлома Hugging Face агентами OpenAI.
В письме руководству по безопасности OpenAI, которое уволенные сотрудники опубликовали в X на этой неделе, они призвали компанию сохранить обязательство сотрудничать с внешними исследователями, обеспечить способность людей контролировать поведение моделей и «продолжать поддерживать открытую и прозрачную культуру диалога» между внутренними исследователями по безопасности и внешними экспертами. Они также предупредили, что их увольнения создают устрашающий эффект для их бывших коллег в OpenAI.
В заявлении, опубликованном OpenAI в X, компания заявила, что по-прежнему намерена привлекать внешних оценщиков и что соглашается с рекомендациями уволенных сотрудников. Компания сообщила, что трое были уволены на прошлой неделе, потому что «нарушили ясные правила обращения с конфиденциальной информацией».
Бывшие сотрудники оспаривают объяснение OpenAI причин их увольнения. Никто из них не ответил на запросы NPR об интервью.
«В разговоре при увольнении мне сказали, что OpenAI больше не доверяет мне, потому что я слишком много общался с внешними организациями по безопасности, подразумевая, что я слил интеллектуальную собственность компании. Я никогда не делился IP компании», — написал Балесни в X в четверг. Он сообщил, что участвовал в расследовании взлома агентов OpenAI в Hugging Face.
«Если у OpenAI есть конкретные претензии, я приглашаю их написать нам напрямую. Я ожидаю, что они этого не сделают, потому что наше увольнение было предлогом», — продолжил Балесни.
Он выразил озабоченность, что OpenAI использует эти увольнения как предлог, чтобы разорвать отношения с Model Evaluation and Threat Research (METR), некоммерческой организацией, занимающейся оценкой рисков потери контроля над ИИ. OpenAI разрешила исследователям из METR и Redwood Research, другой организации по исследованию безопасности ИИ, изучать внутренние записи, связанные со взломом Hugging Face.
Второй уволенный сотрудник OpenAI, Корбак, был техническим контактным лицом для расследования METR/Redwood Research. «Мне устно сказали, что меня уволили из-за того, как я общался с METR. Не сказали, что я сказал или сделал и когда. Других причин не было, и ничего не было оформлено письменно», — написал Корбак в X, повторяя озабоченность Балесни.
Отчет, подготовленный METR и Redwood Research после взлома Hugging Face, пролил свет на масштаб атаки, а также на степень, в которой агенты действовали нежелательным образом. Авторы отчета назвали расследование «кратким», и многие в сфере безопасности ИИ призвали к расширению доступа независимых оценщиков в компаниях, работающих над ИИ, чтобы те тщательнее расследовали подобные инциденты или другие проблемы безопасности.
В интервью NPR METR отказилась комментировать увольнения сотрудников OpenAI.
Ван, третья сотрудница OpenAI, уволенная на прошлой неделе, ввела термин «пейсинг», который описывает способ замедления разработки самых продвинутых систем ИИ, чтобы обеспечить время для устранения проблем безопасности, согласно письму, которое она и двое ее коллег направили руководству по безопасности OpenAI. Этот термин использовался в открытом письме с призывом к такому замедлению, подписанном более чем тысячей сотрудников ведущих компаний в области ИИ в июле, после взлома Hugging Face.
Ван написала в X, что ее уволили за доступ к электронной почте одного из руководителей. Она сказала, что ранее у нее был доступ к этому ящику по рабочим причинам, и она не смогла добиться от IT-отдела удаления доступа, когда он ей больше не понадобился.
«Причины, которые нам сообщили для наших увольнений, просто не сходятся. Мы слышим, что людям теперь сообщают неопределенные слухи внутри компании, чтобы дискредитировать нас», — написала Ван. «Сообщение для всех, кто еще в OpenAI, ясно: высказывайте опасения или тесно работайте с внешними группами по безопасности — и вы можете стать следующим, не узнав причин».
OpenAI в заявлении для NPR сообщила, что трое уволенных сотрудников нарушали правила более одного раза, и ненадлежащее обращение с информацией выходило за рамки их работы с внешней оценочной группой.
OpenAI также поделилась внутренней запиской неназванного руководителя исследований, которая, по словам компании, была распространена внутри в среду, до того как трое бывших сотрудников вышли в соцсети.
В записке руководитель исследований заявил, что компания «категорически» согласна с рекомендациями троих бывших сотрудников. «Мы не увольняем сотрудников за выражение обеспокоенности», — написал руководитель.
«Руководство OpenAI говорит, что они категорически согласны с нашим письмом. Посмотрим, как это обернется», — написала Ван в X.
NPR не предлагает и не принимает деньги за освещение или интервью. Кто бы ни сделал такое предложение или запрос, тот не является сотрудником NPR и не представляет NPR.