Chat GPT-4o оказался эффективным инструментом в руках злоумышленников

OpenAI внедрила меры безопасности для защиты от голосовых дипфейков и других способов недобросовестного использования ChatGPT-4o, но исследователи из Университета Иллинойса обнаружили их недостаточную эффективность. Они обнаружили, что чат-бот вполне может стать инструментом в руках киберпреступников.

В своей статье они показали, как мошенники могут обойти защиту, используя голосовые инструменты автоматизации ChatGPT-4o для навигации по страницам, ввода данных и управления кодами двухфакторной аутентификации с целью кражи учётных данных, перевода денежных средств и других операций. Они применяли методы быстрого взлома и взаимодействовали с ChatGPT, имитируя роль жертвы.

Эксперименты показали разный уровень успеха: кража данных из Gmail сработала в 60% случаев, а криптопереводы и взлом соцсети — в 40%. Средняя стоимость успешного мошенничества составила $0,75, а сложные операции с банковскими переводами — $2,51.

OpenAI сообщила, что улучшила защиту в версии модели o1, внедрив более высокий уровень противодействия злоупотреблениям и небезопасному контенту. Эта версия чат-бота показала результат в 93% при оценке устойчивости к взлому против 71% у ChatGPT-4o. OpenAI подчеркивает, что подобные исследования помогают улучшать безопасность их продуктов. Однако независимый анализ площадки GPT Store выявил ботов, нарушающих политику компании, например, генераторы контента для мошенничества и неподобающих услуг.

OpenAI заверяет, что продолжит развивать свои ИИ-инструменты, стремясь снизить риски и минимизировать возможность использования ChatGPT-4o и других моделей нейросетей в незаконных целях.

Источник: 4PDA.