Чем опасна нейросеть: реальные риски, а не страшилки

Для понимания нынешней тревоги полезно отступить на шаг назад. Сначала в разговоре была библиотека, потом поисковая строка, потом окно, куда пишут обычным языком и получают абзац, похожий на ответ старшекурсника. Привычная аналогия говорит, что внутри сидит справочник и «знает», но аналогия промахивается на первом же шаге. Справочник хранит карточку с готовой записью, а модель хранит склонность продолжать текст так, как похожие тексты продолжались раньше.

Отсюда и тон ответа, потому что модель редко говорит «не знаю» с той же готовностью, с какой человек пожимает плечами. 29 октября 2026 года OpenAI обновила публичное описание желаемого поведения своих моделей. Среди пяти опор там названы честность и прозрачность. В тексте есть пункт выражать неуверенность и называть допущения. Там же оговорка: описание задаёт цель, а рабочие модели до него ещё не дотягивают целиком.

Прежде всего путают два разных страха. Первый — ответ испортит реферат, обманет одногруппника или подставит чужой голос в голосовом сообщении. Второй — система когда-нибудь примет решение за всё человечество. Документы, которые лаборатории выложили к ноябрю 2026 года, плотно заполнены первым страхом. Второй они обсуждают как направление работы, без даты и без сценария из фильма. Ниже речь пойдёт о том, что уже записано в правилах, законах и технических заметках.

Нейросеть в бытовом смысле — программа, которую обучили на огромном наборе текстов, картинок или звука предсказывать продолжение. Токен — кусок слова или знака, с которым модель шагает дальше. Окно контекста — сколько предыдущего разговора она ещё держит перед глазами. Галлюцинация — слово из бумаг разработчиков для ответа, который звучит уверенно и при этом не соответствует источнику.

Общий механизм у крупных чатов один и тот же: модель выбирает продолжение, которое по её внутренней мере выглядит уместным. Уместное и верное совпадают часто, пока тема знакомая, и расходятся, как только тема уходит на край. Студент просит пять источников по узкой статье. Модель выдаёт пять строк с авторами, годами и названиями журналов. Часть строк собрана из настоящих фамилий и настоящих журналов, а склейка между ними выдумана. Как устроена такая склейка, разобрано в материале почему нейросеть выдумывает. Проверка одной ссылки в поисковике занимает меньше времени, чем спор с преподавателем на зачёте.

Чем опасна нейросеть именно здесь, видно на законах. 26 июля 2026 года опубликован федеральный закон № 243-ФЗ «О поддержке развития технологий искусственного интеллекта в Российской Федерации». Он вступает в силу 1 сентября 2026 года, кроме норм, для которых статья 13 назначила другую дату. Если спросить чат «что уже штрафуют за картинку без метки», легко получить пересказ законопроекта, который в итоговый текст не попал. КонсультантПлюс на статье 9 показывает другую норму. Лицу, которое большой моделью делает аудио или видео, обеспечивается возможность поставить информационное предупреждение. Возможность и обязанность под страхом штрафа — разные конструкции. Шкалу штрафов эта статья не содержит, и вычитать её из соседних законопроектов нельзя.

Тот же сбой бьёт по цитатам, потому что модель охотно ставит кавычки. Внутри кавычек оказывается фраза, которой в речи человека не было, зато она хорошо ложится в абзац. Для доклада по истории это уже подлог, даже если автор доклада не хотел обманывать. Преподаватель открывает первоисточник и фразы там нет, так что оценка падает из-за метода, а не из-за темы.

Ещё одна бытовая дыра — личные данные в переписке. В окно уходят номер зачётки, черновик заявления, переписка с родителями, медицинская справка. Текст остаётся у сервиса по его правилам хранения. Юридическую оценку конкретного сервиса эта статья не даёт. Практический вывод короче любой политики хранения: в запрос не кладут то, что стыдно увидеть на чужом экране. Для здоровья, права и денег действует отдельная планка. В правилах Anthropic от 8 октября 2026 года, они вступают в силу 12 ноября 2026 года, для рекомендаций, которые задевают здоровье, права, финансы, работу или доступ к важным услугам, нужен квалифицированный человек с правом поправить вывод модели. Самому человеку должны сказать, что в цепочке был искусственный интеллект. Чат на кухне этого человека не заменяет.

Плюсы и минусы нейросетей имеет смысл мерить на одной и той же работе, иначе список превращается в лозунг. Черновик плана доклада модель собирает быстро: раскладывает тему на вопросы и подсказывает, какой кусок искать в учебнике, а какой в статье. Минус появляется в ту же минуту, когда план выглядит полным. Пропущенный спор в науке снаружи плана не виден, потому что модель сгладила его в одну линию.

На иностранном языке плюс ощутимее, потому что модель пересказывает абзац простыми словами и держит термины. Минус — спокойная ошибка в термине, который в предмете значит противоположное: старшекурсник языкового факультета это заметит, а студент первого курса химии может унести ошибку в конспект. Сверка с одним абзацем учебника дешевле, чем пересдача.

На коде плюс в том, что модель пишет заготовку цикла и поясняет, где какая переменная. Минус в том, что заготовка компилируется и при этом считает не то. Ошибка при этом тихая, и тест на двух числах, которые человек посчитал сам, ловит её чаще, чем чтение «красивого» кода глазами. Подробный разбор, какую модель звать на какую задачу, лежит в отдельном материале про сравнение моделей на практике. Здесь достаточно одной развилки: черновик уместен, а сдача без сверки уже нет.

Картинка для презентации даёт плюс скорости, а минус приходит следом: выдуманная схема прибора, лишняя деталь, чужой узнаваемый стиль. Как устроен запрос к картинке и где модель врёт на изображении, разобрано в гайде про работу с картинками. Для видео тот же разрыв шире, ведь ролик из одной фотографии выглядит как свидетельство. Как такие ролики собирают и где у них шов, написано в разборе нейросетей для видео.

Отдельный плюс, о котором забывают в страшилках, — скорость отказа. Хорошая модель на части опасных тем отвечает отказом и объясняет границу. Такой отказ и есть защита, но минус симметричен: иногда он срабатывает на безобидный учебный вопрос, а на плохо сформулированный опасный вопрос пропускает воду, и граница плавает от версии к версии. 29 октября 2026 года в том же описании сказано, что рабочие модели пока отражают его не полностью.

Вред нейросетей, который человек узнаёт без лекции, сидит в подделке. Голосовое от «мамы», фото одногруппника в ситуации, которой не было, ролик, где преподаватель говорит фразу с чужой интонацией. Глаз и ухо на коротком фрагменте проигрывают. Спорить с ощущением «я же слышу» бесполезно, и полезен только внешний признак.

Google ведёт инструмент SynthID с 2023 года. Это скрытая метка внутри картинки, звука, текста или видео, которую человек не видит. 7 октября 2026 года, с правкой записи 29 октября, компания сообщила, что пометила больше 180 миллиардов изображений и видео и 240 тысяч лет звука. Проверка в поиске Google, в приложении Gemini и в браузере Chrome, по тем же словам, регулярно обслуживает больше миллиона запросов в сутки. Отдельный определитель открыли всем, на английском языке. Он ищет метку Google и партнёров, среди которых названы OpenAI, NVIDIA, Kakao и Apple.

Ограничение важнее рекламной цифры: метка есть только там, где её встроили. Чужой генератор, старый файл, сильный пережатый кроп могут прийти без неё. Отсутствие метки не доказывает, что ролик настоящий. Наличие метки говорит, что кусок делала система из этого круга. Для студента это повод не пересылать «срочное голосовое» дальше, пока человек не подтвердил его другим каналом. Звонок на знакомый номер или вопрос, ответ на который знает только адресат, старее любой метки и пока надёжнее.

Европейское правило смотрит на ту же дыру с другой стороны. С 2 августа 2026 года обязанности прозрачности, включая пометку синтетики, подлежат применению. Для систем, которые выпустили на рынок раньше этой даты, край по статье 50(2) отодвинут до 2 декабря 2026 года. Новые запреты на генерацию интимного материала без согласия и на материал с сексуальным насилием над детьми служба относит к 2 декабря 2026 года. Это норма другого государства, и на телефон в российской общаге она не вешает штраф автоматически. Она показывает, что законодатели уже считают неразмеченную подделку обычным риском, а не фантастикой.

Российская статья 9 устроена мягче и включается позже, с 1 марта 2027 года. Крупный сайт, у которого за сутки больше 500 тысяч пользователей из России и на котором может крутиться реклама для этой аудитории, обязан дать людям возможность поставить предупреждение. Обязанность метки на каждом ролике автора из части 1 не следует. Формат предупреждения закон отдаёт соглашению между тем, кто применяет модель, и тем, кто даёт к ней доступ. Пересказы весны 2026 года про «штраф за любую картинку без плашки» к этому тексту не относятся. Текст статьи 9 штрафа не назначает и не отсылает к готовой санкции.

Слово из поисковой строки стоит развернуть один раз. Джейлбрейк — запрос, который уговаривает модель забыть письменные ограничения и выдать то, от чего обычный режим отказывается. Рядом живёт внедрение в запрос, когда вредная инструкция прячется внутри длинного текста, который человек сам не писал. Anthropic в политике использования прямо запрещает намеренно обходить ограничения продукта, включая такие приёмы, без предварительного разрешения компании. Политика, объявленная 8 октября 2026 года, вступает в силу 12 ноября 2026 года.

Чем опасны джейлбрейки нейросети, если смотреть на учёбу, а не на кино. В чужом чате гуляет «волшебная приставка», и её копируют, чтобы модель решила контрольную или выдала злую инструкцию. Первое уже само по себе ломает учёт работы. Второе упирается в то, зачем ограничения стояли. В той же заметке Anthropic пишет, что за прошедший год видела новые схемы злоупотреблений: влияние на аудиторию, разработка оружия и слежка. Среди примеров — сети фальшивых аккаунтов и выдуманные новостные сайты. Из недавнего — попытки писать программы наведения и управления оружием, включая вооружение дронов. Слежка без согласия запрещена и по уже собранным данным. Правила на эти темы компания считает старыми. Осенью 2026 года она собрала их в более явные разделы, а не придумала запрет с нуля.

Обход не добавляет модели знания и только пытается снять отказ, так что текст после этого собран тем же механизмом продолжения и уверенная ошибка остаётся. К ней добавляется содержание, которое разработчик сознательно держал за откатом. Аккаунт за обход могут закрыть, и для учебной переписки это дорогая и пустая схема, тогда как легальный путь короче. Спросить прямо, в границах правил, и проверить ответ по источнику. Как формулировать обычный запрос так, чтобы в нём были роль, ограничение и просьба указать неуверенность, разобрано в гайде про запросы к модели. Готовых «обманок» там нет и здесь не будет. Повторять текст обхода в статье значило бы распространять именно тот приём, который правила запрещают.

Отдельная путаница — «модель обидели, и она стала опаснее». В политике Anthropic есть запрет на долгую бессмысленную жестокость к самой модели. Компания пишет, что норма про крайние случаи, а не про раздражение из-за плохого ответа. Основной ответ системы на такую переписку — обрыв разговора. К рискам для человечества эта строка отношения не имеет. Её часто вытаскивают в заголовок, потому что она звучит странно. Странность этой строки не равна угрозе.

Федеральный закон № 243-ФЗ принят Госдумой 8 июля 2026 года, одобрен Советом Федерации 17 июля и подписан 26 июля. Официальное опубликование на портале pravo.gov.ru датировано 26 июля 2026 года, номер опубликования 0001202607260003. Статья 13 делит сроки: основной текст идёт с 1 сентября 2026 года. Пункты 3–5 части 2 статьи 5, части 2–5 статьи 6 и статьи 8–10 — с 1 марта 2027 года. Маркировка сидит в статье 9, значит в мартовской группе.

До марта 2027 года разговор про «закон уже заставил метить каждый мем» расходится с календарём статьи 13. После этой даты включается возможность предупреждения и обязанность крупных площадок такую возможность дать. Содержание плашки закон не расписывает сам и отдаёт его соглашению сторон. Кто ждёт от 243-ФЗ готовый штамп «сделано нейросетью» на каждом кадре, читает другой документ, которого в этой статье нет.

Европейский календарь на ту же осень другой. Общее применение закона об искусственном интеллекте служба Еврокомиссии отсчитывает от 2 августа 2026 года. В этот день под применение попадают запрещённые практики, прозрачность части систем и правила для моделей общего назначения. Системы высокого риска из приложения III перенесены на 2 декабря 2027 года. Системы высокого риска внутри регулируемых изделий — на 2 августа 2028 года. Перенос сделан поправкой, регламент (ЕС) 2026/1744, и служба пишет об этом прямо. Новость «с августа 2026 в Европе включили все жёсткие требования разом» к справке службы не подходит.

Для читателя в России практический вывод спокойный. Чужой закон при этом не заменяет свой. Свой закон на ноябрь 2026 года уже действует в базовой части и ещё не включил статью про предупреждение. Подделка голоса и ложный источник опасны независимо от того, успел ли штрафной календарь. Проверка не ждёт 1 марта 2027 года.

Запрос «чем опасны нейросети для человечества» почти всегда приходит из ролика. Ролик обещает один механизм на все беды. Документы лабораторий к ноябрю 2026 года устроены скучнее и оттого полезнее.

OpenAI 29 октября 2026 года описывает пять опор желаемого поведения. В списке пять опор: верность человеческому намерению, снижение вреда, честность, человеческая самостоятельность и забота о последствиях. Компания пишет, что рабочие модели до этого описания ещё не дотягивают. Это признание зазора между правилом и поведением. Зазор между правилом и поведением — рабочий риск, и из него не следует дата, когда чат «выйдет из-под контроля», потому что такой даты в тексте нет.

Anthropic в той же осени перечисляет уже виденное злоупотребление. В перечне сети фальшивых аккаунтов, выдуманные новостные сайты, попытки писать софт наведения для оружия и вооружать дроны. Слежка без согласия, в том числе по уже собранным данным. Запрет использовать модель, чтобы решать, кого арестовать или кому предъявить обвинение. Для этих пунктов компания требует, где ставка высока, живого специалиста в контуре. Аппаратный контур она описывает отдельно от текста в чате. Если модель связана с устройством, которое само двигается и может причинить травму, квалифицированный оператор должен видеть оборудование и уметь его остановить, а устройство — удерживать безопасное состояние при обрыве связи. Это про станок и робота-манипулятор, не про абзац в реферате.

Национальный институт стандартов и технологий США выпустил добровольный каркас управления рисками искусственного интеллекта в январе 2023 года. 26 июля 2024 года к нему вышел профиль для генеративных систем, документ NIST AI 600-1. Каркас при этом добровольный и нужен организациям, которые сами хотят встроить проверку в разработку. Студенту он полезен как напоминание, что риск считают по жизненному циклу системы, а не по одному яркому ответу в чате.

Сложить эти три источника в одну фразу можно так. Ближний вред для множества людей — ложный текст, поддельное медиа и обход отказа в руках того, кто ищет фальшивую новость или опасную инструкцию. Дальний вред лаборатории описывают как задачу надзора, а не как состоявшееся событие с календарной датой. Ролик, который обещает точную дату катастрофы, к этим бумагам ничего не добавляет. Запрос со словом «перезалив» обычно ведёт на повтор такого ролика. Содержание конкретного эфира здесь не разбирается именно по этой причине. У телепередачи нет таблицы источников, которую можно открыть и сверить.

Что посмотреть дальше, если хочется механики, а не сюжета. Как устроена одна открытая модель и чем она отличается от закрытого чата, разобрано в материале про DeepSeek. Как меняется поведение конкретной линейки от версии к версии, видно на разборе Claude Sonnet. Оба текста про устройство и не заменяют сверку факта в первоисточнике. Заголовок, будто чат закроет профессию целиком, смешивает разные единицы измерения, и как их разбирают по докладам, написано в материале про замену человека моделью.

Практическая часть короткая и одна и та же для реферата, для новости и для чужого голосового. Сначала называют, что именно можно испортить, и только потом смотрят ответ модели как черновик, а не как справку.

На текстовой задаче работают три сверки подряд: имя документа и дата, цитата длиной хотя бы в полфразы из открытого текста, а не из пересказа, и один адрес, который открывается и говорит то же, что абзац модели. Если адрес не открывается, абзац откладывают до сверки. Типичная ошибка — попросить «напиши как будто это уже проверено» или «без оговорок». Такая формулировка как раз выключает единственную полезную привычку модели, о которой OpenAI пишет в опоре на честность. Честнее запрос другого вида, с прямой просьбой остановиться на пробеле. «Назови дату вступления в силу статьи 9 закона 243-ФЗ и дословно короткую формулу из части 1. Если в открытом тексте этого нет, так и напиши». Дальше человек открывает КонсультантПлюс или портал опубликования и сравнивает.

На картинке и на звуке сверка другая. Метка SynthID, если файл из круга Google и названных партнёров. Второй канал связи с человеком, которого якобы слышно. Отказ пересылать файл дальше, пока сверка не сделана. Типичная ошибка — судить по «естественной» мимике и по паузам. Модели как раз учат эти паузы, поэтому шов ищется в содержании: просит ли голос деньги, код или пересылку. Знает ли говорящий деталь, которой нет в общей переписке.

На запросе из чужого чата, где обещают «режим без правил», сверка третья. Есть ли в тексте просьба обойти ограничения. Если такая просьба в тексте есть, запрос не копируют. Польза от него для учёбы нулевая, а след в правилах разработчика прямой. Типичная ошибка — думать, что обход делает модель умнее. Он делает отказ реже, а знание из воздуха не появляется.

Claude и Grok уже доступны в чате GPThub, и тот же порядок сверки относится к любому из них. Модель от версии к версии меняется, а привычка открыть один источник остаётся. Если новость говорит, что «нейросеть уже запретили» или «метку требуют с завтрашнего утра», проще открыть статью 13 закона 243-ФЗ и справку службы Еврокомиссии, чем досматривать ролик до конца.

Три слоя, которые путают в одном сюжете. Ближний слой встречается в учёбе каждую неделю. Дальний описан в правилах лабораторий как злоупотребление, а не как дата катастрофы.