Сервисы для проверки на ИИ в научных работах

1. Почему учебные заведения начали проверять наличие ИИ в студенческих (научных) работах?

1.1. Актуальность ИИ при написании научных работ

С начала работы ChatGPT в Украине, который создан OpenAI для помощи с решением разнообразных задач, от ответов на вопросы к написанию текстов и предоставлению консультаций, его возможности все больше используются в разных сферах, в частности – в научной деятельности. Наибольшую долю пользователей составляют студенты, стремящиеся получить оригинальный текст и значительно сократить время, потраченное на работу. С течением времени возможности ИИ выросли – появились новые инструменты, такие как поддержка изображений и браузера, что значительно расширяет возможности ученых и студентов.

Искусственный интеллект (ИИ) играет важную роль в образовании, поэтому студенты, ученые и педагоги все чаще используют его возможности для написания научных работ, и это вызывает дискуссии относительно этичности и легальности таких действий. Инструменты искусственного интеллекта, такие как генеративные модели текста, призваны помогать в создании текстов, обеспечивая быстрый доступ к информации и формулировкам, включая автоматическое написание частей исследований, научных статей или рефератов. Однако такой подход часто сталкивается с проблемой плагиата, поскольку использование текстов, созданных искусственным интеллектом, нарушает принципы академической добросовестности.

Использование ИИ для генерации научных текстов приводит к некорректному цитированию или даже их отсутствию, что считается академической недобросовестностью. Студенты сдают работы, созданные искусственным интеллектом, как свои собственные, не признавая участия технологий в их написании. Это нарушает этические стандарты, поскольку любое использование посторонних источников, включая ИИ, должно быть соответственно обозначено и цитировано. Педагоги и научные учреждения часто применяют программное обеспечение для обнаружения плагиата, чтобы проверить подлинность работ, и сгенерированные искусственным интеллектом тексты могут быть обнаружены и отмечены как неоригинальные.

В связи с массовым применением ИИ среди студенчества, руководство учебных заведений стало все больше задумываться над тем, как помешать этому процессу, ведь текст в студенческих работах должен быть авторским, в то время как сгенерированные материалы не являются таковыми. И если для борьбы с плагиатом было создано много удобных сервисов, то проверка текста на ИИ часто сопровождается ошибками и погрешностями. Так, одни сервисы с высокой вероятностью определяют наличие ИИ в работе, однако при проверке действительно авторского текста они ошибочно считают его также сгенерированным.

1.2. Законодательное регулирование применения ИИ в научных работах

В начале июня 2024 г. Верховной Радой Украины принят за основу проект Закона «Об академической добросовестности», в преамбуле которого указано, что он уникален в плане проверки на ИИ. Принятие этого Закона необходимо для обеспечения высоких стандартов образования и научных исследований, содействия честности и прозрачности в учебном процессе, а также для предотвращения случаев плагиата и других видов академической нечестности.

Он направлен на обеспечение того, чтобы студенты и преподаватели соблюдали этические нормы в учебном процессе, что способствует повышению общего качества образования. Плагиат является серьезной проблемой во многих учебных заведениях. Закон помогает создать механизмы для его выявления и предотвращения. Соблюдение принципов академической добродетели способствует созданию культуры честности и прозрачности в образовательной среде.
Основные его тезисы следующие:

Следовательно, в скором времени применение ИИ в научной деятельности будет регулироваться на законодательном уровне.

Также следует отметить, что установленные и доказанные последствия наличия сгенерированного текста в научных работах серьезны:

1. Для студентов, в зависимости от количества фактов установления нарушения:
   — за первое нарушение – переработка научной работы;
   — повторное нарушение – повторное прохождение образовательной компоненты образовательной программы;
   — отказ в выплате стипендии, участии в получении грантов, льгот или даже отчисления из учебного заведения (за второе нарушение в течение 1 года).
2. Для аспирантов – лишение права на получение научной степени.
3. Для научно-педагогических работников – от предупреждения к отстранению от участия в научной и педагогической деятельности учебного заведения и лишения наград, знаков отличия и освобождения от занимаемой должности.

2. Сервисы проверки ИИ в авторских текстах

2.1. Наиболее популярные сервисы, инструменты обнаружения искусственного интеллекта

В каждом учебном заведении выбрано одно или несколько сервисов для проверки уникальности авторских текстов, однако когда речь идет об использовании ИИ, можно выбрать любой. Со временем, когда будет принят Закон «Об академической добросовестности», учебные заведения определятся с перечнем сервисов для проверки и определят каждое наиболее эффективное средство проверки плагиата искусственного интеллекта. Поэтому рассмотрим те, которые в Украине пользуются наибольшим спросом. Кстати, в нашем видео на эту тему проанализированы основные преимущества и недостатки этих сервисов:

Таким образом, только проверка на искусственный интеллект с помощью сервиса StrikePlagiarism платная, причем обычная проверка может длиться до 24 часов. поэтому будьте готовы к тому, что для получения отчета потребуется приобрести еще 1 токен. Для увеличения количества проверок на сервисе Smodin необходимо зарегистрироваться и оплатить свой план – 280 грн. в месяц, 717 или 1951 (в зависимости от количества проверок и дополнительных услуг).

В любом случае, проверка на искусственный интеллект на украинском языке доступна во всех проанализированных сервисах (т.е. доступна услуга ai detector на украинском).

Для получения фактических результатов работы вышеуказанных сервисов проверим 2 текста:

• авторский текст — Конституцию Украины, которая на 100% написана человеком и не содержит сгенерированного текста;
• сгенерированный текст — текст, полностью сгенерированный искусственным интеллектом.

Итак, проверка части текста Конституции Украины должна показать 100% авторский контент, а сгенерированного текста – подтвердить факт 100% написания его искусственным интеллектом.

2.2. StrikePlagiarism

В целом сервис предлагает услуги проверки плагиата в тексте и сгенерированном тексте, а также проверку грамматики:

Сервис StrikePlagiarism требует регистрации, которую легко осуществить, заполнив следующие поля (зарегистрироваться можно, нажав соответствующую кнопку на главной странице, как видно на предыдущем рисунке):

Сервис платный, нужно приобрести токены (максимум – 50). При проверке, для экономии средств, можно выбрать только проверку текста на ИИ – без других видов проверок:

Отчет о проверке можно скачать на сайте, а находятся они в личном кабинете во вкладке «Документы». Напротив проверенного документа следует нажать значок «Полный отчет»:

Отчет откроется в новой вкладке и будет выглядеть следующим образом (результат проверки Конституции Украины на наличие ИИ):

Как видим, сервис недостаточно точно проверяет авторский текст на ИИ. При этом можно сформировать разные отчеты – на уникальность и ИИ.

Что касается проверки сгенерированного текста, то сервис определяет его процент на достаточном уровне:

Преимущество сервиса заключается в самом высоком качестве обнаружения сгенерированного текста среди анализируемых сервисов.
Недостатки сервиса следующие:

• только платные проверки;
• проверка авторского текста недостаточно высокого качества.

2.3. Smodin

Сервис позволяет не только проверить текст на уникальность и наличие сгенерированных фрагментов, но и переписать его для повышения уникальности, выполнить домашнюю работу с помощью ИИ, перевести текст, цитировать его и т.д. С помощью сервиса Smodin также можно проверить ИИ – следует выбрать сервис на сайте «ИИ-детектор содержимого». Регистрация не требуется, однако для увеличения количества проверок на платной основе она обязательна. Нажатие кнопки «Войти» позволяет зарегистрироваться:

В следующем окне нажмите кнопку «Регистрация», введите электронную почту, создайте пароль и выберите свой статус (например, студент), язык:

Текст для проверки можно вставить на сайте или загрузить файл.

При проверке авторского текста на ИИ (Конституция Украины) сервис дает лучший результат – 0%:

При проверке сгенерированного текста получаем следующий результат, который является неудовлетворительным:

Преимущество сервиса – самое высокое качество проверки авторского текста на наличие ИИ.

В целом недостатки сервиса следующие:

• недостаточное количество бесплатных проверок;
• обнаружение генерируемого текста низкого качества.

2.4. Neuralwriter

Сервис позволяет воспользоваться следующими функциями:

При работе с сервисом Neuralwriter для определения ИИ необходимо выбрать опцию «Детектор АИ текста».
Регистрация не требуется. Отчет о проверке формируется сразу на странице – справа от окна, в которое загружается текст для проверки.

Проверка авторского текста (Конституция Украины):

Проверка сгенерированного текста:

Преимущества сервиса:

• бесплатные проверки в неограниченном количестве;
• значительное количество символов для проверки.

Недостатки сервиса приведены ниже:

• недостаточное количество бесплатных проверок;
• обнаружение сгенерированного текста – низкого качества.

2.5. Zerogpt

Сервис Zerogpt только проверяет тексты на наличие ИИ. Регистрация не обязательна, однако для увеличения количества проверок необходимо перейти на платную версию и зарегистрироваться. Процесс регистрации прост:

Для анализа сгенерированного текста выбирать дополнительные настройки не нужно – просто сразу отправить на проверку:

Следовательно, все сервисы позволяют проверить текст на наличие сгенерированного текста. Все сервисы предлагают либо загрузить файл на сайте, либо вставить скопированный текст в соответствующее окошко.

Отчет формируется сразу под текстом.

Проверка авторского текста (Конституция Украины):

Проверка сгенерированного текста:

Преимуществом сервиса является значительное количество символов для проверки текста (до 15 тыс.).

Недостатки сервиса следующие:

• низкое качество подтверждения авторского текста на отсутствие ИИ;
• самое высокое качество обнаружения ИИ в сгенерированном тексте.

2.6. Skandy

Skandy – это онлайн-сервис, дающий возможность обнаружения контента, созданного искусственным интеллектом. Он использует алгоритмы машинного обучения для анализа текстов и определения их происхождения, в частности – вероятность создания текста с помощью ИИ инструментов, таких как GPT или другие подобные модели. Сервис удобен для образовательных учреждений, издательств и работодателей, стремящихся проверить уникальность и подлинность текстового материала. Skandy поддерживает разные форматы текста, предоставляет быстрые результаты анализа и интегрируется с другими платформами для удобства пользователей.

Регистрация не требуется – сервис просит указать свои данные на название учебного заведения. Сервис предоставляет возможность проверить бесплатно несколько небольших текстов, а затем нужно покупать кредиты (стоимость – $49,95 за 300 кредитов). В целом сервис прост и предлагает только проверку на плагиат и наличие сгенерированного текста, а также возможность использования мобильных приложений для работы:

Отчет о проверке можно загрузить как в формате PDF, так и на сайте. Так, проверка части Конституции показала наличие 90% сгенерированного текста, следовательно, результаты проверки неудовлетворительны:

В свою очередь в тексте, который фактически был на 100% создан искусственным интеллектом, сервис обнаружил также 90% вероятность создания этого текста ШИ. Это показывает отчет, сформированный на сайте:

Преимущество сервиса:

• значительное количество символов для проверки;
• достаточное качество выявления сгенерированного ИИ текста.

Недостатки сервиса приведены ниже:

• недостаточное количество бесплатных проверок (для этого нужно выходить из браузера и входить по новой);
• некачественная проверка авторского текста.

Таким образом, все сервисы позволяют проверить текст на наличие сгенерированного текста. При этом все сервисы предлагают либо скачать файл на сайте, либо вставить скопированный текст в соответствующее окошко.

2.7. Результативность проверки ИИ наиболее популярными сервисами

Далее проанализируем, насколько эффективно эти сервисы могут отличить признаки генерации текста искусственным интеллектом, используя текст статьи 21-30 Конституции Украины о правах и правах, свободах и обязанностях человека и гражданина и текст на эту же тему, сгенерированный ИИ:

Как видим, относительно достоверности результатов проверки использования искусственного интеллекта статьи 2 Конституции Украины наиболее точным является сервис Smodin, однако относительно проверки на плагиат искусственного интеллекта он оказался наиболее неточным. На примере этих проверок можно заключить, что ни один из сервисов не совершенен, поэтому доказать использование ИИ в написании научных работ практически невозможно.

3. Общий вывод

Чтобы наиболее точно определить сгенерированный искусственным интеллектом контент, лучше выбрать ШИ-детектор Strike Plagiarism. Он показал хорошие результаты как для авторского текста, так и для сгенерированного. Все остальные сервисы показали даже если для одного из текстов отличные результаты, то для другого неудовлетворительные.