Как найти плагиат по тексту

Чтобы проверить текст на уникальность и выявить плагиат, вставьте текст в текстовое поле или
загрузите
документ в формате MS Word (.doc, .docx), презентации в формате .ppt,
документы (.odt, .txt).
При проверке текста, поиск заимствованных слов и выражений идет по всему интернету, включая
все документы.

Время выполнения программы зависит от очереди, приблизительное время проверки 10-20
секунд.

0 million

Столько пользователей уже воспользовались нашим сервисом.

О сервисе — Антиплагиат

Антиплагиат разработан по уникальному алгоритму, выполняя анализ текста система
выполняет
качественный поиск плагиата в тексте — это эффективно помогает
студентам, учащимся школ, вузов, а также преподавателям в работе.
Проверка текста проводится абсолютно бесплатно, для проверки не требуется регистрации.
Вы можете использовать его онлайн с любого устройства, все что вам
нужно,
это
интернет-соединение, чтобы выполнить проверку текста на уникальность.

Сервис будет полезен тем, кто заказывает рерайт текста, чтобы заказчик мог
удостовериться в уникальности текста. Для блогера, который должен ежедневно публиковать
несколько блогов, им сложно писать уникальный контент, особенно, при написании на одни и те
же темы.

В нашем редакторе есть кнопка развернуть на весь экран — это позволит открыть
текстовый редактор на весь экран, так работать с
текстом станет намного удобнее.

Приложение доступно в Google Play

Подсветка слов

После выполнения проверки, текст будет выделен желтым маркером — это текст, который был
найден в сети и является плагиатом. В таблице найденных результатов можно выбрать источник
плагиата, по которому
были
найдены заимствованные слова или выражения.

Как составить полный отчет?

После успешной проверки текста на плагиат вам будет доступна кнопка сформировать
отчет.
В отчет будут занесены все характеристики вашего текста с указанием найденных источников на
плагиат, чтобы отчет могли увидеть другие пользователи вам нужно создать ссылку и поделиться
ей в любой сети, так же вы сможете распечатать отчет на странице.

Функция — игнорировать домен

По умолчанию функция отключена.
Если требуется исключить домен из проверки, то включите данную функцию и введите
ваш домен в соответствующее поле, благодаря этому данный источник не будет проходить
проверку на Антиплагиат.

Использования API

На данный момент сервис не поддерживает API. Ваши пожелания вы можете направить нам по почте
admin@rustxt.ru

Онлайн проверка на плагиат – бесплатно, быстро, и без регистрации!
Тщательный анализ текста и поиск копий в Интернете.
Специально разработанный алгоритм проверит ваш текст на уникальность и сразу скажет результат.
Наш сервис умеет определять рерайт и другие способы уникализации текста.

Ваши последние проверки

Для доступа к истории проверок нужно войти в систему

Новости сервиса

О проверке текста на уникальность

При проверке текста на уникальность система онлайн проверки на плагиат найдет в Интернете страницы, содержащие его полные или частичные копии.
Содержимое этих страниц будет сравниваться с указанным текстом для выявления совпадений.

На основе найденных совпадений будет подсчитана общая уникальность текста в процентах, а также уникальность относительно каждой найденной страницы с совпадениями.
Вы сможете посмотреть, какие части текста были найдены на каждой из проанализированных страниц.

Если Вы знаете, что указанный текст размещён на каком-то сайте и не хотите учитывать его при подсчёте общей уникальности, введите адрес в поле “Игнорировать сайт”.
Достаточно ввести домен.

Бесплатная версия

• Текст длиной до 10.000 символов
• До 3 проверок в день
• Использовать любые средства автоматического доступа к сервису запрещено

Закончился лимит? Хотите проверить тексты вдвое больше? Берите подписку!

Автоматическая регулярная проверка сайта

Попробуйте нашу автоматическую регулярную проверку – добавьте страницы сайта на защиту, и мы будем мониторить их уникальность и отправлять вам отчеты на почту!

Пожалуйста, сообщайте об ошибках, оставляйте отзывы и предложения.

Обратите внимание, на нашем сайте можно проверить уникальность контента сайта.

Каждому преподавателю важно знать, как обнаружить плагиат текста. С помощью разных программ, можно провести техническую проверку и выявить совпадения в тексте. Это облегчает работу преподавателя и позволяет  поставить оценку без дополнительной экспертизы.
Однако в каких случаях доверять программе нельзя и необходимо самостоятельно вчитываться в работу? Расскажем в сегодняшней статье. Прочитайте ее до конца, чтобы узнать, как студенты обходят антиплагиат.

Содержание

1. Плагиат текста – что это?
2. Сколько допускается плагиата в студенческих работах
3. Поможет ли проверка плагиата текста поставить оценку
4. Как обнаружить плагиат текста – 2 лучших сервиса

• Антиплагиат ру поможет обнаружить плагиат бесплатно
• Антиплагиат ВУЗ – обнаружить точный процент плагиат

1. Что делать после обнаружения плагиата?
2. Поможет ли самостоятельная экспертиза обнаружить плагиат?
3. Как студенты могут скрыть плагиат текста?

01 Плагиат текста – что это?

Плагиат текста это использование и присвоение результатов чужой работы. Плагиат – это хищение продукта интеллектуального труда с целью выдачи под своим именем. Тот, кто использует чужие тексты, делает это ради собственной выгоды.

Студенты часто используют готовые работы, которые выложены в сети интернет, чтобы вовремя сдать выполненное задание преподавателю. В ход идут и научные  публикации, статьи и монографии, которые подходят под тему.

Плагиатом не должен считаться фрагмент текста, если к нему приставлена ссылка на источник. Однако студенты часто используют данное разрешение, чтобы добавлять как можно больше заимствованных частей. При этом большинство даже не использует перефразирование. Поэтому при технической проверке на уникальность ссылка может показать плагиат.

Поэтому студентам нужно знать, если они копируют и вставляют текст из источника, то его нужно правильно оформлять в цитату.

Все выпускные работы попадают в Кольцо вузов и публикуются на сайте университета. Поэтому необходимо заранее выяснять, использовал студент плагиат или нет.

Обнаружить плагиат достаточно легко. Для этого нужно только воспользоваться специальными системами, о которых мы поговорим дальше.

02 Сколько допускается плагиата в студенческих работах

В идеале плагиат вообще не должен допускаться ни в каких работах. Его обнаружение необходимо для того, чтобы предотвратить публикацию текстов с заимствованиями. Однако допускается некоторый процент, который включает общие фразы или опору на нормативно-правовые документы, законы и т.д., которые нельзя переписать своими словами.

Для студентов экономического и юридического факультетов допускается уровень плагиата в 20%.

К тому же процент цитирования не должен превышать 25%.

Минимальный показатель уникальности – 55%

Для филфака и журфака наиболее высокие требования к плагиату.

В их работах процент обнаруженного плагиата должен быть не более 5-10%. Причем в эти рамки включены ссылки и сноски на литературные источники.

Техническим и естественным направлениям не часто приходится сталкиваться с проверкой на уникальность. Однако при обязательном прохождении антиплагиата должно обнаружиться не более 15% плагиата. Обычно с расчетом формул и чертежами сложно связать наличие заимствований, но не будем забывать о теоретической составляющей.

Более подробно, мы рассказали о требованиях плагиата в предыдущей статье. При обнаружении плагиата необходимо руководствоваться теми нормативами, которые были приняты на факультете или на кафедре. Иногда обязательный процент уникальности и заимствований указывается в методичке.

Лайфхак
Преподаватели знают, что Антиплагиат ВУЗ – это система, которая устанавливается в 95% вузов. Однако проверить студенческую работу через данный сервис могут только сотрудники деканата. Именно на их компьютерах сохранена учетная запись, которую нельзя разглашать.
Поэтому как студентам, так и преподавателям рекомендуем проверять работу на нашем сервисе. За пару минут вы получите результат проверки, полный отчет и справку о проведенном анализе.
Также мы поможем обойти вузовскую систему с показателем 80-90%. С помощью программы Антиплагиат Киллер вы сможете получить высокий результат оригинальности.

03 Поможет ли проверка плагиата текста поставить оценку

Проверка плагиата поможет поставить правильную оценку. Ведь относительно того, какой показатель был выдан системой антиплагиат, можно решить, сам студент выполнял работу или нет.

С одной стороны, ставить балл только по проценту уникальности слишком рискованно. Ведь студент мог заказать работу в какой-нибудь фирме или у частного автора. Поэтому можно провести защиту на кафедре, чтобы каждый студент рассказал о проведенном исследовании сам. Однако это отнимет много дополнительного времени. Поэтому такая защита применяется только для ВКР, иногда для курсовых работ.

С другой стороны, оценка за оригинальность позволит сэкономить время и силы. Оценки за сдачу письменных работ не всегда играют важную роль для итогового балла. Всегда важнее то, как студент будет сдавать экзамен или защищать ВКР перед выпуском из вуза.

Студентам, которые самостоятельно пишут свои работы важно, чтобы научный руководитель смог оценить их труд. Поэтому в некоторых случаях читать весь текст просто необходимо.

Обнаружение плагиата – это важный критерий оценивания, но не основной. Поэтому оценку лучше ставить по всему выполненному заданию, включая содержание, оформление и уровень оригинальности.

04 Как обнаружить плагиат текста – 2 лучших сервиса

Для проверки студенческих работ подходят не все сервисы для обнаружения плагиата. Мы нашли 2 лучших систеемы, которые помогут вам узнать процентное соотношение уровней оригинальности и заимствования.

• Антиплагиат ру поможет обнаружить плагиат бесплатно

Антиплагиат ру – это самый известный сервис, который помогает обнаружить плагиат бесплатно. Для этого предназначена демо-версия системы на официальном сайте Антиплагиат.

Чтобы воспользоваться данной услугой достаточно только зарегистрировать свой личный аккаунт через e-mail. Пароль придет на электронный ящик – вы сможете войти в личный кабинет на сайте Антиплагиат ру.

Затем нужно загрузить документ, нажав на кнопку «добавить документ». Формат допустимых файлов – ПДФ и ТХТ. Чтобы изменить тип документа, нужно его конвертировать через бесплатные онлайн приложения.

Либо можно добавить скопированный текст прямо в окно программы, нажав на кнопку «добавить текст».

Перед началом проверки система антиплагиат запросит выбор модулей поиска заимствований. Однако выбрать несколько вариантов не получится. Ведь нужно приобрести платный тариф, чтобы стали доступны модули и коллекции. В бесплатной версии Антиплагиат ру можно проверить работы только через открытые источники сети. Однако все они отвечают научной тематике и позволяют выявить достаточно большой процент совпадений. 

Обнаружить плагиат через закрытые сайты и другие ресурсы сети не получится. Поэтому если студент использовал статьи из журнала Е-library или диссертации из РГБ, то это заимствование останется невыявленным.

В результате процент оригинальности обычно бывает завышен относительно финальной проверки через вузовскую систему. Поэтому Антиплагиат ру не может использоваться для выставления итоговой оценки.

Однако он подходит для выяснения примерного процента оригинальности работы. Обычно студенты используют данный сервис для самостоятельной проверки уникальности. Обнаружить плагиат в тексте не получится, потому что полный отчет в демо-версии Антиплагиат ру недоступен.

• Антиплагиат ВУЗ – обнаружить точный процент плагиат

Обнаружить точный процент плагиата поможет система Антиплагиат ВУЗ. Это сервис, который позволяет провести поиск соответствий через самый полный список модулей и коллекций. Через них индексируются миллиарды документов.

Например, Кольцо вузов хранит миллионы диссертаций и ВКР, которые прошли защиту; в РГБ хранится архив диссертаций за несколько десятков лет; научные журналы и издательства периодически пополняются новыми публикациями. Больше прочитать о базе источников можно в предыдущей статье «Модули в Антиплагиат ВУЗ: что это и какие они бывают».

Антиплагиат ВУЗ предназначается специально для проверки студенческих работ. Поэтому университеты используют именно этот расширенный пакет Антиплагиата.

В настоящее время почти 95% вузов приобрели лицензию системы на годовое обслуживание. Более подробно со списком университетов можно ознакомиться в данной статье «Список вузов подключенных к Антиплагиат ВУЗ 2022».

Учетная запись хранится строго под надзором деканата. Многие преподаватели не знают, как пользоваться системой. Проверить работу для обнаружения плагиата заранее не получится. Ведь за нарушение запрета о предоставлении доступа к системе недолжностным лицам  могут быть применены санкции.

Чтобы проверить работу через Антиплагиат ВУЗ, можно воспользоваться специальной услугой на нашем сервисе. Мы поможем за пару минут не только выявить все соответствия в тексте, но и показать, где они находятся. Именно для этого и нужен полный отчет. Он помогает увидеть участки заимствований в работе. Впоследствии их можно удалить или перефразировать таким образом, чтобы антиплагиат больше не смог их проследить.

К тому же можно получить официальный документ – справку Антиплагиат ВУЗ, которая подтверждает прохождение через допустимый порог оригинальности.

Таким образом, Антиплагиат ВУЗ поможет быстро обнаружить плагиат и точный процент оригинальности текста.

Вы можете сравнить, чем различаются Антиплагиат ру и Антиплагиат ВУЗ, посмотрев наше видео. В нем детально описывается, какая система все-таки лучше.

05 Что делать после обнаружения плагиата?

Если плагиат был обнаружен, то необходимо сравнить его с допустимым процентом. Вы можете оставить текст неизменным, если разрешенные рамки сохранены. При этом нельзя завышать оценку при максимальном показателе плагиата.

Даже если работа была выполнена на отлично по содержанию, но процент заимствований зашкаливает, то необходимо провести дополнительную экспертизу.

Эта возможность, которая есть у каждого студента, если он сможет убедить комиссию проверки в том, что процент уникальности был неточным. Поэтому появилась необходимость в повторной экспертизе.

Напомним, что проверка на оригинальность проводится только один раз. Поэтому важно избежать обнаружения плагиата в тексте.

06 Поможет ли самостоятельная экспертиза обнаружить плагиат?

Самостоятельная экспертиза поможет обнаружить плагиат, если преподаватель достаточно начитан и эрудирован. Выявить соответствия в тексте не так просто на самом деле. Ведь недостаточно только проверить ошибки в работе. Нужно просмотреть полный отчет, по которому будет видно, какие именно совпадения были выявлены.

Очень часто программа антиплагиат принимает за заимствования ссылки, справка, выписки из документов, общие фразы.

Преподаватель должен отмести в сторону «неправильный» плагиат. Такая процедура поможет студенту пройти проверку уникальности при возникновении проблем. Однако экспертиза не является обязательной. Научный руководитель может вполне отказаться от повторной проверки текста.

Поэтому, чтобы пройти через проверку на оригинальность студенту, нужно заранее обнаружить плагиат  и самостоятельно устранить его. И только после этого нести в университет  на финальный анализ уникальности.

07 Как студенты могут скрыть плагиат текста?

Студенты могут скрыть плагиат разными способами. К примеру, они могут использовать перефразирование, чтобы изменить чужой текст, пересказав его по-своему.

Существует большое количество таких методов, которые мы коллекционируем на протяжении 15 лет. Уже накопилось 30 методов, которые изложены в статье «Как повысить уникальность текста: 30 лучших способов».

Самыми эффективными приемами являются рерайт текста и кодировка Антиплагиат Киллер. Чтобы выполнить правильный рерайт, придется потратить немало времени. Необходимо полностью обработать документ, чтобы большая часть текста не совпадала с предыдущим вариантом.

Для этого нужно использовать замену слов на аналоги или синонимы, затем изменять фразы или предложения из других текстов.

А вот кодировка, наоборот, не меняет ни одного словечка и ни одной буковки, а повышает процент оригинальности точно так же до 80-90%. Для этого только нужно заполнить заявку на нашем сервисе на повышение уникальности и подождать пару минут. Мы поможем вам поднять антиплагиат быстро и эффективно. В качестве гарантии мы предоставляем работу бесплатно. Вы сможете оплатить ее только после того, как самостоятельно убедитесь в увеличении процента.

Как это работает? Программа Антиплагиат Киллер маскирует все заимствования, чтобы система проверки не смогла обнаружить плагиат. Таким образом, внутри файла производится кодировка, которая и помогает пройти анализ на заимствования.

Давайте подводить итоги. Сегодня мы рассказали, как обнаружить плагиат текста. Для этого подходят только две системы Антиплагиат. Причем Антиплагиат ру чаще используют студенты, а Антиплагиат ВУЗ подходит для преподавателей. Теперь вы знаете, какие способы обхода системы проверки уникальности существуют. Их достаточно много, поэтому иногда невозможно до конца выяснить, сам студент писал свою работу или нет. Поэтому показатель оригинальности в настоящее время имеет весомый аргумент при выставлении итоговой оценки.

Полезные ссылки:

Цитирование в антиплагиате: как оформить – Пример

Антиплагиат реферата – как проверить и пройти в 2022

Повысить оригинальность текста для антиплагиат вуз

Как избавиться от плагиата в тексте курсовой диплома

Повышение оригинальности текста онлайн бесплатно

Как оформить ссылки и сноски в курсовой работе: ГОСТ

Так устроен поиск заимствований в Антиплагиате

Мы уже рассказывали вам об интересных статистиках текстов, делали обзор статей применений автокодировщиков в анализе текстов, удивляли нашими свежими алгоритмами поиска переводных заимствований и парафраза. Я решил продолжить нашу корпоративную традицию и, во-первых, начать статью с «Т», а во-вторых, рассказать:

• как быстро найти абзац текста среди сотен миллионов статей;
• во что превращается документ после загрузки в систему Антиплагиат, и что с этим делать дальше;
• как формируется отчет, который почти никто не смотрит, а стоило бы;
• как проиндексировать не все, но достаточно.

Как все начиналось

В 2005 году ректор одного из крупных московских вузов пришел к нам в компанию Forecsys за решением очень серьезной проблемы — в учебных заведениях студенты сдавали тотально списанные дипломы и курсовые работы. Мы взяли несколько сотен работ отличников и поискали их в сети простыми запросами. Больше половины

«отличников»

оказались жуликами, которые скачали диплом из интернета и заменили только титульную страницу. Больше половины отличников, Карл! Что происходило с обычными студентами — сложно даже представить. Проще всего работа искалась по запросу, содержащему слова с «очепятками». Нам стали понятны масштабы бедствия. Надо было срочно что-то решать. Зарубежные англоязычные вузы к тому времени уже пользовались решениями по поиску заимствований, но работы на русском языке почему-то не проверял никто.

Зарубежные игроки не захотели тогда адаптировать свои решения под русский язык. В результате 17 марта 2005 года стартовала разработка первой отечественной системы поиска заимствований. Само слово «Антиплагиат» было придумано чуть позже, а домен antiplagiat.ru зарегистрирован 28 апреля 2005 года. Мы планировали выпустить сайт к 1 сентября 2005 года, но, как это часто бывает с программистами, немного не успели. Официальный день рождения нашей компании — это день, когда antiplagiat.ru принял первых пользователей, а именно 4 сентября. Знаете, я даже этому рад, поскольку во время корпоратива по случаю дня рождения компании все могут спокойно праздновать, а не переживать за первый школьный день у своих детей.

Но что-то я отвлекся. В 2005 году мы создали своеобразный поисковик, в котором, в отличии от Яндекса и Гугла, запросом выступает не два-три слова, а целый текст, состоящий из нескольких предложений. Поэтому разумно использовать «Антиплагиат», если у вас есть текст от 1000 знаков (это примерно полстраницы).

Во время разработки сервиса был сделан прототип на php (web-часть) и Microsoft SQL Server (поисковый движок). Сразу же стало понятно, что это не взлетит и будет медленно работать уже на нескольких миллионах документов. Поэтому пришлось пилить свой поисковый движок. Сейчас система написана на C# и python, использует PostgreSQL и MongoDB (на самом деле много чего еще, но об этом в следующей статье). Поисковый движок у нас по-прежнему полностью собственной разработки.

Ставьте лайки

Пишите в комментариях, если хотите узнать об истории развития системы, смене процессов работы компании и железе, на котором «Антиплагиат» работал в разные моменты своей жизни, и работает сейчас.

Слово, давшее название компании, сейчас стало уже нарицательным. Часто в поисковике можно встретить такие выражения как «проверить на антиплагиат», «повысить антиплагиат». Все, кто так или иначе связан с областью поиска заимствований в России и ближнем зарубежье, пытаются использовать слово «антиплагиат» для поднятия в поисковой выдаче. Нас часто спрашивают про другие «антиплагиаты». Так вот, «Антиплагиат» — один, это торговая марка и название нашей компании.

В самом начале реализации сервиса поиска заимствований мы решили, что будем работать с текстом как с последовательностью символов. Сразу были отвергнуты различные семантические построения из текстов, поиск смыслов, разбор предложений и т.д. Выбранное нами решение дает два огромных преимущества — высокую скорость поиска и относительно небольшой объем поисковых индексов.

К настоящему моменту есть три продукта в нашей линейке. Они отличаются функциональностью, но содержат в своей основе один и тот же принцип работы поиска заимствований. В этой статье я расскажу о том, как устроен наш классический поиск заимствований — функционал, ставший основой сервиса с самого начала и концептуально не поменявшийся до сих пор. Схема поиска заимствований, как вы видите на изображении, проста и незамысловата, как рисование совы. Сначала мы получаем документ от пользователя, затем мы извлекаем из него текст. Дальше ищем заимствования в этом тексте, получаем «ревизии» (так мы называем отчет по одному модулю поиска) и, наконец, собираем ревизии в один большой отчет, который и показываем в итоге пользователю.

Давайте посмотрим, как все это происходит в деталях.

Извлечение текста

Прежде всего, «Антиплагиат» является сервисом поиска только текстовых заимствований, а значит, из всех документов нам нужно извлечь текст, чтобы дальше с ним работать. Система поддерживает возможность загрузки документов в docx, doc, txt, pdf, rtf, odt, html, pptx и еще нескольких (никогда не использовавшихся) форматах. Также все эти документы вы можете загружать в архивах (7z, zip, rar). Такой способ был популярен, когда у нас не было возможности загружать сразу несколько документов через веб-интерфейс. Ниже приведен график популярности форматов загружаемых документов в корпоративной части нашей системы. На нем видно, как за несколько лет doc вытесняется docx, и постепенно растет доля pdf. Если не рассматривать txt (извлечение текста для него тривиально), то для нас наиболее приятным является pdf. За рубежом pdf является стандартом де-факто, в нем публикуются статьи, готовятся студенческие работы. Согласно нашей статистике, pdf постепенно набирает популярность в России и странах СНГ. Мы и сами продвигаем этот формат в массы, рекомендуя загружать документы именно в нем.

Мы ограничили форматы загрузки документов для частных клиентов до pdf и txt, и именно поэтому сократили потребление ресурсов, уменьшили затраты на поддержку бесплатного сервиса. Вам ведь надо проверить текст, а не протестировать систему? Так какая разница в каком формате его загружать?

Следующим по простоте извлечения текста идет docx, т.к., по сути, это zip-архив с xml внутри, его достаточно просто обрабатывать, и многое можно сделать на низком уровне.

Самым сложным для нас является doc. Этот формат долгое время был закрытым, и сейчас существует куча его реализаций. Последний Microsoft Word, который не поддерживал .docx (пусть и через Microsoft Office Compatibility Pack), выпускался аж 20 лет назад и входил в Microsoft Office 97. Формат использует внутри себя OLE, позже выросшее в COM и ActiveX, все бинарное, местами не совместимое между версиями. В общем, ужасный сон современного программиста. Хорошо, что .doc-формат постепенно сходит со сцены. Думаю, настало время и нам помочь ему выйти на пенсию. Скоро мы станем целенаправленно предупреждать пользователей о том, что этот формат устарел.

Итак, вернемся к отчету. Мы получили файл и начали извлекать текст. Вместе с текстом система извлекает и позиции слов на страницах, чтобы в дальнейшем иметь возможность показывать нашим пользователям разметку отчета о заимствовании на самом документе. Кроме того, на этом же этапе мы ищем технические обходы «Антиплагиата».

Как только появился «Антиплагиат», показывающий процент оригинальности, появились и желающие пройти проверку на заимствование с минимальными усилиями, а также люди, предлагающие такую услугу за деньги. Проблема в том, что числовой параметр так и просится стать оценкой. Ведь это так просто — вместо чтения работы с использованием системы в качестве инструмента, не читать ее, а оценить по проценту оригинальности! Именно эта беда и породила такое направление, как тюнинг работ (изменение в тексте с целью увеличить процент оригинальности работы). Подробнее о проблемах в вузовских процессах читайте в статье «О практике обнаружения заимствований в российских вузах».

В зарубежных системах поиска проблемы обнаружения технических обходов и противодействия им, практически, не стоит. Дело в том, что за обнаруженный «финт ушами» последует очень жесткое наказание — отчисление, и несмываемое пятно на научной репутации, несовместимое с дальнейшей карьерой. У нас же ситуация до комичного проста: «Ой, это система что-то напортачила!», «Ой, это не я, оно само!». Студента скорее всего отправят переделывать. Дело в том, что списать, увы, не является чем-то зазорным.

Но опять отвлекся. Еще одним способом извлечения текста является OCR. Мы печатаем документ на виртуальном принтере, а потом распознаем его. Подробнее об этом написано в статье «Распознавание изображений на службе у «Антиплагиата»».

Теперь немного нашей истории об извлечении текстов. Сначала мы извлекали тексты с помощью IFilter’ов. Они медленные, только под Windows, и не возвращают информацию о форматировании (непонятно, где белый текст на белом фоне, нельзя потом сделать разметку блоков заимствования прямо в документе пользователя). Мы думали, что эти проблемы решатся, если начать использовать платные библиотеки, но и тут обнаружили ограничения: по-прежнему под Windows, не видят формул, иногда падают на специально подготовленных документах (разные библиотеки на разных!). Следующая идея была в том, чтобы OCR’ить все входящие документы, но этот подход очень ресурсозатратен (обработка всего 10-и страниц в минуту на одном ядре), и местами текст извлекается не точно.

Серебряной пули мы не нашли, хотя пару раз думали, что вот оно, Счастье. Однако потом, немного пожив с этим, понимали, что это снова Опыт. Извлечение текста балансирует на тонкой грани между производительностью (надо извлекать текст из сотни документов в минуту), надежностью (надо извлекать текст из всего), функциональностью (форматирование, обходы, вот это вот все). Сейчас у нас работает все вышеперечисленное и еще немножко. Мы постоянно экспериментируем с этой областью и продолжаем искать свое Счастье.

Текст извлечен, обходы найдены и частично устранены, отправляемся искать заимствования!

Поиск заимствований

Идея, реализованная в процедуре поиска, была предложена Ильей Сегаловичем и Юрием Зеленковым (прочитать можно, например, в статье: Сравнительный анализ методов определения нечетких дубликатов для Web-документов). Расскажу, как это работает у нас. Возьмем, для примера, предложение: «Указ Президента РФ от 7 мая 2012 г. N 596 „О долгосрочной государственной экономической политике“».

1. Разбиваем предложения на слова, выкидываем числа, знаки препинания, стоп-слова. Лемматизируем (приводим в нормальную форму) все слова.
2. Превращаем слова в целые числа путем хеширования, получаем массив чисел.
3. Берем первую тройку хешей, затем 2, 3, 4-ый хеш, затем 3, 4, 5-ый и так до конца массива хешей. Это и есть шинглы — черепички. Свое название такой способ получил из-за такого черепичного перекрытия наборов. Каждую черепичку сливаем в один объект и хешируем еще раз.
4. Сортируем полученные числа, получаем упорядоченный массив целых чисел. Это и есть основа для поиска.

Теперь для поиска нам нужна магическая функция, которая по такому списку хешей превращает документы, отранжированные по убыванию числа совпавших хешей, в документ-источник. Эта функция должна работать быстро, т.к. мы хотим искать в миллиардах документов. Для того, чтобы быстро находить такой набор, нам нужен обратный индекс, который по хешу возвращает список документов, в которых этот хеш есть. У нас реализована такая гигантская хеш-таблица. В отличии от наших старших братьев-поисковиков, мы храним эту таблицу на ssd, а не в памяти. Нам вполне хватает такой производительности. Поиск по индексу занимает малую часть времени от всего цикла обработки документа. Смотрите как проходит поиск:

Этап 1. Поиск по индексу

Для каждого хеша текста-запроса мы получаем список идентификаторов документов-источников, в которых он встречается. Дальше ранжируем список идентификаторов документов-источников по числу встретившихся хешей из текста-запроса. Получаем ранжированный список документов-кандидатов на источник заимствования.

Этап 2. Построение ревизии

Для большого текста-запроса кандидатов может быть порядка 10 тыс. Это все равно много для сравнения каждого документа с текстом-запросом. Действуем жадно, но решительно. Берем первый документ-источник, делаем сравнение с текстом-запросом и исключаем из всех остальных кандидатов те хеши, которые уже были в этом первом документе. Удаляем из списка кандидатов тех, у которых остался ноль хешей, пересортируем кандидатов по новому числу хешей. Берем первый документ из нового списка, сравниваем с текстом-источником, удаляем хеши, удаляем нулевых кандидатов, пересортируем кандидатов. Делаем так раз 10-20, обычно этого хватает, чтобы список иссяк или в нем остались только те документы, у которых есть совпадение по нескольким хешам.

Использование хешей слов позволяет нам проводить операции сравнения быстрее, экономить на памяти и хранить не тексты документов-источников, а их цифровые слепки (TextSpirit, как мы их ласково называем), полученные при индексации, тем самым не нарушая авторских прав. Выделение конкретных фрагментов заимствования делается с помощью суффиксного дерева.

В результате проверки одним модулем поиска получаем ревизию, в которой находится список источников, их метаданные и координаты блоков заимствований относительно текста-запроса.

Сборка отчета

Кстати, а что делать, если один из 10-15 модулей не ответил вовремя? Мы ищем по коллекциям РГБ, eLibrary и Гаранта. Эти модули поиска расположены на территории сторонних организаций, и не могут быть перенесены на нашу площадку по соображениям авторского права. Точкой отказа тут всегда может быть канал связи и различные форс-мажоры в дата центрах, не управляемых нами. С одной стороны, заимствование может быть найдено в любом модуле поиска, с другой, если один из компонентов системы недоступен, то можно ухудшить качество поиска, но отдать большую часть результата, предупредив при этом пользователя, что результат по некоторым модулям поиска пока не готов. Какой вариант применили ли бы вы? Мы применяем оба этих варианта в зависимости от обстоятельств.

Наконец, все ревизии получены, начинаем сборку отчета. Здесь используется подход аналогичный подготовке одной ревизии. Вроде бы ничего сложного, но и тут есть интересные задачи. У нас есть заимствования двух типов. Зеленым обозначаются «Цитирования» — корректно оформленные (по ГОСТу) цитаты из модуля «Цитирование», выражения типа «что и требовалось доказать» из модуля «Общеупотребительных выражений», нормативно правовые документы из баз Гаранта и Лекспро. Оранжевым отмечаются все остальные заимствования. Зеленые имеют приоритет над оранжевыми, если только не входят целиком в оранжевый блок.

В результате отчет можно сравнить с лежащим на столе распечатанным на бумаге текстом, поверх которого набросаны разноцветные полоски (блоки заимствований и цитирований), причудливо перекрывающие друг друга. То, что мы видим сверху, и есть отчет. У нас есть два показателя для каждого источника:

Доля в отчете — отношение объема заимствований, которое учитывается из данного источника, к общему объему документа. Если один и тот же текст был найден в нескольких источниках, то учитывается он только в одном из них. При изменении конфигурации отчета (включении или отключении источников) данный показатель источника может меняться. В сумме дает процент заимствований и цитирований (в зависимости от цвета источника).

Доля в тексте — отношение объема, заимствованного из данного источника текста к общему объему документа. Доли в тексте по источникам суммировать нет смысла, легко получится 146% или даже больше. Данный показатель не изменяется при изменении отчета.

Естественно, отчет можно редактировать. Это специальная функция для того, чтобы эксперт, проверяющий работу, отключил заимствования собственных работ автора (при этом может открыться, что данный фрагмент есть не только в собственной работе автора, но и где-то еще) и отдельные блоки заимствования, изменил тип источника с заимствования на цитирование. В результате редактирования отчета эксперт получает реальное значение заимствований. Любую работу для проверки надо прочитать. Это удобно делать, просматривая исходный вид документа, в котором размечены блоки заимствования, и сразу же, по мере прочтения, редактировать отчет. К сожалению, это вполне логичное действие не всеми совершается, многие довольствуются процентом оригинальности, даже не заглядывая в отчет.

Однако вернемся на шаг назад и узнаем, что же попадает в индекс модуля поиска по интернету, созданный Антиплагиатом.

Индексация интернета

Антиплагиат в значительной степени ориентирован на студенческие работы, научные публикации, выпускные квалификационные работы, диссертации и т.п. Интернет мы индексируем направлено — ищем большие скопления научных текстов, рефератов, статей, диссертаций, научных журналов и т.п. Индексация происходит так:

1. Наш робот приходит, представляется и, руководствуясь robots.txt (у нас хороший робот), загружает документы с разумной нагрузкой на каждый хост (в работе одновременно сотни сайтов, поэтому мы можем и подождать некоторое время между загрузками страниц);
2. Робот передает документ и его метаданные в очередь на обработку, из документа извлекается текст;
3. Текст анализируется на «качество» — как вы помните из статьи про свалку, мы умеем определять жанр документа, добавляем сюда простые эвристики на объем и понимаем, годный текст к нам пришел или какая-то белиберда;
4. Качественный текст проходит дальше и превращается в хеши. Хеши и метаданные отправляются в основной индекс интернета;
5. Мы сравниваем пришедший текст с ранее проиндексированными нами текстами. Новичок добавляется, только если он реально новый, т.е. 90% его хешей не содержится целиком в каком-то другом уже проиндексированном тексте. Если же документ уже есть у нас, мы добавляем url этого документа в атрибуты нашего архива.

Таким образом мы индексируем качественные тексты, и все проиндексированные тексты у нас существенно различны. Рост объема проиндексированного в интернете показан на рисунке ниже. Сейчас в среднем мы добавляем в индекс по 15-20 млн документов в месяц.

Заметили, что нигде не описана процедура удаления из индекса? А ее и нет! Мы принципиально не удаляем документы из индекса. Мы считаем, что если нам удалось увидеть что-то в интернете, то и другие люди могли видеть этот текст и использовать его тем или иным способом. В связи с этим появляется интересная статистика того, что когда-то было в интернете, а теперь уже больше там нет. Да, представьте себе, выражение «Попавшее в интернет останется там навсегда», — не верно! Что-то исчезает из интернета навсегда. Интересно ли вам узнать о нашей статистике по этому вопросу?

Заключение

Удивительно, как технические решения, принятые больше 10 лет назад, до сих пор остаются актуальными. Мы сейчас готовим к выпуску 4 версию индекса, она быстрее, технологичнее, лучше, однако в ее основе лежат всё те же решения. Появились новые направления поиска — переводные заимствования, перефразирование, но и там находит применение наш индекс, выполняя пусть и малую, но важную часть работы.

Уважаемые читатели, что вам было бы интересно узнать о нашем сервисе ещё?