CLIP, що означає Contrastive Language-Image Pre-training модель, яка повідомляє вам, наскільки добре дане зображення та даний текстовий підпис поєднуються. Під час навчання він намагається максимізувати «косинусну подібність» між правильними векторними парами зображення й підпису та мінімізувати показники подібності між усіма неправильними парами.17 липня 2023 р.

CLIP — це мультимодальне бачення та мовна модель. Його можна використовувати для подібність зображення та тексту та для класифікації зображень з нуля.

Кліпи можуть мати різні цілі залежно від контексту, у якому вони використовуються. Наприклад, можна використовувати кліпи тримайте та закріплюйте разом предмети, наприклад документи, волосся чи одяг. Затискачі також можна використовувати як кріплення в різних галузях промисловості, включаючи автомобільну, будівельну або промислову.

CLIP обчислює косинусну подібність між вкладеннями всіх пар опису зображення та тексту. Він оптимізує параметри кодерів для збільшення схожості правильних пар. Таким чином, зменшується схожість неправильних пар.

CLIP, представлений OpenAI у 2021 році вирівнює відеокодер і текстовий кодер таким чином, щоб зображення собаки було схоже на зображення собаки текстовим кодером..

Кліпса – це пристрій, який використовується зберігати кілька патронів разом як одиницю для вставлення в магазин або циліндр вогнепальної зброї. Це прискорює процес, заряджаючи вогнепальну зброю декількома патронами одночасно, а не окремо, як у разі незакріплених патронів.

Модель CLIP складається з кодувальника тексту та зображення, який кодує текстову та візуальну інформацію в мультимодальний простір вбудовування. Тепер мета моделі полягає в тому, щоб підвищити оцінку косинусної схожості зображень і тексту, який фактично пов’язаний, і в цьому випадку існує N таких пар.