Comparor: преобразование разнородных источников в сопоставимую информацию.
Программа Comparor объединяет в себе функции сбора, нормализации, поиска и обновления данных. Это программное обеспечение, ценность которого зависит как от качества данных, так и от приложения, использующего их.
Проблема, лежащая в основе продукта.
Коммерческие источники меняют структуру, доступность и частоту поставок. Для обеспечения полезного сравнения система должна учитывать происхождение, свежесть и качество для каждого параметра, поддерживая при этом рабочие процессы, которые могут частично давать сбои.
- Вносите каталоги различных форматов и качества.
- Обнаружение изменений в исходном коде без нарушения всего потока данных.
- Нормализация товаров и их характеристик с сохранением отслеживаемости.
- Обновление информации при контролируемых эксплуатационных расходах.
- Разделяйте временную недоступность и постоянный сбой.
Возможности, встроенные в систему
В описании рассматриваются только наблюдаемые возможности, и не приводятся данные о недокументированных метриках.
Соединители, сканирование и импорт с использованием системы контроля версий.
Преобразовывать поля, категории, единицы измерения и атрибуты.
Проверка данных, состояния и обработка неполных записей.
Возобновляемые пакетные задания с возможностью повторных попыток и ограничениями.
Структуры, оптимизированные для поиска и сравнения.
Мониторинг источника, ошибок, охвата и свежести.
Как распределяются обязанности
Это объяснительная модель, а не воспроизведение конфиденциальной инфраструктуры.
- Процесс обработки данных разделен на этапы: сбор данных, проверка, нормализация и публикация.
- Для пояснения каждого значения сохранены источник и штат.
- Пакетные задания можно возобновить без повторного выполнения всей работы.
- Модель чтения оптимизирована для удобства поиска.
Что демонстрирует этот опыт
- Архитектура, разделяющая качество данных и их представление.
- Возможность добавлять или исправлять источники без перепроектирования продукта.
- Опыт работы с каталогами, импортом, поиском и обработкой больших объемов данных.
Принципы повторного использования
В конвейере обработки данных необходимо объяснить, почему запись не была опубликована.
Наблюдаемость по каждому источнику более полезна, чем глобальная частота ошибок.
Для нормализации необходимы не только технические преобразования, но и бизнес-решения.
Материалы, связанные с этим решением
Продолжить с диагностикой, выполнением или смежным опытом.
Давайте обсудим, что нужно вашему PHP-приложению.
Расскажите нам о контексте, основной проблеме и желаемом результате. Мы ответим вам, задав вопросы, необходимые для проведения первоначальной оценки.
- Никаких коммерческих обязательств
- Непосредственный контакт с командой
- Ваши данные не продаются третьим лицам.