Python · API · Data Engineering

Workflow di Consolidamento Multi-API

Un workflow Python in due fasi che recupera grandi dataset di spedizioni nonostante i limiti dell'API, poi li unisce in un unico dataset pulito e senza duplicati, pronto per Excel e Power BI.

Settore
Logistica · eCommerce
Tipo di progetto
Workflow di data engineering
Servizio correlato

Il problema

L'API di tracking delle spedizioni limitava la quantità di dati richiedibile con una singola chiave. Scaricare uno storico completo in un colpo solo non era possibile, e unire a mano i download parziali creava buchi e duplicati.

La soluzione

Il lavoro è diviso in script di recupero paralleli e un unico passaggio di consolidamento:

SuddivisioneOgni script di recupero usa le proprie chiavi API e il proprio intervallo di date
RecuperoOgni script salva il proprio blocco in JSON ed Excel
UnioneUno script di consolidamento carica e combina tutti i blocchi
Deduplica e filtroUn record per tracking number; estrazioni mirate come le consegne parziali

Cosa comprende la soluzione

Gestione dei limiti APICarico distribuito tra script e chiavi
Nessuna sovrapposizioneIntervalli di date separati per evitare doppi conteggi
Due formatiJSON per i sistemi, Excel per le persone
Integrità dei datiDeduplicazione sul tracking number
Estrazioni mirateFile filtrati aggiornati senza duplicati
Gestione erroriFile mancanti e JSON non validi gestiti senza blocchi

Risultati

  • Dataset completi recuperati nonostante i limiti dell'API
  • Un unico dataset consolidato senza spedizioni duplicate
  • Output pronto per Excel e Power BI senza ulteriori pulizie
  • Facile da scalare aggiungendo script o chiavi

Stack

Python REST API JSON Pandas Excel

Nomi dei clienti e dati riservati sono stati omessi. Le immagini in questa pagina non contengono dati di clienti.

Altri progetti

Ti scontri con i limiti di un'API o di un export?

Dimmi da dove arrivano i tuoi dati e ti propongo un modo affidabile per metterli insieme — senza impegno.

Contattami Tutti i progetti