La centrale d'importation : programmation

La communication avec le monde extérieur est primordiale dans une application de gestion de l'information. Cette communication passe par des communications directes avec les systèmes qui le permettent ou l'autorisent et par des exports / imports pour les autres.

L'alimentation de sa base de données peut être automatisée grâce à des imports de données dont la provenance peut être très diverse.

Cinq modes de récupération de données à importer sont proposés. Pour chacun d'eux, quelques exemples vous sont proposés. Ils sont fournis à titre d'illustration et bien d'autres cas de figure peuvent être pris en charge.

NB : il est également possible de créer ou mettre à jour des fiches de la base de données en utilisant les web services. L'architecture orientée service de Kentika (SOA) permet à toute application cliente de web services de bénéficier des services proposés. Le langage de programmation de Kentika permet de créer ses propres services.

Principes de fonctionnement

Fichier à traiter

Première étape : obtenir le fichier. Le fichier peut être soit directement accessible par Kentika, soit distant.

Les mode de récupération proposés sont :

Fichier : fichier unique accessible sur le disque. Les nom et chemin d'accès doivent être toujours les mêmes. Kentika détecte si des modifications ont été apportées au fichier d'un traitement à l'autre.

Dossier : a priori, tous les fichiers contenus dans le dossier (et, éventuellement, les sous-dossiers) seront traités. Un log de traitement est généré afin que chaque fichier ne soit traité qu'une seule fois (sauf s'il a été modifié entre deux traitements).

URL : le fichier est téléchargé à partir de son URL. Il peut donc être accessible sur internet ou sur l'intranet local.

email : chaque message de la boîte aux lettres est préalablement récupéré sous la forme d'un fichier sur le disque, c'est ensuite ce fichier qui est traité.

Bases externes : un connecteur est exécuté et c'est ensuite le "Rack" qui est traité en tenant compte du paramétrage d'import défini au niveau du connecteur.

Traitement du fichier

 

Plusieurs types de stratégies d'import sont proposés :

Un fichier -> un enregistrement dans la base de données (exemple : une photo)

Un fichier -> plusieurs enregistrements (exemple : une liste réalisée avec un tableur)

Un fichier contenant des enregistrements au format interne de la base de données.

Programmation

Un programme d'import peut être exécuté dans une plage horaire et avec une fréquence définie.

Dans le cas d'une application en client / serveur, il est possible de créer plusieurs jeux de programmateurs : un pour le serveur et un par poste de travail.

Exécution

L'importation est traitée en mode batch (tâche de fond). Chaque programme est déclenché en fonction de sa plage horaire et du délai écoulé depuis sa dernière exécution. L'exécution d'un programme ne fait pas l'objet d'une écriture dans le fichier "log" de la base de données, par contre, un fichier est créé sur le disque dans le dossier contenant les fichiers traités ainsi que ses caractéristiques lors de l'import.

Si les caractéristiques d'un fichier changent, ce dernier est considéré comme un nouveau fichier et est traité à nouveau (il peut cependant être détecté comme une mise à jour d'un fichier existant et ne provoque pas automatiquement la création d'une nouvelle fiche dans la base de données).

Contenu du fichier de log écrit sur le disque : "LogBatchImport.txt"

Ce fichier comporte une ligne par fichier contenu dans le dossier :

(signature de la base):Rocaille.JPG:SIZE=2053941: DCRE=04/05/2007:HCRE=15:30:49: DMOD=24/03/2007:HMOD=16:56:20:FileKey=863684

Création et réglages des programmes d'import

Réglages des programmes d'import

Nouveau programme

1 Pour créer un nouveau programme, cliquez sur le bouton + et sélectionnez le mode opératoire (Fichier, Dossier, URL...) ou bien sélectionnez un programme existant et cliquez sur le bouton de duplication.

Pour modifier l'origine (exemple : un nom de dossier), faites un double-clic sur la ligne correspondant au programme à modifier dans le colonne "Origine".

Identification

2 A des fins d'identification dans la liste, affectez un nom et un commentaire à chaque programme.

Réglages de la source d'acquisition

3 Chaque mode opératoire a ses réglages propres.

Modalités d'import

4 La modalité d'import dépend de la nature du contenu de la source.

Filtre d'import - Extraire les données

Correspond au cas où un fichier correspond à une fiche et que l'application Kentika doit tenter d'extraire des données à partir du contenu du fichier de ses méta-données. Les données extraites sont traitées à l'aide du filtre d'import précisé dans "Importer avec". Le fichier d'origine peut également être archivé. Un script peut être exécuté après l'extraction des données et avant le traitement d'import.

Filtre d'import - Sans extraire les données

Dans ce cas, le fichier à traiter contient des données directement importables avec le filtre d'import

Exemple : une liste en format texte tabulé.

Database records

Les données au format interne de l'application. Pour créer un fichier de ce type, utilisez un script d'export comportant "Export_Records" puis réglez une modalité d'import.

Programmation

5 Une plage horaire peut être définie (afin d'éviter d'imposer trop d'activité à la machine ou bien afin de pouvoir contrôler la source avant son traitement) ainsi qu'une fréquence de déclenchement. Pour information est indiquée la date de dernier déclenchement du programme.

NB : pour désactiver un programme, il suffit de mettre une heure de début égale à une heure de fin.