Comunitat DSTSC

1. Servidors i versions

Qlikview Enterprise Edition Server versió 12.50 

SO: Windows Server 2019 / RAM: 32GB / 8 CPU de 2,60 GHz

Qlikview Extranet Server versió 12.50

SO: Windows Server 2019 / RAM: 32GB / 8 CPU de 2,60 GHz

Qlikview Internet Acces Server versió 12.50

SO: Windows Server 2019 / RAM: 32GB / 8 CPU de 2,60 GHz

QlikSense Enterprise Server versió de Maig de 2022

SO: Windows Server 2019 / RAM: 64GB / 8 CPU de 2,60 GHz

Disposem de tres entorns: desenvolupament, test i productiu.

Geoanalytics Server versió Agost 2022

S'utilitzarà la cartografia generada per la pròpia Diputació de Barcelona.

Nprinting versió novembre 2019 

Pentaho Server versió 9.2 Community

SO: Windows Server 2016 / RAM: 16GB/ 4 CPU de 2,60 GHz

Pentaho User Console 

S'utilitza per a programa y executar els processos de l'entorn de productiu.

2. Eines desenvolupament

Qlikview Desktop versió 12.50

QlikSense Desktop versió Maig 2022

S'espera que els proveïdors treballin amb llicència pròpia.

Pentaho Data Integration versió 9.2 (versió CE) 

Cal configurar Idioma-locale = es (ES).

Aplicacions accés als portal web Qlikview i Qliksense:

L'accés als portals web de Qlikview o Qliksense es fa a través de l'accés restringit de la Diputació (https://dibaaps.diba.cat/vus/login.asp). Trobem els següents productes per accedir als respectius portals web:

- QVS_ACCES_POINT --> Accés al portal ACCES_POINT de Qlikview que correspón al portal corporatiu de difusió d'informes Qlikview.

- QVS_INFOANALISIS --> Accés al portal ACCES_POINT de Qlikview pel Qlikview Extranet Server. Correspón al portal de difusió municipal i altres ens locals d'informes Qlikview.

- QS_INFOANALISIS_PRO --> Accés al portal QlikSense de l'entorn de desenvolupament

- QS_INFOANALISIS_TEST --> Accés al portal QlikSense de l'entorn de test.

- QS_INFOANALISIS --> Accés al portal QlikSense de l'entorn de productiu.

3. Conexions a BD

Les bases de dades internes son Oracle versió 19.

Les connexions a la BD es fan amb un connexió ODBC, OLEDB, JDBC.

En fase de desenvolupament s'establirà una connexió contra la màquina de test (isi.world).

4. Arquitectura d'una solució Pentaho

Cal treballar els processos ETL amb l'ús de Repositoris Pentaho.

Es defineix un repositori específic per cada projecte i s'importen en el Repositori de Productiu per la posada en marxa del projecte.

El repositori de productiu es PentahoRepository associat a una BD HSQLDB.

S'espera que s'utilitzi el framework de desenvolupament definit per la Diputació de Barcelona i que trobareu en el següent enllaç:  https://comunitatdstsc.diba.cat/wiki/arquitectura-duna-solucio-pentaho

5. Arquitectura d'una solució Qlik

S'espera que s'utilitzi l'estructura de Qlik Deployment Framework. La DSTSC crearà el projecte i llliurarà la carpeta QDF al desenvolupador.

La solució ha de ser de fàcil manteniment un cop lliurada i complir les best practices de programació:

Una projecte Qlik comporta les següents capes de codi, com a mínim:

5.1. Processos extracció

Els processos dedicats a extraure dades s'anomenaran: Extractors.

Les eines TI que actualment s’utilitzen per a fer l’extracció de dades són les següents:

• Qlikview/QlikSense
• Pentaho, sobretot per a dades externes de la DIBA

Hi ha l’extractor de la capa 0 y l’ extractor de la capa 1. La nomenclatura ha de ser : Extraccio_(nomEsquema)_CapaX.qvw

Es defineixen dos nivells d'extracció de dades:

5.1.1. Capa QVDs: Capa 0

1er nivell d'extracció implica l'extracció directa de totes les dades sense fer cap transformació. 

Les dades quedaran ubicades en la carpeta Capa 0 (Stage area) en forma de fitxers QVDs. (<Proj.QDF>\1.QVD\1.Capa_0)

Si la dada es troba en la BD Oracle19, farem l'extracció amb un procés Qlik.

Si la dada es troba en una Font externa (exemple: INE, Idescat, Portal Dades Obertes Gene) s'ha de valorar amb la DSTSC, si és necessari emmagatzemar la dada en el magatzem de dades ORACLE o altre. Per aquesta gestió s’hauria d’utilitzar Pentaho Data Integrationl.

La Capa 0 ha de ser una capa de dades extretes directament de l’origen i sense cap transformació. Si es tracta d’una taula d’un SGBD el nom del QVD generat serà el de la taula extreta, si es tracta d’un fitxer el nom serà el del fitxer.

5.1.2. Capa QVDs: Capa 1

2on nivell d'extracció, equival al procés de transformació de les dades. En aquesta capa s'espera:

- Format i qualitat de les dades correcta

- Definir el Diccionari de dades dels camps (s'ha de consensuar amb l'usuari responsable del negoci)

El resultat ha de ser en forma de fitxers QVD,  de tal manera que:

- Cada fitxer identifiqui la informació d'un objecte de negoci: codis, atributs i valors

- Cal documentar cada QVD generat en aquesta fase

Les dades quedaran ubicades en la carpeta Capa 1 ((<Proj.QDF>\1.QVD\1.Capa_0)) en forma de fitxers QVDs.

És obligatòri pels QVDs de la Capa 1, asignar una descripció que identifiqui el contingut del QVD. L'assignació de la descripció s'ha de fer en l'Extractor de Capa1 i de la següent forma:

5.2. Respositori de dades

Els QVDs desenvolupats es traspassaran al repositori central quan la solució es posi a producció.

Abans de generar un nou QVD per un projecte, cal identificar si ja existeix en el Repositori (DSTSC determinarà aquesta informació durant fase análisis projecte).

5.3. Capa Model analític o núvol de dades

Es en aquest procés on s'estableixen les connexions, es defineixen les taules de FETS, Link Tables i Taules d'atributs.

La nomenclatura ha de ser.

Nom: NUVOL-XXX  tal que XXX es determinarà amb la DSTSC.

6. Capa Presentació

Cal que les aplicacions analítiques utilitzen el full d'estils corporatius.

En el cas de Qlikview, trobareu les plantilles corporatives a (\\nas\apps\QLIK_DADES, la DSTSC gestionarà l'accés en aquesta carpeta).

En el cas de QlikSense, cal fer servir el Tema de la Diputació.

7. Bones práctiques de programació

Qlikview/QlikSense:

1. A l'inici del projecte la DSTSC facilitarà el fitxer de configuració amb el nom dels connectors/rutes a considerar.
2. Les rutes als fitxers d'entrada i sortida o connectors de dades en QlikSense cal acordar-los amb la DSTSC i assignar-los a variables a l'inici de l'script a través d'un fitxer de configuració amb format .qvs.
3. No es podrà fer càlculs sobre camps clau de les taules del model de dades. Si cal es definirà un camp alternatiu que s'utilitzarà per a comptar.
4. Els camps clau que connecten les taules del model, caldrà que s'amaguin del model mitjançant la instrucció Hide, des de l'script.
5. Tots els camps del model de dades cal que tinguin una descripció comprensible de cara a l'usuari final.
6. Les mètriques bàsiques es definiran, en cada projecte, en un fitxer excel que tindrà el mateix format que el que annexem com a exemple: /sites/comunitatdstsc.diba.cat/files/userfiles/comunitat/ods.variables.xlsx

8. Gestió d'usuaris i permisos

La gestió de permisos s'ha de definir a partir del qvd's: TaulaUsuaris.qvd i PermisosUsuaris. qvd.

La gestió de permisos es farà amb secció d'accés quan aquest impliquin una reducció de la informació possible a consultar.