Tipkus EAI

megoldások/technológiák 3

(Üzleti) tranzakciók támogatása

 Konzisztencia biztosítása több alkalmazási
rendszert tartalmazó környezetében is:

Megvalósítása tipikusan two-phase commit protokollal és
kompenzációs eljárásokkal (compansation handling)

PÉLDÁK!!!
 Állapotmentes „munkaegységes”(tasks) -> külön szervezés
 Atomic Transactions vs Business Activities(long
running) Chapter 6.4 és 6.5
 Atomic: prepare, commit, rollback
 Business Activity states: activate, completed,
compensation, cancelled, exit, stb. &&Notifications:
completed, cancellation, exit, stb.
 WS-Coordination: WS-AtomicTransaction, WS-
BusinessActivity

2
Egyéb modellek - Integrációs
szintek - adatintegráció

Alkalmazásintegráció nem minden esetben

Integrációs szintek
(tipikus 3 rétegű
architektúrákban):
Megjelenítés szintű integráció
Alkalmazás-integráció

Megoldás: adatintegráció
Adat/tartalom integráció
lehetséges
 Dokumentálatlan, nem létező, nem
szabványos interfészek
 Nem azonos formátumú redundáns
adatok: bonyolult transzformáció
szükséges
 Eltérő szintaxisú, nem konzisztens
adatok: adattisztítás, párosítás szükséges
 Nagy teljesítményű batch tranzakciók
lehetségesek: alkalmazás integráció sok
overhead-et tartalmazhat
 Közvetlen hozzáférés
 ETL, adattisztítás
 Batch és valós idejű működés

3
Tartalom

Adat integráció

Tartalom integráció
 Tartalom tár
 Dokumentum-kezelő rendszerek

Információ, mint szolgáltatás

4
 Problémafelvetés
Information
Information Sources
Sources && Targets
Targets
Kritikus problémák

PeopleSoft

A vállalat értékek adatai, információi
elkülönült alkalmazások adatbázisaiban
Web hevernek
Content

Az alkalmazások csak saját feldolgozási
és analitikus területükre fókuszálnak,
SAP nehézkes az átjárhatóság (más forrás
megszólítása, külső kérés kiszolgálása)
Oracle
A heterogén (technológia, protokollok,
adatreprezentáció, adatminőség)
adatforrásokkal nehézkes az
Legacy alkalmazások közötti integráció, vagy
data
Siebel egységes adattárház kialakítása

Redundancia – önmagában veszélyes!
 Inkonzisztencia
Files  Eltérő struktúra (granularitás),
Teradata eltérő adatminőség

5
1. Közvetlen hozzáférés /
osztott adatbázis

Alkalmazás Alkalmazás Alkalmazás

DB

Közös adatbázis

Az alkalmazások azonos sémába (-ból) dolgoznak

Az alkalmazások egymástól függetlenek

6
 1. Közvetlen hozzáférés /
osztott adatbázis
Alkalmazás

Egyszerű, költséghatékony
 1 DB - könnyen
karbantartható
 Nincsenek DB szinkronizálási
feladatok
 DB szintű konzisztencia
biztosított

Nincs hard-coded függőség az
alkalmazások között (??)

Olyan esetben is alkalmazható,
ahol az alkalmazás nincs
felkészítve az integrációra (semmi
plusz alkalmazásintegrációs interfész
vagy adapter nem szükséges)
Alkalmazás
Alkalmazás
Alkalmazás Alkalmazás
DB

Single point of failure

Körültekintő tervezést igényel
 Méretezési problémák,
skálázhatóság
 Deadlock-ok
 Eltérő / ellentmondásos üzleti logika
és ellenőrzések lehetnek az
alkalmazásokban

Alkalmazások adatstruktúra-függősége
 Adatstruktúra módosítás: minden
alkalmazást egyszerre érint 7
1. Közvetlen hozzáférés – Példa
GIS

SAP Hálózat-térkép WFM

Work Force Management

Hálózati elemek nyilvántartása,

földrajzi helyhez rendelése,
térkép alapú megjelenítés Kiszállások, javítások
Csatlakozási (előfizetői)
pontok címhez, helyének meghatározása
földrajzi helyhez kötése

GIS
Geographic Information
System

8
2. Adatbázis replikáció

Alkalmazás Alkalmazás Alkalmazás

replikáció replikáció
DB DB DB

Saját adatbázisok, de azonos adatstruktúrák

Az alkalmazások (részben) azonos adatstruktúrát használnak

Az alkalmazások egymástól függetlenek

Adatbázisok szinkronizációja / replikációja szükséges
 Időzítés ↔ Konzisztencia
 Időzítés ↔ Teljesítmény / rendelkezésre állás
 Online / offline replikáció?
 Egyirányú / kétirányú?

9
 2. Adatbázis replikáció

Alkalmazás Alkalmazás Alkalmazás

replikáció replikáció
DB DB DB

Nincs hard-coded függőség az
Szinkronizáció / replikáció

alkalmazások között

Olyan esetben is alkalmazható,

ahol az alkalmazás nincs
felkészítve az integrációra

Könnyebben méretezhető

Dead-lock szituációk
könnyebben elkerülhetők,
lokalizálhatók
körültekintő tervezést igényel
Eltérő / ellentmondásos üzleti
logika és ellenőrzések lehetnek az
alkalmazásokban

Alkalmazások adatstruktúra-
függősége
 Adatstruktúra módosítás:
minden alkalmazást egyszerre
érint (az adatbázisok egyformák)
10
2. Adatbázis replikáció – Példa
(Lotus Domino alkalmazások)
Domino Domino
server alkalmazás

replikáció Lokális
DB DB / replika

Master adatbázis a Domino serveren (pl.: vállalati

telefonkönyv, árlista, ügyfél-nyilvántartás, ...)

A munkaállomásokra a teljes adatbázis lereplikálódik, így távol
is teljes értékű adatbázissal tudnak dolgozni

Mező szinten nyilvántartja a változtatásokat

További replikációk során csak delták utaznak

11
2. Adatbázis replikáció – Példa
(Google Gears! )
– open source project&community

Offline is elérhető webalkalmazások

 Lokális HTML, javascript bázissal
 lokális adatbázis replikákkal (SQLite)

Pl: Google Reader

http://code.google.com/apis/gears/

12
3. ETL (extract, transform, load)
Alkalmazás Alkalmazás

ETL
DB modul(ok) DB

Külön adatbázisok, eltérő adatstruktúrák

Az alkalmazások saját adatstruktúrájukat használják, a transzformációt
az ETL modulok végzik

Az alkalmazások egymástól függetlenek

ETL - tipikusan egyirányú
 Időzítés ↔ Konzisztencia
 Időzítés ↔ Teljesítmény / rendelkezésre állás
 Online / offline betöltés?

ETL modul megvalósítható
 Egyéni fejlesztés
 ETL tool-ok segítségével (hatékonysági növekedés 3-5X ☺ @ETL tool
vendors) pl. Oracle Warehouse Builder -OWB, Microsoft Integration Services
– SSIS, IBM Cognos Data Manager, SAS Data Integration Studio))
13
 3. ETL (extract, transform, load)
Alkalmazás
ETL
DB modul(ok)

Nincs függőség az alkalmazások
között

Adatstruktúra függőség sincs

Olyan esetben is alkalmazható,
ahol az alkalmazás nincs
felkészítve az integrációra

Könnyebben méretezhető

Dead-lock szituációk
könnyebben elkerülhetők,
lokalizálhatók
Alkalmazás
DB

ETL modulok implementációja

Eltérő / ellentmondásos üzleti
logika, szemantika jelenhet
meg az alkalmazásokban

Bármely oldal adatstruktúra
változása az ETL modulok
módosítását igényli
14
3. ETL (extract, transform, load)

Közvetlen adathozzáférés
 Adatbázisok
 Fájlok
 Szabványos források (JDBC, ODBC,
WebServices, ...)

Transzformációs job-ok
 Hozzáférés, transzformációk és
betöltés szekvenciális sorozata
 Pipeline-olható
 Párhuzamosítható

Partícionálással

Nem függő job-ok párhuzamos
futtatásával
 Újrahasznosíthatóság

Betöltés
 Batch alapú, statikus célba
 Real-time, web services válaszként

15
3. ETL + Adattisztítás

Tárolási / rögzítési
szabványok hiánya
 A rendszerekben eltérő
formátumok, struktúrák

„Data surprises”
 Hibásan rögzített adatok,
mező-keveredés

Szabad-szöveges
mezőkben elásott
információk

Data myopia („rövidlátás”)
 Konzisztens azonosítók
hiánya nehezíti az
egységes nézet
létrehozását

Redundancia
 Duplikált bejegyzések
Kate A. Roberts 416 Columbus Ave #2, Boston, Mass 02116
Catherine Roberts Four sixteen Columbus APT2, Boston, MA 02116
Mrs. K. Roberts 416 Columbus Suite #2, Suffolk County 02116
Name Tax ID Telephone
J Smith DBA Lime Cons. 228-02-1975 6173380300
Williams & Co. C/O Bill 025-37-1888 415-392-2000
1st Natl Provident 34-2671434 3380321
HP 15 State St. 508-466-1200 Orlando
WING ASSY DRILL 4 HOLE USE 5J868A HEXBOLT 1/4 INCH
WING ASSEMBY, USE 5J868-A HEX BOLT .25” - DRILL FOUR HOLES
USE 4 5J868A BOLTS (HEX .25) - DRILL HOLES FOR EA ON WING ASSEM
RUDER, TAP 6 WHOLES, SECURE W/KL2301 RIVETS (10 CM)
19-84-103 RS232 Cable 6' M-F CandS
CS-89641 6 ft. Cable Male-F, RS232 #87951
C&SUCH6 Male/Female 25 PIN 6 Foot Cable
90328574 IDC 187 N.Pk. Str. Salem NH 01456
90328575 IDC Inc. 187 N.Pk. St. Salem NH 01456
90238495 Int. Data Corporation 187 No. Park St Salem NH 04156
90233479 International Data C. 187 Park Ave Salem NH 04156
90233489 Inter-Nation Consults 15 Main Street Andover MA 02341
90345672 I.D. Manufacturing Park Blvd. Bostno MA 04106
16
3. ETL + Adattisztítás

Customers

Tisztítási folyamat

Products / 1. Data Investigation

Materials
2. Data Standardization
3. Data Matching
4. Data Survivorship
Transactions

Pontos, tisztított adatok

Vendors /
Suppliers

17
3. ETL + Adattisztítás – 1.
Investigation

Teljes állományok / adatbázisok

vizsgálata

Szabadszöveges mezők
értelmezése

Szabályszerűségek keresése és
ellenőrzése

Trendek, anomáliák detektálása

Valótlan, vagy default értékek
detektálása

Megérteni a kontextusba
helyezett adatokat

18
3. ETL + Adattisztítás – 1.
Investigation
Character Discrete (Social Security Number)
Data Type Frequency Percentage Data Sample
bbbbbbbb 657,456 65.74%
b = blank
nnnnnnnn 342,544 34.25% 500448541 n = numeric

Frequency Percentage Data Sample

75,100 7.51% 000000000

650 .006% 424622212 ‘Type’ investigation showed
325 .032% 111111111 ‘expected’ results.
275 .027% 420548756 ‘Character’ investigation
233 .023% 999999999 shows data entry issues.
10 .001% 420721373

1 .001% 001234567
1 .001% 000001216

19
3. ETL + Adattisztítás – 1.
Investigation ???
123 St. Virginia St.

123 | St. | Virginia | St.

Number Street Alpha Street
Type Type
Lexical analysis: 123 | St. | Virginia | St.
Determining business significance of individual pieces
House Street
Number Street Name Type

Context Sensitive: 123 | St. Virginia | St.

Identifying various data structures and content

“The instructions for handling the data are

inherent within the data itself.”
20
3. ETL + Adattisztítás – 2.
Standardizáció

Normalizáció a standardoknak
megfelelően
 Suffix, Prefix, Gender, Nickname,
Title... Mezők formalizálása,
egységesítése
 Kettős nevek és egyéb különleges
struktúrák kezelése
 Földrajzi adatbázisok és ellenőrző
rendszerek használata (USPS, WAVES,
...)

21
 3. ETL + Adattisztítás – 2.
Standardizáció
Input File:
Address Line 1 Address Line 2

639 N MILLS AVENUE ORLANDO, FLA 32803

306 W MAIN STR, CUMMING, GA 30130
3142 WEST CENTRAL AV TOLEDO OH 43606
843 HEARD AVE AUGUSTA-GA-30904
1139 GREENE ST ACCT #1234 AUGUSTA GEORGIA 30901
4275 OWENS ROAD SUITE 536 EVANS GA 30809
1775 RUSSELL CIRCLE MILLIS MASSACH USETTS 02038

Result File:
House # Dir Str. Name Type Unit No. NYSIIS City SOUNDEX State Zip ACCT#

639 N MILLS AVE MAL ORLANDO O645 FL 32803

306 W MAIN ST MAN CUMMING C552 GA 30130
3142 W CENTRAL AVE CANTRAL TOLEDO T430 OH 43606
843 HEARD AVE HAD AUGUSTA A223 GA 30904
1139 GREENE ST GRAN AUGUSTA A223 GA 30901 1234
4275 OWENS RD STE 536 ON EVANS E152 GA 30809
1775 RUSSELL CIR RASAL MILLIS L260 MA 02038

22
3. ETL + Adattisztítás – 2.
Standardizáció

Input File:
Operation Work Instruction

WING ASSY DRILL 4 HOLE USE 5J868A HEXBOLT 1/4 INCH

WING ASSEMBY, USE 5J868-A HEX BOLT .25” - DRILL FOUR HOLES
USE 4 5J868A BOLTS (HEX .25) - DRILL HOLES FOR EACH ON WING ASSEM
RUDER, TAP 6 WHOLES, SECURE W/KL2301 RIVETS (10 CM)

Result File:
Assembly Instruction QTY Type Part Size Unit Measure SKU

WING DRILL 4 HOLES HEXBOLT .25 INCH 5J868A

WING DRILL 4 HOLES HEXBOLT .25 INCH 5J868A
WING DRILL 4 HOLES HEXBOLT .25 5J868A
RUDDER TAP 6 HOLES RIVET 10 CM KL2301

23
3. ETL + Adattisztítás – 3.
Matching

Duplikátumok azonosítása

Összetartozó rekordok azonosítása

Megközelítés:
 Deterministic decision tables
 Probabilistic linkage

24
3. ETL + Adattisztítás – 4.
Survivorship

Duplikátumok kiszűrése

Rekord-konszolidáció

Kereszthivatkozások létrehozása

25
3. ETL – Példa (biztosítói
ügynök portál)
Ügynök portál
User registry ETL

ETL
Ügyfél DB
ÜP_DB

ETL
Szerződés DB

A portál elsősorban megjeleníti a mögöttes DB-ok tartalmát

Napi áttöltés az ÜP_DB adatbázisba

Egyfajta „materializált view”
 Tehermentesíti a háttéradatbázisokat a gyakori
lekérdezésektől / szűrésektől
 Jobb válaszidőt biztosít, mint az online aggregáció

A portál felől kezdeményezhető CUD műveletek már nem ETL
révén valósulnak meg, háttérrendszeri szolgáltatásokat hívnak

26
4. „Interfész táblák”
A alkalmazás B alkalmazás

EmpID Name Birthdate

3494 Smith A 06/07/67

6849 Seat 01/01/07 Triggerek /

A_DB ProdID Name Created
Pollingolás B_DB
A7898 Wheel p 01/01/07

A8457 Seat 01/01/07

Alkalmazások közötti adatcsere ún. „interfész-táblákon” keresztül

Az interfész táblák kerülhetnek külön adatbázisba, de közvetlenül
valamely alkalmazás adatbázisába is

Az adatcsere lehet egy- és kétirányú, pl.:
 A: beír – B: kiolvas, töröl
 A: beír – B: kiolvas, feldolgoz, update-el – A:feldolgozás
eredményét kiolvassa

27
 5. MDM (Master Data
Management)

Master adatokat függetleníti az
azt nyilvántartó alkalmazásoktól Existing

Központi, alkalmazás-független Applications

információ-forrás Existing
Applications

Egyszerűsíti az integrációt és új
alkalmazások fejlesztését Master
Master
Data
Data

Konzisztens Master adatok a
tranzakcionális és analitikus Master Data
Management
rendszerek számára
System

Adatminőség és konzisztencia
biztosítása már az Existing
adatforrásoknál, nem az Applications
Historical /
adattárházba töltéskor kell Master Analytical
Master
tisztítani Data
Data Systems
New
Applications

28
 5. MDM (Master Data
Management)

Témacentrikus (Ügyfél, Termék,
Partner, ...)

A témát érintő összes adatforrással Existing
szinkronizált Applications
 Ősfeltöltés Existing

Adattisztítás, konszolidáció Applications

Adattranszformáció (ETL) Master
Master
 Folyamatos adatszinkron Data
Data

Valós idejű adattisztítás
(standardizálás, és match- Master Data
elés) Management

Valós idejű ETL System

 A lehető legtöbb Existing

(leggazdagabb) adatot
tartalmazza egy adott Applications
Historical /
entitásról (pl. ügyfél) Master
Master Analytical

Nem csupán egy központi adatbázis Data
Data Systems
 Az új alkalmazások számára
SOA szolgáltatásokat kínál New
 Eseményfigyelést tartalmaz Applications
 Szerep alapú
jogosultságkezelést biztosíthat

29
5. MDM (Master Data
Management) – Példa (bank)
Data
Web Site Contact Center Store Warehouse

Minden rendszer felé
aktiális és pontos
információkat nyújt

Az ügyfélről teljes Name Name Name Name
Address Address Address Address
nézetet ad X-Sell / Up-Sell X-Sell / Up-Sell X-Sell / Up-Sell X-Sell / Up-Sell

Új ügyfél-stratégiák Preferences Preferences Preferences Preferences

Sales History Sales History Sales History Sales History
megvalósítását Customer Value Customer Value Customer Value Customer Value

teszik lehetővé

Esemény-orientált Customer-Centric Business Services

akciók
Complete Privacy & Security Data Quality Event
Customer Profile Management Management Management

30
Tartalom

Adat integráció

Tartalom integráció
 Tartalom tár
 Dokumentum-kezelő rendszerek

Információ, mint szolgáltatás

31
Enterprise Content Integration
-Vállalati tartalmak

Képek,
videók,
hang
Irodai dokumentumok

Weboldalak Elektronikus
Formok
Nyomtatási
kimenetek
Fax

Email Papír alapú dokumentumok, mappák

32
 Tartalomkezelő szolgáltatás

Electronic
forms

Office documents

Rich
Content Media

Repository
Web Content

Computer
Output
Email

Fax
Scanned documents and folders

33
 Tartalomkezelési szolgáltatások

Adatok tárolása Content Management Services
 Strukturált
Document Report Records

Rekordok, Management Management Management
relációs adatok
 Strukturálatlan Capture Web Content
Image
Management

Dokumentumok

Képek Digital Asset e-Mail & Message
Archiving
Rights Mgmt.
Management

Levelek

Riportok,

Metaadatok
nyomtatási képek
 Manuálisan rögzített

Hangfelvételek
 Automatikusan

Egyéb multimédia
extraktált

34
 Enterprise Content Integration
-Tartalom integráció

(Egy lehetséges) Definíció:
 Vállalati tartalom integráció egy olyan middleware
szoftvermegoldás és kapcsolódó módszertan, mely
 Célja: az alkalmazási rendszer által kezelt
dokumentumok és egyéb digitális tartalmak
decentralizált menedzselésének megvalósítása
 Legfőbb hozzáadott érték: strukturálatlan tartalmak
kezelésének megoldása (feldolgozása, elérhetővé tétele,
stb.)

Főbb funkciók:
 tartalom migrálás és szikronizáció külön rendszerek
között,
 Keresés/kereshetőség megvalósítása reposirty-k/ban
 Single point of access - biztosítása
35