Professional Documents
Culture Documents
TREX - SAP NetWeaver's Search and Classification Engine
TREX - SAP NetWeaver's Search and Classification Engine
Classification Engine
Agenda
TREX
Agenda
Solutionspecific UI
UI
n - x TREX
Services used
Apps
IC Web Client
Engine
mySAP PLM
DMS
TREX
TREX
Engine
Engine
Index
KM with SAP
NetWeaver
n TREX
Services
offered
TREX
TREX
Engine
Engine
Solution
specific
TREX
Index
Index
Index
Index
Document classification
Assign a document to predefined categories
Term search
Find better search terms; discover interesting relationships
Document clustering
Discover sets of related documents
Term clustering
Discover sets of related terms in the current corpus
New:
Multihost enabled
Attribute search enabled not only
for case-insensitive ASCII but also
for case-insensitive Unicode
Berlin
Name
...
A-D
...
M-P
...
(26)
(5)
(42 hits)
(...)
(35 hits)
(...)
Age
(5)
0-18
...
Street
Street
()
Pariserstr (3 hits)
()
Name
A
(35 hits)
()
()
(314 hits)
(...)
Search results:
Hits grouped by
attributes (overlapping)
and listed by
attribute value ranges
(disjunct)
(26)
5
User clicks
street and
sees hits
Search results:
Groups ordered by
relevance for this search
All hits are in M-P streets
in Berlin
Agenda
SAP NetWeaver
TREX
ABAP Client
Name
Server
Preprocessor
Index Server
Web Server
Browser UI
Server Pages
Text Search
Engine
Text Mining
Engine
Indexes
BO
Queue
Server
Join
Engine
Attribute
Engine
Crawler
Users
Java Client
RFC Server
DB
www
TREX APIs
Arabic
Italian
Chinese trad.
Japanese
Chinese simpl.
Korean
Czech
Polish
Danish
Portuguese
Dutch
Norwegian bok.
English
Norwegian nyn.
Finnish
Romanian
French
Russian
German
Spanish
Greek
Swedish
Hebrew
Thai
Hungarian
Turkish
more
All versions
All versions
DisplayWrite 4 & 5
Enable
First Choice
Framework
Version 3.0
HTML
IBM FFT
All versions
All versions
Version 1.01
JustWrite
Legacy
Lotus Manuscript
All versions
MS Word
HTML
XLS
e.g.
QuattroPro
Note: The Lotus WordPro filter is for Win32 on the Intel platforms only,
and is provided to SAP "as is", without any representations or warranties.
Lotus WordPro (Non-Windows platforms - text only)
MacWrite II
Version 1.1
MASS11
Microsoft WordPad
All versions
Microsoft Write
MultiMate
Navy DIF
All versions
Nota Bene
Version 3.0
Version 2.0
Office Writer
PC-File Letter
PC-File+ Letter
PFS:Write
Versions A, B, and C
Version 2.0
Version 1.0
Version 3.0
Samna Word
SmartWare II
Version 1.02
Sprint
Version 1.0
Total Word
Version 1.2
Unicode Text
All versions
PDF
Lotus Manuscript
MS Rich Text
Agenda
In Detail: http://service.sap.com/pam
Out of maintenance
TREX 6.0
End 2006
TREX 6.1
2013
TREX 7.0
2014
Agenda
Summary
Future TREX platform focus on Windows and Linux is a decision that has been
made in relation to available development resources and expertises in TREX
development.
It will enable more focussed development to optimize TREX performance and
supportability.
It does not express any general platform preference trend at SAP.
WS
M IS
M NS
M QS
PP
Q
Q
Q
MI
Q
SN
Slave Hosts
RFC
S IS
SI
WS
S NS
PP
SI
Backup Host
Master Host
Slave Host
RFC
WS
RFC
WS
RFC
WS
M NS
B QS
B IS
PP
M NS
M QS
M IS
PP
S NS
S IS
PP
File Server
Replace Master Index Server and Queue
Server if they become unavailable
Inactive if Master Server and Queue Server
are available
Data has to be stored centrally
Use one backup server for whole system or
one backup server per master server
T
Q
Q QQ
Q Q
MI MI
QSI
Q SI SI
SN SNQ
RFC
M NS
M QS
M IS
Slave Host
RFC
WS
RFC
WS
WSM NS
M QS
PPM IS
PP
S NS
S IS
PP
RFC
WS
S NS
S IS
PP
RFC
WS
S NS
S IS
PP
Q Q
MI MI
QSI
Q SI SI
SN SNQ
Landscape Example
Structured Data
Unstructured Data
Example for document based TREX landscape
Different landscapes for different stages
CPU
Processing time: load during indexing and search
Expressed in SAPS
Disk
Storage of indexes and queues
Expressed in MB
Memory
Memory consumption during indexing and search
Expressed in MB
Network Load
Transferred amount of data
KB per server request
Mainly Attributes
Document based
Applications
BI
Mainly text
TREX
Engine
BI Accelerator
Indexes
Solution
specific TREX
TREX
Engine
Indexes
Records
TREX
Engine
AttrValue 2
AttrValue 3.0
AttrValue 1.1
AttrValue 3.1
AttrValue 1.2
AttrValue 3.2
AttrValue 1.4
2.
3.
TREX
Engine
IS
Generate test
data and send
it to TREX
independently
of application
IS
1.
IS
IS
4.
5.
6.
Leads to
Compression ratio of 1:40 from size of source data (documents) to index size in
main memory
Searching: Up to 18 000 per hour
Indexing: 24 hrs time consumption
in distributed scenarios
without central storage
Disk Space
Main Memory
Compression
ratio 1:40
25 GB
(50 GB x 0.5)
.*
.*
.*
17.5 GB
(50 GB x 0.5 x 0.7)
Temporary disk space
25 GB
(50 GB x 0.5)
67.5 GB
1.25 GB
Discussion threads
Languages: 40
Languages: 3 (E/G/J)
Search requests
Search requests
notes
1.6 million
about 30 GB
discussion threads
4.2 million
about 100 GB
Application System
TREX
Engine
Notes
Index
Discussions
Index
Master Host
mytrexmaster01
mytrexmaster02
RFCRFC
RFCRFC
RFCRFC
RFCRFC
NS
NS
PP
PP
PP
index mode
index mode
IS
PP
IS
IS
QS
QS
discussions
Index
IS
Logical index
Slave Host
mytrexslave01
mytrexslave02
RFCRFC
RFCRFC
RFCRFC
RFCRFC
NS
NS
PP
PP
PP
Search mode
Search mode
IS
IS
PP
IS
IS
Logical index
masterhosts01+02
slavehosts01+02
slavehosts03+04
slavehosts07+08
Physical index
sources
slavehosts05+06
slavehosts09+10
SAPS 24 000
RAM
48 GB
Disk
60 GB
An Example 6: Notes
masterhost01
slavehost01
slavehost02
RFC
RFC
RFC slavehost03
RFC
RFC
RFC
slavehost04
RFC
RFC
RFC
slavehost05
NS
PP
RFCRFC
RFCRFC
IS
PP
IS
RFC
RFC
RFC
PP RFC
RFC
RFC
NS
PP
NS
PP
IS
NS
PP
IS
IS
IS
IS
IS
IS
IS
IS
NS
NS
Index mode
IS
QS
German
E
English
Japanese
7GB
8GB
1GB
Application server
discussions
index
Application server
Application server
Application server
notes
index
An Example 8: Summary
5.8 million objects
More than 20 000 new or changed documents per day
35 000 users
170 000 search requests per day
25 languages to be processed
requ
CPU:
36 000 SAPS
RAM:
48 GB
Disk:
200 GB
80 GB index size
120 GB temporary space for index update
en
m
e
ir
tio
u
l
o
s
ts
Index updates twice a day for discussion threads and every hour for notes
Stage II
Stage I
Initial Indexing
Weitergabe und Vervielfltigung dieser Publikation oder von Teilen daraus sind, zu welchem Zweck und in welcher Form auch immer, ohne die ausdrckliche schriftliche Genehmigung durch
SAP AG nicht gestattet. In dieser Publikation enthaltene Informationen knnen ohne vorherige Ankndigung gendert werden.
Einige von der SAP AG und deren Vertriebspartnern vertriebene Softwareprodukte knnen Softwarekomponenten umfassen, die Eigentum anderer Softwarehersteller sind.
SAP, R/3, xApps, xApp, SAP NetWeaver, Duet, SAP Business ByDesign, ByDesign, PartnerEdge und andere in diesem Dokument erwhnte SAP-Produkte und Services sowie die
dazugehrigen Logos sind Marken oder eingetragene Marken der SAP AG in Deutschland und in mehreren anderen Lndern weltweit. Alle anderen in diesem Dokument erwhnten Namen
von Produkten und Services sowie die damit verbundenen Firmenlogos sind Marken der jeweiligen Unternehmen. Die Angaben im Text sind unverbindlich und dienen lediglich zu
Informationszwecken. Produkte knnen lnderspezifische Unterschiede aufweisen.
Die in diesem Dokument enthaltenen Informationen sind Eigentum von SAP. Dieses Dokument ist eine Vorabversion und unterliegt nicht Ihrer Lizenzvereinbarung oder einer anderen
Vereinbarung mit SAP. Dieses Dokument enthlt nur vorgesehene Strategien, Entwicklungen und Funktionen des SAP-Produkts und ist fr SAP nicht bindend, einen bestimmten
Geschftsweg, eine Produktstrategie bzw. -entwicklung einzuschlagen. SAP bernimmt keine Verantwortung fr Fehler oder Auslassungen in diesen Materialien. SAP garantiert nicht die
Richtigkeit oder Vollstndigkeit der Informationen, Texte, Grafiken, Links oder anderer in diesen Materialien enthaltenen Elemente. Diese Publikation wird ohne jegliche Gewhr, weder
ausdrcklich noch stillschweigend, bereitgestellt. Dies gilt u. a., aber nicht ausschlielich, hinsichtlich der Gewhrleistung der Marktgngigkeit und der Eignung fr einen bestimmten Zweck
sowie fr die Gewhrleistung der Nichtverletzung geltenden Rechts.
SAP bernimmt keine Haftung fr Schden jeglicher Art, einschlielich und ohne Einschrnkung fr direkte, spezielle, indirekte oder Folgeschden im Zusammenhang mit der Verwendung
dieser Unterlagen. Diese Einschrnkung gilt nicht bei Vorsatz oder grober Fahrlssigkeit.
Die gesetzliche Haftung bei Personenschden oder die Produkthaftung bleibt unberhrt. Die Informationen, auf die Sie mglicherweise ber die in diesem Material enthaltenen Hotlinks
zugreifen, unterliegen nicht dem Einfluss von SAP, und SAP untersttzt nicht die Nutzung von Internetseiten Dritter durch Sie und gibt keinerlei Gewhrleistungen oder Zusagen ber
Internetseiten Dritter ab.
Alle Rechte vorbehalten.