\documentclass[a4paper,12pt]{article}
\usepackage{html}
%\usepackage{slovene}
\usepackage[slovene]{babel}
\usepackage{csz}
%\catcode`\"=13\def"#1{\v{#1}}

\newcommand{\url}[1]{\htmladdnormallink{\texttt{#1}}{#1}}

\hyphenation{li-te-ra-tura}
\newcommand{\tj}{tj.~}

\newcommand{\mte}{\textsc{multext}-East}

\hyphenpenalty=3000 
%\exthyphenpenalty=30

%\usepackage{graphicx}
%\usepackage{latexsym}

\setlength{\parindent}{0in}
\setlength{\parskip}{0.1in}
\setlength{\itemsep}{0in}


                   \title{Ra"cunalni"ske zbirke besedil}

\author{                    Toma"z Erjavec\\
                 \texttt{\small tomaz.erjavec@ijs.si}\\
                      Skupina za jezik in govor, E8\\
                        Institut Jo"zef Stefan}

\date{\today}
\begin{document}
\begin{sloppy}
\maketitle

\begin{abstract}
  Urejene ra"cunalni"ske zbirke besedil --- korpusi --- postajajo vse
  bolj nepogre"sljiv vir podatkov jezikoslovju. V Sloveniji tak"snih
  prosto dostopnih korpusov "se nimamo. V "clanku podamo zgodovinski
  pregled razvoja ra"cunalni"skih korpusov, njihovo tipologijo ter
  podro"cja uporabe. Nato se osredoto"cimo na dva vidika korpusov: na
  standardizacijo njihovega zapisa in na orodja za njih razvoj in
  izkori"s"canje.  Drugi del "clanka poda pregled projekta \mte\ 
  (Multilingual Text Tools and Corpora for Central and Eastern
  European Languages), v katerega je zajet tudi slovenski jezik. Bolj
  podrobno sta obdelana korpus in oblikoslovne ozna"cbe projekta ter
  problematika ozna"cevanja besednih oblik v korpusu s temi
  ozna"cbami. Kon"camo s predstavitvijo trenutno dostopnih rezultatov
  projekta ter mo"znostmi za razvoj tega podro"cja pri
  nas.
\end{abstract}


\newpage
\tableofcontents
\newpage

\section{Uvod}

Korpus je zbirka besedil, ki so izbrana tako, da karakterizirajo
stanje ali raznovrstnost nekega jezika. Uporaben je kot osnova, na
kateri gradimo opise jezika, ali pa kot sredstvo za preverjanje
hipotez o jeziku.  Korpusi so dandanes "ze standardno shranjeni na
ra"cunalnikih, saj ti po eni strani omogo"cajo kompaktno in poceni
hranjenje ter razpe"cevanje ogromnih koli"cin besedil, po drugi
strani pa ta besedila lahko z njimi bolj u"cinkovito izkori"s"camo.
Uporabnost nekega korpusa je odvisna od njegove velikosti pa tudi
urejenosti, tj., kako podrobno je dokumentiran in ozna"cen, ter
standardiziranosti njegovega zapisa.

Veja jezikoslovja, ki je korpuse tradicionalno uporabljala, je
leksikografija; pri izdelavi slovarjev metode introspekcije ne
zado"s"cajo in se je nujno opreti na govor (parole). V
formalnem in ra"cunalni"skem jezikoslovju ta pristop ni nujno edini.


\subsection{Nekaj zgodovine}

Ra"cunalni"ski korpusi in (predvsem kvantitativne) obravnave le-teh so
bile popularne "ze v petdesetih in "sestdesetih letih, nato pa so
do"zivele zaton, predvsem zaradi velikega vpliva teorij N. Chomskega.
Pretvorbeno-tvorbena slovnica in njene naslednice namre"c jemljejo kot
predmet preu"cevanja ``notranji jezik'', tj.\ "clove"sko sposobnost
produkcije jezika. Kriterij za ustreznost primerov, ki jih ti pristopi
obravnavajo, je ob"cutek govorcev o njihovi pravilnosti.  Zbirke
jezika so tako manj zanimive, saj vsebujejo napake in mote"ce
elemente, po drugi strani pa relativno malo teoreti"cno zanimivih
primerov. Ne samo v formalnem, temve"c tudi v ra"cunalni"skem
jezikoslovju je od konca "sestedesith in pribli"zno do sredine
osemdestih let v ospredju zanimanje za formalizacije jezika, ki
temeljijo na pravilih in udejanjajo idealizirano znanje govorcev
jezika.

Faktorjev, ki so v osemdesetih letih vplivali na ponovni prodor
empiri"cno podprtega jezikoslovja, je ve"c. Programi za skladenjsko
analizo so sicer lahko minuciozno raz"clenili nek to"cno dolo"cen
stavek, vendar pa so dosegali zelo slabe rezultate na odprtem
besedilu. Razlog za to je bil predvsem v premajhnem pokritju njihovih
slovarjev in pravil, pri "cemer pa je izdelava teh podatkov izredno
zamudno, pa tudi zahtevno delo. Ta problem, t.i.\ ``knowledge
acquisition bottleneck'', je tipi"cen ne samo za ra"cunalni"sko
jezikoslovje, pa"c pa za ve"cino podro"cij umetne inteligence. Postalo
je jasno, da je za napredek tega podro"cja potrebno za"ceti zajemati
vire informacij o domeni obravnave (npr.\ o onesna"zenosti jezer ali
diagnozah bolnikov) in se na njihovi osnovi (pol)avtomatsko u"citi
zakonitosti, ki v tej domeni vladajo.  V ra"cunalni"skem jezikoslovju
so tak"sni \emph{jezikovni viri} "se posebej kompleksni in je njihovo
zbiranje temu primerno te"zje, s "cimer postane tudi rezultat toliko
pomembnej"si. Zbiranje se je osredoto"cilo na bolj ali manj formalno
zapisane ra"cunalni"sko berljive slovarje, predvsem pa na korpuse kot
osnovne vire jezika.

Obenem je nova generacija programov, ki temeljijo na statisti"cnih
zakonitostih besedila, pokazala obetavne rezultate. Ti programi so po
svoji na\-ravi sicer nepopolni, so pa bolj robustni in imajo v
povpre"cju precej ve"cje pokritje od simbolo"cnih pristopov, poleg
tega pa se lahko u"cijo iz primerov.  La"zje je ro"cno ozna"citi neko
besedilo, na katerem se bo program u"cil, kot pa pisati pravila, ki
naj bi te ozna"cbe zagotovila. Poleg tega je ro"cno ozna"cen ali
pregledan jezikovni vir lahko koristen tudi v druge namene, ro"cno
napisana pravila pa uporabna samo skupaj s programom, za katerega so
bila napisana.

To nas pripelje do pomembne razlike med ra"cunalni"skimi korpusi
petdesetih let in sedanjimi korpusi. V pedesetih letih so bila
besedila tipi"cno zbrana za nek povsem dolo"cen namen in v formatu, ki
ga je podpirala programska oprema, ki naj bi besedilo obdelala. Ker
jezikovni viri danes pomenijo dragoceno blago, ki ga je potrebno
ohraniti pa tudi "siriti, se v njihovo izdelavo vlaga ve"c truda,
zapisuje pa se jih v skladu z mednarodnimi standardi in priporo"cili.

Nenazadnje je bliskoviti dvig koli"cine in kvalitete ra"cunalni"skih
korpusov pripisati tudi tehnolo"skemu napredku na podro"cju
ra"cunalni"stva in z njim spremembi glavne namembnosti ra"cunalnikov.
Ra"cunalniki se vedno bolj upo\-rab\-ljajo kot orodje za procesiranje
besedil, s "cimer postajajo t.i.\ jezikovne tehnologije profitno
podro"cje, obenem pa se za"cenja vpra"sanje ``ra"cunalni"ske
pismenosti'' nekega jezika povezovati z njegovo identiteto.  Programi,
ki naj bi pomagali pri pripravi, izmenjevanju, urejanju, predstavitvi
in dostopu do jezikovnih informacij za nek jezik, tipi"cno potrebujejo
urejene vire znanja o tem jeziku. Do tak"snih virov najla"ze pridemo s
pomo"cjo besedilnih zbirk. Obenem je ve"c in ve"c besedil dostopnih
neposredno na ra"cunalnikih in jih je temu primerno la"zje pretvoriti
v korpus.

V ilustracijo napredka ra"cunalni"skih korpusov lahko primerjamo
velikost prve\-ga ozna"cenega referen"cnega korpusa z dana"snjimi
korpusi (britanske) angle"s"cine. Korpus LOB (Lancaster-Oslo/Bergen)
\cite{Garside/Leech/Sampson:87}, izdelan leta 1986, je vseboval
milijon besed, korpus BNC (British National Corpus) izdelan leta 1994,
pa sto milijonov besed --- v tiskani obliki bi ta besedila zavzela
pribli"zno deset metrov polic. Na koli"cino korpusov in zanimanje
zanje ka"ze tudi ustanovitev ``posredni"skih hi"s' za korpuse in druge
jezikovne vire. Tako je bil leta 1992 v Zdru"zenih Dr"zavah z vladno
podporo ustanovljen Linguistic Data Consortium, ki zdru"zuje v svoji
ponudbi preko "stirideset pisnih in govorjenih korpusov ter slovarskih
baz. Pred nedavnim je tej pobudi sledila tudi evropska unija s
financiranjem ustanovitve organizacije ELRA (European Linguistic
Resources Association).

Koli"cina in raznovrstnost jezikovnih virov je seveda najve"cja za
anlge"ski jezik. V zadnjih desetih letih je bilo mnogo tak"snih virov,
na prvem mestu korpusov, izdelanih tudi za jezike Evropske unije, k
"cemer so v veliki meri prispevale tudi iniciative Evropske unije. Za
jezike vzhodno- in srednjeevropskih dr"zav je stanje slab"se in obenem
precej raznovrstno. Dolo"cene dr"zave imajo na podro"cju
(ra"cunalni"skega) jezikoslovja "ze dolgo tradicijo (npr.\ "Ce"ska in
Mad"zarska), kar se odra"za tudi v stanju njihove jezikovne
infrastrukture. Tako imajo npr.\ na filozofski fakulteti v Pragi "ze
oddelek, katerega edina naloga je zagotoviti 20 milijonov besed velik
referen"cni korpus, ki bo nato podlaga novemu slovarju "ce"skega
jezika.

V Sloveniji dostopnih in obenem standardiziranih jezikovnih virov "se
nimamo.  Edini javni referen"cni korpus slovenskega jezika
\cite{Top:besedila} je precej majhen, obstaja samo v knji"zni obliki
in je star dvajset let. Svetla izjema temu stanju so na WWW objavljena
besedila slovenskih klasikov \cite{Hla:Zbir}, ki imajo prednost, da so
dostopna in "ze do precej"snje mere urejena, ravno tako pa, glede na
svojo starost, ve"cinoma ne podle"zejo ve"c zakonu o avtorskih
pravicah. Vendar pa ravno zaradi starosti besedil ne podajajo slike
sodobnega slovenskega jezika.  Dosti slovenskih besedil, ki bi bila
lahko osnova za korpuse, obstaja seveda tudi v ra"cunalni"ski obliki,
vendar pa niso standardizirana, predvsem pa je njihova dostopnost
omejena na institucije, ki so jih proizvedle (npr.\ zalo"zbe,
"casopisne hi"se) ali pa na institucije, ki so sodelovale v njihovi
pripravi.


\subsection{Tipologija korpusov}

S "sirjenjem ra"cunalni"skih korpusov se je pojavila tudi potreba po
ovrednotenju ter razvrstitvi korpusov. Z opisom karakteristik, s
katerimi lahko nek korpus ovrednotimo, in z definiranjem zvrsti
korpusov, ki jih je med seboj smiselno razlikovati, se je ukvarjala
skupina za tipologijo korpusov pri evropski iniciativi Eagles (Expert
Advisory Group for Language Engineering). 

\pagebreak

Po tipologiji Eagles \cite{EagCorTyp} so karakteristike nekega
korpusa naslednje:
\begin{itemize}
\item \emph{velikost}, \tj koli"cina podatkov, ki jih nek korpus vsebuje;
\item \emph{kakovost} njegove izdelave;
\item \emph{avtenti"cnost} glede na kriterije pa katerih je bil zgrajen;
\item \emph{enostavnost} njegovega zapisa;
\item \emph{dokumentiranost}.
\end{itemize}

Zvrsti korpusov pa so:
\nopagebreak
\begin{itemize}

\item \emph{referen"cni korpusi}, ki predstavljajo osnovno zvrst
  korpusa in slu"zijo kot jezikovni standardi. Posebna pozornost se
  pri tak"snih korpusih posve"ca izbiri komponentnih besedil, saj naj
  bi tak korpus predstavljal idealizirano podobo nekega jezika. Primer
  tak"snega korpusa je prvi "siroko dostopni ra"cunalni"ski korpus, in
  sicer korpus Brown ameri"ske angle"s"cine \cite{Brown}, ki vsebuje
  500 skrbno uravnote"zenih odlomkov iz petnajstih jezikovnih zvrsti,
  ki segajo od religije, preko znanstvene fantastike, do humorja.
  Referen"cne korpuse kontrastiramo s \emph{specializiranimi korpusi},
  ki slu"zijo nekemu to"cno do"cenemu namenu in \emph{oportunisti"cnimi
    korpusi}, ki so zbrani glede na dane mo"znosti in slu"zijo kot
  cenena ina"cica referen"cnih korpusov.

\item \emph{govorjeni in govorni korpusi} vsebujejo, za razliko od
  \emph{pisnih korpusov}, govor oziroma transkripcijo govora; lahko bi
  trdili, da so edino tak"sni korpusi avtenti"cni, saj se jezik
  primarno konstituira skozi govor, in ne pisano besedo. Tak"sni
  korpusi se v velikih koli"cinah pojavljajo "sele v zadnjem "casu,
  predvsem zato, ker so zanimivi za avtomatsko procesiranje govora kot
  enega bolj prodornih podro"cij jezikovnih tehnologij.

\item \emph{korpusi podjezikov} so omejeni in specializirani, saj
  zajemajo jezik v to"cno dolo"ceni funkciji.  Vsebujejo npr.\ 
  tehni"cne priro"cnike nekega podro"cja ali pa posnetke dialogov med
  piloti in stolpom na letali"s"cih. Taki korpusi so ponavadi tudi
  zbrani za dolo"cen namen.

\item \emph{vzor"cni korpusi} niso sestavljeni iz celotnih besedil,
  temve"c iz fragmentov besedil. Tako je npr.\ korpus Brown sestavljen
  iz enakomerno dolgih pasosov po dva tiso"c besed. Razlogi za
  izdelavo vzor"cnega namesto \emph{celostnega korpusa} so predvsem
  zgodovinske ali pa pravne narave. Kapacitete ra"cunalnikov so bile
  v"casih dosti manj"se, pa tudi ra"cunalni"sko berljivo besedilo je
  bilo te"zje dostopno. Poleg tega pa lastniki besedil prej kot
  vklju"citev celotnih besedil dopustijo vklju"citev fragmentov svojih
  besedil v nek korpus, saj s tem ote"zijo mo"znost neavtoriziranega
  ponatisa teh besedil.  Seveda pa je vzor"cni korpus manj kvaliteten
  od celostnega, saj ne podaja integralne podobe besedil, ki jih
  zajema.

\item \emph{spremljevalni korpusi} so, za razliko od klasi"cnih
  korpusov, dinami"cni. Jezik se spreminja in korpus, izdelan danes,
  "ze jutri ne odra"za trenutne podobe jezika. Ker je vedno ve"c
  besedil dostopnih neposredno v ra"cu\-nal\-ni"sko berljivi obliki,
  postaja zajem besedil la"zji, s tem pa rastejo tudi mo"znosti za
  vzdr"zevanje te, "se precej nove zvrsti korpusov.

\item \emph{primerljivi korpusi} vsebujejo primerljiva besedila v ve"c
  jezikih, npr.\ "casopisne "clanke iz evropskih "casopisov v nekem
  obdobju. Tak"sni korpusi so koristni za prevajalske "studije.

\item \emph{vzporedni korpusi} so primerljivi korpusi, ki vsebujejo
  besedila in njihove prevode. Tak"sni korpusi so, posebej "se za
  prevajalske "studije, jezikovni vir par excelence, predvsem
  za izdelovanje dvo- in ve"cjezi"cnih slovarjev. Vendar pa je tak"sna
  vzporedna besedila, razen za omejena podro"cja, te"zko zagotoviti.

\end{itemize}



\subsection{Uporabnost}

In kje so korpusi pravzaprav uporabni? Najbolj evidentno podro"cje je
seveda slovaropisje. Prvi slovar, izdelan izklju"cno na osnovi
ra"cunali"skega korpusa, je bil Colinsov CoBuild English Language
Dictionary iz leta 1987 \cite{LookUp}. Danes je uporaba
ra"cunalni"skih korpusov v angle"skih leksikografskih hi"sah "ze
standardna, posebej "se za specializirane slovarje. Tako npr.\ v
Cambridge University Press pri izdelavi u"cnega "spansko-angle"skega
slovarja uporabljajo korpus popravljenih nalog "spanskih u"cencev
angle"s"cine, saj le-te najbolje poka"zejo na tipi"cne napake, na
katere lahko slovar potem opozori.

Uporaba korpusov je "se posebej zanimiva za dinami"cna in z
gospodarstvom neposredno povezana podro"cja jezika, kot je
terminologija. V korpusih lahko odkrijemo "ze uporabljene termine,
njihove prevode ali razlage, s "cimer je omogo"ceno bolj a"zurno in
cenej"se izdelovanje slovarjev.

Ena prvih mo"znih uporab korpusa je za raznovrstne (formalne, socialne,
literarne) jezikoslovne "studije, predvsem za preverjanje teorij o
jeziku skozi iskanje distribucije in konkretnih primerov izbranih
pojavov. To velja toliko bolj za jezikovno ali kako druga"ce ozna"cene
korpuse. V primerjavi z neobdelanim besedilom lahko v ozna"cenem
korpusu i"s"cemo bistveno bogatej"se vzorce. Tako bi npr.\ za
skladenjske raziskave bil zanimiv korpus, v katerem so besede
oblikoslovno ozna"cene, za sociolingvisti"cne pa npr.\ korpus, kjer je
premi govor ozna"cen s spolom govorca.

Nenazadnje so ra"cunalni"ski korpusi pomembni za razvoj podro"cja
jezikovnih tehnologij, pa "ce so to pripomo"cki za avtorje, u"cenje
jezikov ali prevajanje, programi za analizo in sintezo govora, itd.
Vsi tak"sni programi potrebujejo 'zavest' o jeziku, pri katerem naj bi
bili v pomo"c, tj.\ potrebujejo ra"cunalni"ske jezikovne vire:
slovarje, pravila in distribucije elementov dolo"cenega jezika. Mnogo
teh virov je mogo"ce (pol)avtomatsko zajeti iz korpusov.


\section{Standardi in ozna"cevanje korpusov}

Ra"cunalni"ski korpusi besedil so dragoceni viri jezikovnih podatkov
tako zaradi mnogoterih mo"znih uporab kot zaradi koli"cine dela, ki ga
je potrebno vlo"ziti v njihovo izgradnjo. Ko to premo"zenje imamo, je
smiselno omogo"citi (1) njegovo "cim "sir"so uporabo (\tj 
\emph{izmenljivost}) in (2) ga zavarovati pred zastaranjem.

Na prvi pogled ravno ra"cunalniki zadovoljujejo ti dve "zelji, saj
je razmno\-"zevanje ra"cunalni"skih podatkov, za razliko od ostalih
dobrin, prakti"cno zastonj, digitalna informacija pa ne podle"ze zobu
"casa.  Vendar morajo biti ra"cunalni"ski zapisi podrobno
definirani, obenem pa so ra"cunalniki predmet bliskovitega
tehnolo"skega razvoja. Zaradi tega se izka"ze, da imajo besedila,
hranjena na ra"cunalni"skih medijih, zaenkrat bistveno manj"so
izmenljivost in trajnost kot pa tiskana besedila.

Problemi digitalnega zapisa besedil se za"cnejo "ze pri zapisu "crk.
Popolna ra"cunalni"ska podpora in soglasje o naborih znakov obstaja
samo za angle"sko abecedo, medtem ko bomo v Sloveniji na"sli deset
na"cinov kako so na ra"cunalnikih zapisani \textit{"c}, \textit{"s} in
\textit{"z}.  Ker se vedno ve"c besedil, ki sestavljajo korpus, zajema
neposredno iz digitalnih virov, je problem razli"cnih formatov
dokumentov "se posebej pere"c; "ce se razlikujejo "ze zapisi "crk, so
toliko bolj razli"cni na"cini zapisa odstavkov, premega govora,
naslovov, opomb, bibliografskih podatkov, itd. Razlikujejo se glede na
programsko opremo, s katero je bilo besedilo narejeno, po videzu,
kakr"snega naj bi imelo tiskano besedilo, in glede na osebo, ki je
besedilo napisala.  Vendar so vsi ti podatki v korpusu vsaj
potencialno pomembni, saj tvorijo del besedil, ki jih ho"cemo zajeti.
"Ce v korpusu niso enotno in prepoznavno ozna"ceni, bo ta informacija
izgubljena za uporabnike korpusa.

"Cetudi nam uspe pri izgradnji korpusa to zmedo na na"sem ra"cunalniku
v lastno zadovoljstvo urediti, bodo na drugih ra"cunalnikih z drugimi
operacijskimi sistemi in drugimi programi podatki vseeno neuporabni
ali pa bodo vsaj zahtevali veliko truda za njihovo konverzijo v cilnji
zapis. V primeru, da korpus "se dodatno ozna"cimo (npr.\ s skladnjo,
prevodi, leksikografskimi podatki), bo problem seveda "se bistveno
huj"si. Izmenljivost tak"snih zapisov je majhna.

Podobno majhna je tudi trajnost ra"cunalni"skih podatkov: besedila na
petnajst let starem magnetnem traku so danes te"zko uporabna,
podobno tudi besedila, napisana na urejevalniku teksta iz tistega
"casa. Ne enih ne drugih danes ne moremo ve"c brati ali pa je v to
potrebno vlo"ziti precej truda.

Edino standardizacija lahko re"si problem izmenljivosti in trajnosti
digitaliziranih besedil. Poglavje v nadaljevanju obravnava tri nivoje
tega procesa. Z osnovno in najbolj natan"cno definirano stopnjo
ra"cunalni"skega zapisa strukture besedil se ukvarja standard
\emph{SGML} (Standard Generalized Markup Language) mednarodne
organizacije za standardizacijo ISO (International Organization for
Standardization).  Z zapisom in konkretnim ozna"cevanjem strukture
besedil predvsem za namene znanstvene obravnave jezika se ukvarjajo s
SGML skladna priporo"cila iniciative za ozna"cevanje besedil
\emph{TEI} (Text Encoding Initiative). Konkretno obliko zapisa
ra"cunalni"skih korpusov za namene jezikovnih tehnologij pa podaja s
TEI skladen zapis z imenom \emph{CES} (Corpus Encoding Standard), ki
nastaja oz.\ je nastajal v okviru evropske iniciative Eagles ter
projektov \textsc{multext} in \mte.


\subsection{SGML: Standardni posplo"seni jezik za ozna"cevanje}

SGML (Standard Generalised Markup Language) \cite{Gold:SGML} je ISO
standard 8879, ki dolo"ca jezik za predstavitev dokumentov, nad
katerimi bodo delovali programi za procesiranje besedil. Razlogi za
izdelavo tega standarda so bili deloma omenjeni "ze zgoraj. V razvitih
dr"zavah podjetja porabijo veliko "casa in s tem denarja za iskanje in
pripravo informacij, ki so prete"zno besedila. Zato prihaja do
potrebe po na"cinu zapisa, ki bo izmenljiv, odporen na tehnolo"ske
spremembe in ki bo omogo"cal uporabo dokumentov v razli"cne namene.
SGML je poskus tak"snega zapisa.

SGML je prvenstveno jezik za \emph{ozna"cevanje} dokumentov, pri
"cemer lahko oznake opisujejo kakr"snokoli informacijo, ki je dodana
osnovnemu besedilu, npr.\ podatek, da je nek niz v besedilu naslov, ime
ali beseda, da je neka beseda glagol, da ima nek termin povezavo s
svojo razlago, da nek stavek spremlja slika ali njegov prevod in da
nek monolog govori Hamlet v prvem dejanju neke tragedije.

SGML se glede na ostale jezike za ozna"cevanje dokumentov odlikuje v
treh karakteristikah:

\subsubsection*{Poudarek na \emph{opisnem} namesto postopkovnem
  ozna"cevanju}

Za razliko od mnogih drugih formatov zapisa besedil (npr.\  Microsoftov
RTF) so oznake SGML namenjene opisu lastnosti besedila, ki ga
zajemajo, ne pa postopku, ki te lastnosti realizira na konkretnem
mediju: oznaka npr.\ pove, da del besedila, ki ga zajema, predstavlja
odstavek, ne pa, da je potrebno izpustiti prazno vrstico in za
dolo"ceno mero zamakniti za"cetek naslednje vrstice. Opisno ozna"ceni
podatki imajo to prednost, da vsebujejo informacije v bolj
pre"ci"s"ceni obliki in jih je zato la"zje uporabiti v razli"cne
namene. Tako je en sam dokument (npr.\ slovar knji"znega jezika ali pa
komplet tehni"cnih priro"cnikov) uporaben za izdajo v knji"zni
ali pa multimedialni CD-ROM obliki.


\subsubsection*{Koncept \emph{tipa} dokumenta}

SGML bi lahko poimenovali tudi jezik za metaozna"cevanje dokumentov,
saj standard ne spregovori besede o tem, katere oznake moramo
uporabljati in v kak"snih odnosih so te oznake med seboj.  Namesto
tega vpelje SGML pojem tipa dokumenta in z njim formalno
\emph{definicijo tipa dokumenta} DTD (Document Type Definition). "Sele
DTD konkretno dolo"ca, kako mora biti nek dokument strukturiran in kako
izgledajo njegove oznake.  Nek DTD tako predstavlja gramatiko za
dolo"cen tip dokumentov, npr.\ za knjige, tabele, terminolo"ske
slovarje, scenarije, itd.  Tak"sen pristop omogo"ca "siroko aplikacijo
standarda, saj tako lahko pokriva dokumente z izrazito razli"cno
strukturo.  Verjetno je, vsaj posredno, najbolj znana definicija tipa
dokumenta tista za HTML (Hypertext Markup Language), ki jo morajo
upo"stevati vse pravilno narejene strani svetovnega omre"zja WWW
(World Wide Web).


\subsubsection*{Neodvisnosti od konkretnega \emph{zapisa} besedil}

Eden od osnovnih ciljev SGML je, da so v njem zapisani podatki,
prenosljivi z ene strojne in programske opreme na drugo brez izgube
informacije. SGML zato vsebuje splo"sen mehanizem za nadome"s"canje
nizov ob procesiranju dokumenta. Z \emph{entitetami} SGML je mogo"ce
prese"ci neskladnosti in pomanjkljivosti v naborih znakov razli"cnih
specifi"cnih ra"cunalni"skih sistemov, saj lahko za neprenosljive
znake definiramo opisna imena, \tj entitete.

\begin{center}*\end{center}

Prostor tu ne dopu"s"ca ob"sirnej"se obravnave standarda SGML. Naj
zado"s"ca opomba, da v tujini vedno ve"c podjetij, ki imajo opravka z
velikimi koli"cinami besedil (npr.\ proizvajalci opreme za svojo
dokumentacijo, zalo"zniki, knji"znice, itd.), prehaja na ta
standard, obstaja pa tudi "ze kar nekaj podjetij, predvsem v ZDA in
Zahodni Evropi, ki se ukvarjajo izklju"cno s SGML, bodisi z
izdelovanjem programske opreme ali pa, pogosteje, z omogo"canjem
kon"cnim uporabnikom, da preidejo na ta standard.  V Sloveniji
zaenkrat "se ni zaslediti aplikacij tega standarda ali pa njegove
obravnave v literaturi; izjema je edino WWW stran V.~Batagelja, ki
podaja uvod v SGML \cite{Bata1995}.


\subsection{TEI: Iniciativa za zapis besedil}

TEI (Text Encoding Initiative) \cite{TEIchum95} se je za"cela na
konferenci, ki je bila leta 1987 na Vassar College v New Yorku.
Tam se je zbralo okoli trideset predstavnikov arhivarstva, znanstvenih
ustanov ter raziskovalnih projektov, da bi obravnavali mo"znost
izdelave standardnega zapisa besedil in da bi podali priporo"cila o
njegovem obsegu, strukturi, vsebini in na"cinu izdelave. O
za"zeljenosti tak"sne pobude pri"ca, da je TEI dobil podporo vseh
najbolj vplivnih strokovnih zdru"zenj s podro"cja ra"cunalni"ske
obravnave besedil kot tudi s strani ameri"ske vlade in evropske
unije. TEI je prvi osnutek svojih priporo"cil (TEI P1) izdal leta
1990, drugega pa leta 1992. Medtem ko sta bila tako P1 kot P2 "se
osnutka, predstavlja leta 1994 izdan TEI P3 \cite{TEI94} zaklju"cek
prve faze dela TEI.

TEI je kot osnovo svojega zapisa vzel SGML. TEI P3 je nabor definicij
tipov dokumentov in entitet, ki za "siroko paleto zvrsti besedil
dolo"ca konkretne oznake in njihovo strukturo. Skorajda bolj pomembnih
pa je 1200 strani dokumentacije, ki podaja pomen posameznih oznak,
opisuje DTD-je ter izpelje na"cin za njihovo kombiniranje ter
nadgradnjo.

TEI P3 pozna tri vrste naborov oznak, ki jih sestavljamo v t.i.\ 
modelu Chicago pizze. Vsaka pizza ima dve nujni sestavini: paradi"znik
in sir.  Podobno TEI lo"ci \emph{sredi"s"cne oznake} ('core tags'), ki
so obvezne v vseh, s TEI skladnih dokumentih. Sredi"s"cne oznake
dolo"cajo definicijo naborov znakov, oznake, ki so na voljo v vseh TEI
dokumentih (npr.\ oznake za naslove in odstavke) ter glavo dokumenta,
ki vsebuje bibliografske podatke o dokumentu.

Vsaka pizza ima tudi testo kot osnovo, vendar se njegova zvrst (vsaj
v Chicagu) lahko izbere: lahko je tanko in hrustljavo, lahko
pa debelo in mehko, ne more biti oboje hkrati. Podobno se tudi
besedila delijo na razli"cne zvrsti, ki so med seboj razmeroma dobro
lo"cene.  \emph{Osnovni nabori oznak} ('base tag sets') v TEI
P3 obsegajo osnovne nabore za leposlovje, poezijo, gledali"s"ce, zapis
govora, tiskane slovarje ter terminolo"ske baze.

Kon"cno imajo pizze lahko tudi ve"c dodatkov, npr.\ "sunko in gobice,
TEI pa \emph{dodatne nabore oznak} ('additional tag sets'). Ti
opisujejo raznovrstna dodatna ozna"cevanja, ki predstavljajo dolo"ceno
interpretacijo besedila ali pa netekstualne elemente besedil, kot so
navzkri"zne povezave (za stvarna kazala) ali pa slike.  Takih naborov
je vsega skupaj devet, med njimi so nabor za analiti"cne mehanizme
(npr.\ skladenjsko analizo), nabor za dokumentiranje uredni"skih
posegov, nabor za imena in datume in kon"cno tudi \emph{nabor za
  jezikovne korpuse}.

\begin{figure}[htbp]
%  \begin{center}
    \leavevmode
\begin{tabular}[c]{cc}
\begin{minipage}[c]{2.8in}
{\small
\begin{verbatim}
<p>
<cl type='finite declarative' 
    function='independent'>
 <phr type=NP function='subject'>
    Nineteen fifty-four,
  <cl type='finite relative declarative'
    function='appositive'>
    when
   <phr type=NP function='subject'>
    I
   </phr>
   <phr type=VP function='predicate'>
     was eighteen years old
    </phr>
  </cl>
  ,
\end{verbatim}
}
\end{minipage}
 & 
\begin{minipage}[c]{2.8in}
{\small
\begin{verbatim}
<sourceDesc>
 <scriptStmt id=CNN12>
 <bibl>
    <author>CNN Network News</>
    <title>News headlines</>
    <date>12 Jun 1991</>
 </bibl>
 </scriptStmt>
 <!-- this script statement 
      might be used to document 
      the parts of a spoken 
      transcript which included
      a news broadcast -->
</sourceDesc>
 \end{verbatim}
}
\end{minipage}
\end{tabular}
    \caption{Primera TEI ozna"cenih dokumentov}
    \label{fig:TEIexa}
\end{figure}

Za konec poglejmo v sliki \ref{fig:TEIexa} "se primera dveh delov
dokumentov, ki sta zapisana v standardu SGML in skladno s priporo"cili
TEI. Na levi je primer besedila, ozna"cenega s skladenjsko analizo, na
desni pa del glave dokumenta, ki bi bila uporabna za zapis radijskih
poro"cil.
%Oznake lo"cijo od besedila v tem, da se za"cnejo z znakom \verb+<+ in
%kon"cajo z znakom \verb+>+. Povedano poenostavljeno, zajema neka
%oznaka, recimo ji kar \texttt{oznaka}, tisto besedilo, ki se nahaja
%med njeno za"cetno oznako \verb+<oznaka>+ in kon"cno oznako
%\verb+</oznaka>+. Oznake lahko tudi vsebujejo lastnosti z njihovimi
%vrednostmi, ki so vpisane za"cetni oznaki. 
%Priporo"cila TEI, skozi
%svojo definicijo tipa dokumenta, dolo"ci kako se pozamezne oznake
%imenujejo, katere lastnosti imajo, kak"sne vrednosti imajo te
%lastnosti, in kako se oznake lahko medsebojno gnezdijo. Dokumentacija
%TEI pa podaja pomen oznak: opi"se npr., da vsebuje \verb+<scriptStmt>+
%``a citation giving details of the script used
%for a spoken text'
Bralec bo opazil, da so TEI oznake angle"ske: "ceprav
je v TEI obliki mo"zno strukturirati zapis poljubnega jezika, ostaja
metajezik zapisa angle"ski. 

Vsi veliki korpusi, izdelani v zadnjih nekaj letih, so "ce "ze ne
dosledno sledili, pa vsaj upo"stevali TEI priporo"cila, saj so le-ta
najbolj podrobna in natan"cna dolo"cila za ozna"cevanje jezikovnih
virov.


\subsection{CES: Standard za zapis korpusov}

Kljub temu, da TEI P3 podaja tudi dolo"cila za zapis korpusov, so ta
po eni strani za dolo"cene namene preve"c kompleksna, po drugi pa v
dolo"cenih podrobnostih tudi "se pomanjkljiva. V okviru iniciative
Evropske unije Eagles in evropskih projektov \textsc{multext} ter
\textsc{multext}-East je v izdelavi SGML definicija tipa dokumenta z
imenom CES (Corpus Encoding Standard) \cite{CES}. CES je v veliki meri
skladen s priporo"cili TEI, vendar je enostavnej"si in bolj
ekspliciten, saj je njegova specifi"cna domena opis ve"cjezikovnih
korpusov predvsem za namene jezikovnih tehnologij.

%Osnovna razlika med korpusom in drugimi besedili je ta, da je korpus
%neke vrste metabesedilo, saj vsebuje kot svoje dele poljubna druga
%besedila. Ravno tako ni omejen s tipom dodatnega ozna"cevanja:
%mnogi korpusi imajo ozna"cbe do ravni besed ali pa so paralelizirani
%s svojimi prevodi.

CES dolo"ca osnovni zapis in obseg ozna"cevanja, ki ga mora korpus
zadovoljiti, da ga lahko "se smatramo za standardiziranega. CES
opredeli tri nivoje take standardizacije, kjer vsak vi"sji nivo
dodatno standardizira korpus:
\begin{enumerate}
\item CES-1 dokument ima s TEI skladno glavo, tj.\ bibliografske in
  ostale podatke o korpusu, telo dokumenta pa je ozna"ceno, v skladu s
  CES-definicijo dokumenta, z osnovno strukturo, tj.\ z glavnimi
  razdelki besedila do nivoja odstavkov.

\item CES-2 dokument ustreza nivoju CES-1, poleg tega pa vsebuje
  TEI oznake, na katere se lahko sklepa iz tipografskih informacij v
  originalnem besedilu: premi govor, imena, "stevilke, datumi, itd.

\item CES-3 dokument mora vsebovati CES-2 oznake, poleg tega pa
  ustreza dodatnim zahtevam za ozna"cevanje stavkov in premega govora.
  Vse izklju"cno tipografske informacije so odstranjene iz besedila
  in kve"cjemu ohranjene kot vrednosti atributov.

\item Nivo jezikovnega ozna"cevanja: poleg osnovnih nivojev je korpus
  mo"zno tudi dodatno ozna"citi z jezikovnimi informacijami. CES
  obravnava dvoje tak"snih ozna"cevanj, in sicer oblikoslovno
  ozna"cevanje besed in pa zapis poravnav v vzporednem korpusu, tj.\ 
  zapis poravnave nekega elementa v originalu z njegovim prevodom.
\end{enumerate}


\section{Procesiranje korpusov}

Poudarek prej"snjega poglavja je bil na standardih za opis jezikovnih
podatkov. Seveda pa je programska oprema tista, ki nam omogo"ci nek
korpus narediti oziroma izkori"s"cati. Ta proces lahko razdelimo na
"stiri dele, od katerih sta prva dva usmerejena v urejanje in
eksplicitiranje jezikovne informacije, druga dva pa v njeno
izkori"s"canje. Tak pristop premakne te"zi"s"ce dela v izdelavo
korpusa, s "cimer olaj"sa njegovo uporabo.

V izdelavi standardiziranega korpusa je (1) dobljena besedila najprej
potrebno urediti in strukturno ozna"citi, s "cimer dobimo ekvivalent
CES-2 oz.\ CES-3 korpusa. Korpus lahko (2) s pomo"cjo ozna"cevalcev
"se dodatno ozna"cimo z jezikovnimi podatki. Ta dva koraka zahtevata
precej"sen vlo"zek "clove"skega dela, saj je podatke tu potrebno
ro"cno vna"sati ali pa vsaj preverjati. Vendar pa tako pridobimo
dokumentiran in standardiziran jezikovni vir, ki je izmenljiv in ga
lahko z "siroko dostopnimi orodji uporabljamo v raznovrstne namene.

Ker orodja za izkori"s"canje korpusov dostikrat zahtevajo besedila v
sebi lastnem formatu, je korpus (3) iz standardiziranega formata
potrebno najprej pretvoriti v format orodja. Vendar pa je, za razliko
od procesa izdelovanja korpusa, ta korak preprost in popolnoma
avtomatski. Zadnji korak je seveda (4) dejanska uporaba korpusa s
pomo"cjo ustreznih programov.

V nadaljevanju poglavja najprej obravnavamo orodja, ki imajo
neposredno zvezo s SGML (1 in 3), nato (2) jezikovne ozna"cevalnike in
kon"cno (4) pregledovalnike korpusov. Bolj natan"cen pregled orodij,
kot je podan tu, pa je opisan v \cite{Erj:TihTool}.


\subsection{Orodja SGML}

Pri izgradnji korpusa je potrebno dobljene tekste najprej prevesti v
SGML in TEI/CES. Tekste najprej o"cistimo podatkov, ki so odve"cni
namenu korpusa, in korpus ozna"cimo s podatki, ki so na enostaven
na"cin dosegljivi iz tipografskih vzorcev v besedilih. Ta pretvorba se
tipi"cno izvede z ad-hoc programi, napisanih v kateremu od programskih
jezikov, ki je mo"can v iskanju in nadome"s"canju nizov.
Za bolj pogoste formate zapisa besedil pa obstajajo tudi "ze napisani
programi, ki dokument pretvorijo v osnoven zapis SGML. V tej fazi je
tudi potrebno poskrbeti za glave posameznih besedil in celotnega
korpusa, saj naj bi bil korpus (bibliografsko, pravno,
uredni"sko\ldots) ozna"cen.

Ko je korpus vsaj v minimalnem zapisu SGML, je nad njim "ze mogo"ce
uporabljati SGML orodja. Programsko opremo, ki se 'zaveda' SGML
standarda, je mogo"ce kupiti, kar nekaj tak"snih programov ali pa
knji"znic pa je tudi prosto dostopnih. Osnovno orodje je
raz"clenjevalnik SGML, ki preveri ali je nek dokument v skladu s svojo
definicijo tipa in definira vsak element glede na njegovo mesto v tej
definiciji. Drugi programi omogo"cajo enostaven vnos
dokumetov, iskanje podatkov v dokumentih ali pa pretvorbo iz 
zapisa SGML v ciljni zapis, npr.\ za tiskanje ali prezentacijo na WWW, ali
pa v format, ki ga pozna na"se orodje za pregledovanje korpusov.

Ker TEI zapis vsebuje ve"c eksplicitne informacije kot pa originalni
zapis, je pretvorbo v TEI zapis potrebno vlo"ziti sorazmerno dosti
dela: "cetudi so na voljo programi, ki bi konverzijo avtomati"cno
opravljali, ti niso nezmotljivi, poleg tega pa prevod v rigorozni zapis
SGML pogosto razkrije napake in nekonsistence v originalnih besedilih
--- tak"sne napake lahko bodisi popravimo, ali pa jih ozna"cnimo kot
napake.

Dodatno, jezikovno ozna"cevanje se sicer tudi lahko "ze dogaja v SGML,
vendar je povdarek tu "ze na jezikovnem znanju teh orodij, zato so
obravnavana v naslednjem razdelku.


\subsection{Jezikovno ozna"cevanje}

"Ze za avtomatsko ozna"cevanje osnovnih jezikovnih informacij, npr.\ 
datumov ali pa stavkov, je potrebno nekaj znanja o jeziku; standardna
oblika zapisa datumov se razlikuje od jezika do jezika, lahko pa je
datum, ki ga ho"cemo kot takega ozna"citi, napisan tudi z besedami,
ali pa samo delno. Za tak"sna ozna"cevanja se tipi"cno uporablja
ad-hoc programje, "ceprav so po"casi "ze na voljo orodja, ki ta proces
vsaj do dolo"cene mere parametrizirajo glede na jezik korpusa.

Kaj to"cno ho"cemo v besedilu ozna"citi je seveda odvisno od
namembnosti korpusa. Tu bomo omenili dva programa, ki sta "se posebej
zanimiva za jezikoslovne in slovaropisne obravnave. Prvi oblikoslovno
ozna"ci besede v besedilu, drugi pa stav"cno poravna vzporedni korpus,
oba pa spadata v razred programov, ki izkori"s"cajo statisti"cne
lastnosti jezika. Kot je bilo "ze omenjeno, so tak"sni programi v
zadnjem "casu predmet velikega zanimanja \cite{Charniak94}, saj so
robustni in se lahko u"cijo iz ro"cno ozna"cenimi besedili.

Za oblikoslovno ozna"cevanje besed v korpusu je potrebno
najprej imeti slovar ali pa program, ki za besedne oblike dolo"ci
njihove mo"zne oblikoslovne ozna"cbe. Vendar pa ima neka besedna
oblika ponavadi ve"c mo"znih interpretacij: tako je npr.\ 
\textsl{bera"ci} lahko glagol v velelniku ali povedniku, ali
samostalnik v imenovalniku ali orodniku. V konkretnem besedilu pa bo
besedna oblika imela seveda samo eno pravilno ozna"cbo.  Naloga
programov za oblikoslovno ozna"cevanje je, izmed mo"znih oblikoslovnih
ozna"cb neke besede dolo"citi, glede na sobesedilo, njeno pravo
ozna"cbo.

Izdelanih je bilo "ze ve"c ozna"cevalnikov, ki se lahko nau"cijo
zakonitosti nekega jezika iz ro"cno ozna"cenih korpusov. Najbolj
odmeven je bil verjetno t.i.\ ozna"cevalnik Xerox \cite{XeroxTag92},
ki z uporabo t.i.\ skritih markovskih verig dolo"ci najbolj verjetno
zaporedje oblikoslovnih ozna"cb besed v nekem stavku. Program ne
izvaja skladenjske analize, pa"c pa izkori"s"ca lokalni kontekst
besede za dolo"citev njene oznake. Za angle"ski jezik dose"ze ta
in njemu podobni ozna"cevalci pribli"zno 95\% natan"cnost. Za
slovanske jezike je, kot ka"zejo preliminarni rezultati za "ce"ski
jezik \cite{Hla:TihTag}, ta natan"cnost verjetno manj"sa, in sicer
pribli"zno 82\%.

Povsem drug na"cin ozna"cevanja pride v po"stev pri vzporednih
korpusih. Tu je koristno dolo"citi kateri del originalnega besedila
ustreza kateremu delu prevoda. Tak"sna paralelizacija je lahko bolj
ali manj natan"ca: dolo"cimo lahko npr.\ samo povezave po poglavjih
ali pa vse do povezav konkretnih besed v besedilu z njihovimi prevodi.
Tudi tu je mogo"ce s statisti"cnimi metodami dose"ci zadovoljive
rezultate. Eden bolj zanimivih tak"snih programov je opisan v
\cite{GaleChurch93}.  Njegova odlika je predvsem enostavnost, saj samo
iz "stevila znakov sklepa na najbolj verjetno povezavo med stavki
originala in stavki prevoda. Tako z enostavnim orodjem dose"zemo "ze
precej koristen nivo paralelizacije.

Vsem programom za jezikovno ozna"cevanje je skupno, da je njihova
to"cnost manj kot popolna. Za kvaliteten korpus je zato koristno, da
so dobljene oznake "se ro"cno pregledane. Vendar pa to za velike
korpuse postaja skorajda nemogo"ce, po drugi strani pa tudi ljudje ne
ozna"cujejo popolnoma to"cno. Poleg enostavnih napak je problem tudi v
tem, da vsako ozna"cevanje predstavlja interpretacijo besedila, ta pa
se lahko od "cloveka do "cloveka razlikuje. 

%Korpusi tudi niso umetne jezikovne tvorbe, zato v njih najdemo tudi
%primere, ki se jih ne da uvrstiti v nobenega od razredov, ki bili
%predvideni za na"se ozna"cevanje.


\subsection{Pregledovalniki}

Nad ozna"cenim korpusom lahko uporabimo raznovrstne programe, od
katerih so najbolj zanimivi pregledovalniki. Ti morajo biti sposobni
poiskati "zeljene dele korpusa in informacijo ustrezno predstaviti.
Najbolj znana oblika predstavitve informacij iz korpusa so
konkordance, predvsem v t.i.\ obliki KWIC ('key-word in context'). Tu
so pojavitve izbrane besede ali sobesedja v korpusu poravnano izpisane
skupaj s svojim sobesedilom.

\begin{figure}[ht]
%  \begin{center}
%    \leavevmode
\begin{footnotesize}
\begin{verbatim}
"znej"sa pobo"cja , kjer je speljana <mulatjera> . Po njih brez te"zav rahlo p
ja so skorajda brez snega , le po <mulatjeri> mora"s ve"cino "casa gaziti do 
od Kanceljni proti lovski ko"ci ob <mulatjeri> na Kri"ske pode . Po treh ura
iguje proti Vratom . Na Vrata nas <mulatjera> pripelje v dveh urah . V vro
l na ju"zno stran in jo uberemo po <mulatjeri> strmo vsekani navzgor v vr"sn
e . To je bila o"citno oskrbovalna <mulatjera> in je zato speljana ves "cas 
 zelo blizu vr"sne piramide Krna . <Mulatjera> se tu neopazno zgubi . Na se
ne Zaprikraj . Pot je speljana po <mulatjerah> iz prve svetovne vojne mimo
a lovska stezica okoli Pihavca do <mulatjere> , ki pelje iz Trente na Kri"s
 ( Robon ) in povratkom po dalj"si <mulatjeri> "cez pode na Nevejsko sedlo .
izrazite doline pod Hudim vrhom . <Mulatjera> na Lipnik je namre"c speljana
m je orientacijskih te"zav konec . <Mulatjera> nas v lepih klju"cih pripelje
asel nekaj , kar je spominjalo na <mulatjero> . Bilo je se vec kot meter s
Tista petstoenka je prav u"ziva"ska <mulatjera> . Prvo uro te vodi po vr"snem
edvsem biti vsaj malo mazohista . <Mulatjera> pa je izredno prijetna in pr
isi po stari voja"ski cesti ( bolj <mulatjeri> ) skozi tunel , ali pa prav 
 je "se dovolj snega , zato sva po <mulatjeri> smu"cala . Nekje na tretjini 
 "Cez 15 min se na levem ovinku te <mulatjere> napoti"s kar naravnost "cez go
\end{verbatim}
\end{footnotesize}
    \caption{Primer KWIC izpisa konkordanc}
    \label{fig:mulatjera}
%  \end{center}
\end{figure}

Kot primer konkordanc je v sliki \ref{fig:mulatjera} podano nekaj
pojavitev besede \textsl{mulatjera}; korpus iz katerega je bila ta
konkordanca narejena je ra"cunalni"ska konferenca GORE iz omre"zja
SLON. Kot zanimivost "se povejmo, da te besede ne najdemo niti v
Verbin"cevem Slovarju tujk, niti v Slovarju slovenskega knji"znega
jezika.

Bolj kot iskanje posameznih besed je zanimivo iskanje sobesedij. Te
t.i.\ \emph{kolokacije} namre"c lahko razkrijejo vezave besed, tako s
skladenjskega kot z pomenskega stali"s"ca. Na"cin pregledovanja je
podoben kot pri KWIC, obstajajo pa tudi programi, ki avtomatsko
izberejo sobesedaj, ki so statisti"cno in zato verjetno tudi
jezikovno signifikantne. Mo"znost iskanja kolokacij je toliko bolj
zanimiva za ozna"cene korpuse, saj tu lahko i"s"cemo ne samo
sopojavitve besed, temve"c tudi bolj abstraknih kategorij.

Kon"cno je tu "se paralelno prikazovanje vzporednih korpusov.  Prikaz
je tipi"cno v dveh poravnanih (KWIC-) oknih, iskalni jezik orodij, ki
tak"sne korpuse podpirajo, pa raz"sirjen tako, da se lahko kriteriji
za iskanje nana"sajo na ve"c vzporednih besedil.  Natan"cneje ko so
korpusi povezani, bolj podrobno je lahko tak"sno iskanje.  Zanimivo
je, da so vzporedni korpusi primerni tudi za eno-jezikovne raziskave.
Tako npr.\ iskanje vseh pojavitev neke besede, katere prevod se ne
pojavi v prevodu stavka, v katerem se beseda nahaja, hitro poka"ze na
idiomatske uprabe te besede.

Programe za prikazovanje korpusov je mo"zno kupiti, nekateri so pa
tudi prosto dostopni. Vendar je zagotovitev ustreznega pregledovalnika
"se vedno problemati"cna, saj vsi ne te"cejo na vseh ra"cunalni"skih
platformah, imajo nepopolno funkcionalnost, ali pa ne delujejo
pravilno za slovenski jezik. Glede na veliko raz"sirjenost TEI za
zapis korpusov, se v zadnjem "caso posebno pozornost posve"ca
pregledovalnikom, ki delujejo nad ozna"cenimi SGML korpusi. Tak"sni
pregledovalniki imajo prednost, da lahko izkoristijo vse oznake (npr.\ 
bibliografske) in da so v precej ve"cji meri jezikovno neodvisni.



\section{MULTEXT-East}

V Skupini za govor in jezik Odseka za inteligentne sisteme na IJS
sodelujemo v evropskem projektu \mte (Multilingual Text Tools and
Corpora for Central and Eastern European Languages,
\cite{Erj:TihMTE}).  Projekt je podalj"sek evropskega projekta
\textsc{multext}, v katarem so sodelovale in"stitucije iz "sestih
dr"zav "clanic Evropske unije.  \mte\ je dvoletni projekt, ki se je
za"cel maja 1996, v njem pa sodeluje poleg koordinatorja iz
Aix-en-Provance in pridru"zenega partnerja iz Pise "se "sest skupin iz
dr"zav srednje in vzhodne Evrope, in sicer Bolgarije, "Ce"ske,
Estonije, Mad"zarske, Romunije in Slovenije.


\subsection{Korpus}

Eden od ciljev \mte\ je proizvesti standardiziran ve"cjezikovni
korpus, ki vsebuje pribli"zno dva milijona besed, sestavljen pa je iz
naslednjih delov:
\begin{enumerate}
\item \emph{vzporedni korpus}, ki vsebuje roman 1984 G. Orwella v
  originalu in prevode v "sestih jezikih projekta (pribli"zno 7
  $\times$ 100.000 besed);

\item \emph{primerljiv korpus}, sestavljen iz dveh nadaljnjih delov:
  prvi vsebuje "sest leposlovnih del avtorjev iz dr"zav "clanic
  projekta, drugi pa "sest zbirk "casopisnih "clankov v jezikih teh
  dr"zav (pribli"zno 2 $\times$ 6 $\times$ 100.000 besed);
  slovenski del primerljivega korpusa je sestavljen iz romana
  Galjot D. Jan"carja in 45-ih "clankov iz "casopisa Dnevnik;

\item \emph{govorjeni korpus}, sestavljen iz 40-ih kraj"sih
  odlomkov iz evropskega projekta \textsc{eurom}, prevedenih v "sest
  jezikov projekta (pribli"zno 7 $\times$ 2.500 besed), prebranih in
  digitaliziranih, pri "cemer bo ta govorjeni korpus poravnan s svojim
  ortografskim zapisom.
\end{enumerate}

Celoten korpus je ozna"cen po priporo"cilu CES; poleg bibliografskih
oznake vsebujejo strukturne informacije (odstavki, "clanki,
naslovi, premi govor, itd.) ter dolo"cene ``posebne besede'', npr.
lastna imena in okraj"save. Kot primer, kako tak"sne ozna"cbe
izgledajo, sta v sliki \ref{fig:mte1984} podana dva fragmenta iz 
slovenskega in "ce"skega prevoda 1984.

\begin{figure}[htbp]
%  \begin{center}
    \leavevmode
    \begin{tabular}{cc}
%      \begin{minipage}[c]{35ex}
%        \begin{footnotesize}
%\begin{verbatim}
%  <hyphenation>
%    All end-of-line hyphenation removed.
%  </hyphenation>
%  <segmentation>
%    Marked up to the level of paragraph: P, QUOTE, LIST, POEM 
%    plus marking of particular sub-paragraph elements: NAME, Q
%    Page breaks left in the document as comments
%  </segmentation>
%</editorialdecl>
%<tagsdecl>
%  <tagusage gi=abbr occurs=2></tagusage>
%  <tagusage gi=body occurs=1></tagusage>
%  <tagusage gi=div occurs=28></tagusage>
%  <tagusage gi=head occurs=29></tagusage>
%\end{verbatim}
%\end{footnotesize}
%      \end{minipage} &
%      \begin{minipage}[c]{35ex}
%        \begin{footnotesize}
%\begin{verbatim}
%  <hyphenation>
%    The text contains no hyphens
%  </hyphenation>
%  <segmentation>
%    Two levels of DIV are  used: the first denotes the
%    parts, the second denotes the chapters within parts
%    Marked up  to the level of  paragraph plus marking
%    of particular sub&mdash;paragraph elements: NAME,
%    NUM,DATE,HI,Q,ABBR etc.
%  </segmentation>
%</editorialdecl>
%<tagsdecl>
%  <tagusage gi=abbr occurs=5></tagusage>
%  <tagusage gi=body occurs=1></tagusage>
%  <tagusage gi=date occurs=39></tagusage>
%  <tagusage gi=div occurs=27></tagusage>
%\end{verbatim}
%    \end{footnotesize}
%      \end{minipage}    \\ \hline

      \begin{minipage}[c]{35ex}
        \begin{footnotesize}
            svojem sede\v{z}u,
            njegove mogo\v{c}ne prsi so se napenjale in trzale, kakor
            bi se upirale naskoku valov.  Temnolaso dekle za
            \verb+<name  type=person>+Winstonom\verb+</name>+ je za\v{c}elo
            kri\v{c}ati\\ 
            \verb+<q>+\\
            Svinja!  Svinja!  Svinja!\\
            \verb+</q>+\\
            in nenadoma je pograbila te\v{z}ak slovar 
            \verb+<foreign lang=ns>+Novoreka\verb+</foreign>+
        \end{footnotesize}
      \end{minipage}    &
      \begin{minipage}[c]{35ex}
        \begin{footnotesize}
%          tv\'{a}\v{r} se rozp\'{a}lila. Sed\v{e}l na \v{z}idli, jako
          by spolkl prav\'{\i}tko a jeho mohutn\'{a} hru\v{d} se
          nadouvala a zachv\'{\i}vala, jako by \v{c}elil n\'{a}poru
          vln.  Tmavovlas\'{a}
          d\'{\i}vka za \verb+<name type=person>+Winstonem\verb+</name>+ za\v{c}ala
          vyk\v{r}ikovat\\
          \verb+<q rend='PRE lsquo POST rsquo'>+\\
          Svin\v{e}!\\
          \verb+</q>+\\
          a zni\v{c}ehonic popadla t\v{e}\v{z}k\'{y}
          slovn\'{\i}k \verb+<foreign lang=ns>+newspeaku\verb+</foreign>+ 
%          a mr\v{s}tila j\'{\i}m
%          do obrazovky. Zas\'{a}hl 
%          \verb+<name type=person>+Goldsteina\verb+</name>+ do nosu a odrazil se;
%          hlas ne\'{u}stupn\v{e} mluvil d\'{a}l.
        \end{footnotesize}
      \end{minipage}
\end{tabular}

    \caption{Slovenska in "ce"ska fragmenta iz ``1984''}
    \label{fig:mte1984}
%  \end{center}
\end{figure}


Del korpusa bo tudi dodatno ozna"cen: vsi prevodi 1984 bodo
stav"cno poravnani z originalom, medtem ko bo del korpusa ozna"cen "se
z oblikoslovnimi oznakami.


\subsection{Oblikoslovje: definicija, slovar, ozna"cevanje}

Oblikoslovno ozna"cevanje je najzahtevnej"si del nadgradnje osnovnega
(CES-3) korpusa. Da lahko (pol)avtomatsko ozna"cimo besedne oblike v
korpusu z njihovimi oblikoslovnimi oznakami, so potrebni naslednji
koraki: definirati je potrebno oblikoslovne kategorije, nato izdelati
slovar, ki za vsako besedno obliko dolo"ci njene mo"zne oznake
sestavljene iz oblikoslovnih kategorij, in z njegovo pomo"cjo
polavtomatsko ozna"citi besedila.

\begin{figure}[ht]
%  \begin{center}
%    \leavevmode
\begin{footnotesize}
\begin{verbatim}
Verb (V)

14 Positions

**** **** **** **** **** **** **** ---- ---- ---- ---- ---- ---- ----
PoS  Type VFrm Tens Pers Numb Gend Voic Neg  Def  Cltc Case Anim Clt2
**** **** **** **** **** **** **** ---- ---- ---- ---- ---- ---- ----

= ============== ============== =  RO  SL  CS  BG  ET  HU
P ATT            VAL            C  x   x   x   x   x   x
= ============== ============== =
1 Type           main           m  x   x   x   x   x   x
                 auxiliary      a  x   x   x   x   x   x
                 modal          o  x   x   x       x
                 copula         c  x   x   x    
- -------------- -------------- -
2 VForm          indicative     i  x   x   x   x   x   x
                 subjunctive    s  x
                 imperative     m  x   x   x   x   x   x
                 conditional    c      x   x       x   x
                 infinitive     n  x   x   x       x   x
                 participle     p  x   x   x   x   x
                 gerund         g  x           x   x
                 supine         u      x           x
           l.s.  transgressive  t          x    
           l.s.  quotative      q                  x
- -------------- -------------- -
...
\end{verbatim}
\end{footnotesize}
    \caption{Za"cetek \mte\ tabele za glagol}
    \label{fig:mteMSD}
%  \end{center}
\end{figure}

Ker je projekt ve"cjezikovni, je potrebno oblikoslovne oznake
definirati v skupnem formatu za "sest jezikov.  Kot primer iz \mte\ 
'slovnice' je v sliki \ref{fig:mteMSD} podan za"cetek tabele za
glagole: ta dolo"ca, da glagolsko besedo opisuje 14 lastnosti.
Najprej je podana besedna vrsta (tj.\ glagol, \texttt{V}), v
tabeli pa vidimo definicijo prvih dveh lastnosti glagola; za vsako
lastnost je podano ime ter nabor njenih vrednosti.  Imenu vrednosti
sledi eno"crkovna koda le-te ter dolo"citev, katere jezike opisuje.
Tako npr.\ sloven"s"cina lo"ci glagolske oblike povednika, velelnika,
pogojnika, nedolo"cnika, dele"znika ter namenilnika.

"Ze iz zgornjega bo jasno, da dolo"citve \mte\ za oblikoslovje mestoma
odstopajo od tradicionalnih kategorij v slovenskih slovnicah; tako so
npr.\ glagolska dele"zja in glagolniki razvr"s"ceni med prislove in
samostalnike. Tak"sna odstopanja so v veliki meri posledica
usklajevanja zapisov "sestih med seboj zelo razli"cnih jezikov,
posredno pa dvanajstih, saj so tabele usklajene tudi z
jeziki \textsc{multext}.

Predstavljeni format ima to prednost, da je neko oblikoslovno oznako
mogo"ce zapisati v kompaktnem, obenem pa "se vedno berljivem
zapisu: tako npr.\ niz \texttt{Vmip3s} dolo"ca vrednosti
\texttt{Verb main indicative present third singular} oz.\ povednik
glavnega glagola v tretji osebi ednine.

Naslednji korak je izdelava slovarjev, ki v \mte\ vsebujejo
15.000 gesel za vsakega od "sestih jezikov projekta. Ti slovarji poleg
samih korpusov predstavljajo tudi pomemben vir jezikovnih podatkov.

\begin{figure}[ht]
  \begin{center}
%    \leavevmode
\begin{footnotesize}
\begin{verbatim}
                        bera"ci   bera"c        Ncmpi
                        bera"ci   bera"c        Ncmpn
                        bera"ci   bera"citi     Vmip3s--n
                        bera"ci   bera"citi     Vmmp2s
\end{verbatim}
\end{footnotesize}
    \caption{Fragment \mte\ slovarja}
    \label{fig:mteWLF}
  \end{center}
\end{figure}

Slovarji imajo preprosto, pa vendar precej informativno strukturo:
vsak vnos je sestavljen iz besedne oblike, njenega gesla ter njenih
oblikoslovnih zna"cilnosti. Primer vnosov za besedno obliko
\textit{bera"ci} je podan v sliki \ref{fig:mteWLF}.

S slovarjem je nato mogo"ce za"ceti ozna"cevanje besed v korpusu.
Glavni problem tak"snega ozna"cevanja je seveda dvoumnost besednih
oblik --- tako ima \textit{bera"ci} "stiri mo"zne interpretacije, od
katerih bo na dolo"cenen mestu v besedilu samo ena pravilna.

Kot je bilo "ze re"ceno, je za avtomatsko dolo"canje pravilne oznake
mogo"ce uporabiti statisti"cne ozna"cevalnike, vendar pa ti
potrebujejo ro"cno ozna"cen korpus za u"cenje. Ker tak korpus za
slovenski jezik (pa tudi za ostale jezike projekta, razen "ce"skega)
ne obstaja, bo v okviru projekta potrebno ro"cno ozna"citi del
korpusa, nato pa v zaporedju ve"c korakov iz"solati ozna"cevalec,
ro"cno popraviti rezultate in postopek nato ponoviti na raz"sirjeni
u"cni mno"zici. Ker ozna"cevalci potrebujejo velike u"cne mno"zice,
ro"cno pregledovanje pa je izredno zamudno delo, bodo rezultati
projekta tu samo pripravljalni. Verjetno bo ro"cno pregledan samo del
korpusa, ker pa je potrebna velikost u"cne mno"zice odvisna tudi od
"stevila mo"znih oznak, bo "stevilo oblikoslovnih oznak v besedilu
zgo"s"ceno glede "stevilo slovarskih oznak.


\subsection{Dostop do rezultatov projekta}

Kot je bilo "ze re"ceno, projekt "se te"ce, vendar je precej"snje
"stevilo vmesnih rezultatov "ze dostopno. Ker uporaba zgrajenih virov
poka"ze na napake in pomankljivosti teh virov, bodo rezultati
dostopni v dokon"cni obliki "sele ob koncu projekta, vmesni rezultati
pa obsegajo zbran, dokumentiran in bibliografsko ter strukturno
ozna"cen korpus, definirane oblikoslovne tabele in prvo verzijo
slovarja. V nadaljevanju projekta je potrebno izdelati "se kon"cne
verzije teh virov, stav"cno paralelizirati vzporedni korpus ter korpus
oblikoslovno ozna"citi.

S tem bo izdelanih nekaj osnovnih ra"cunalni"skih virov za slovenski
jezik, ki bodo usklajeni z mednarodnimi standardi in priporo"cili ter
s petimi drugimi jeziki projekta. Kljub temu da so ti viri premajhni
za marsikatero aplikacijo, so vendarle pomembni, saj bodo prvi
tovrstni "siroko dostopni viri slovenskega jezika --- rezultati
projekta bodo namre"c v neprofitne namene dostopni zastonj. Vsaj za
na"so skupino na IJS pa so verjetno bolj kot izdelava samih virov
pomembne izku"snje, ki smo jih pridobili na projektu, saj
predstavljajo osnovo, na kateri bi bilo mogo"ce zgraditi referen"cni
korpus slovenskega jezika.

Za popularizacijo (rezultatov) projekta smo na IJS postavili WWW stran
z naslovom \url{http://nl.ijs.si/ME}, ki vsebuje vse osnovne
informacije o projektu, primere iz korpusa ter slovarjev, pa tudi
vmesne rezultate projekta.


\section{Zaklju"cek}

"Clanek je predstavil nekatere vidike ra"cunalni"skih zbirk besedil.
Uporabnost tak"snih korpusov je nedvomna, vendar pa je njihova
izdelava, raz"sirjanje in uporaba razmeroma zahtevna. V "clanku sem se
osredoto"cil na bolj tehni"cne vidika zapisa, izdelave in uporabnosti
korpusov, izpustil pa sem obravnavo ravno tako pomembnih pravnih in
"clove"skih vidikov --- teh se na kratko dotaknemo tu.

Pravno vpra"sanje je izredno pomembno, posebno pri izdelavi, saj so
besedila v korpusu "se vedno last avtorjev, zalo"zb ali prevajalcev.
Ti se ponavadi bolj ali manj upravi"ceno bojijo zaupati svoja besedila
na ra"cunalni"skemu mediju urednikom korpusa in nato tretjim osebam,
saj je, vsaj v teoriji, ta besedila nato mo"zno razmeroma enostavno
ponatisniti ali kako druga"ce neavtorizirano uporabiti. Izku"snje
evropskih projektov ka"zejo, da uredniki korpusov porabijo ponavadi
skorajda ve"c "casa za pridobitev privoljenj lastnikov besedil kot pa
nato za izdelavo samega korpusa. Pravni status dodatno komplicira
dejstvo, da korpus sestavljajo tudi oznake v njem, le-te pa so last
urednikov korpusa.

"Ce so uredniki korpusa tudi njegovi edini uporabniki, je
neavtorizirana uporaba "se relativno enostavno obvladljiva. Vendar pa
utegne korpus biti zanimiv tudi tretjim osebam. Ob predpostavki, da
lastniki besedil, pa tudi uredniki korpusov, zaupajo pravnemu sistemu
svoje dr"zave, je mo"zno neza"zeljeno izkori"s"canje korpusov urediti
z ustreznimi izjavami, s katerimi se morajo zavezati tako uredniki
korpusov kot tudi nadaljni uporabniki. Formuliranje tak"snih izjav na
sre"co postaja vedno la"zje, saj je na voljo "ze dosti primerov iz
evropskih projektov.

Seveda pa je izdelava korpusov, posebno "siroko dostopnih, smiselna
samo, "ce se ti korpusi nato tudi uporabljajo. Tu stopi v ospredje
"clove"ski faktor, saj dosti institucij, ki bi tak"sne korpuse lahko s
pridom uporabljajo nima razvite ra"cunalni"ske ekspertize. Verjetno je
najla"zji na"cin, kako tak"sni jezikovni viri lahko za"zivijo,
uvajanje njihove uporabe v primerne visoko"solske "studije ter s
popularizacijo celotnega podro"cja jezikovnih tehnologij.

Kot je bilo "ze re"ceno, javno dostopnih in standardiziranih korpusov
za slovenski jezik "se ni.  Izdelava korpusov in ostalih jezikovnih
virov je predraga, da bi bilo smiselno "ze v prvi fazi prepustiti
njihov nastanek ekonomskim faktorjem, "se posebej za jezike s tako
majhnim "stevilom govorcev kot jih ima slovenski jezik.  Z vladnim
financiranjem in sodelovanjem zalo"zb, ra"cunalni"skih hi"s in
akademskih institucij bi bilo nujno najprej omogo"citi izdelavo
"siroko dostopnih virov, saj "sele ti lahko dajo eno od prepotrebnih
osnov za nadalnji razvoj raziskovanja in uporabe na"se materin"s"cine.

%%Bibliography
%\newpage
%\bibliography{et_main}
%\bibliographystyle{alpha}

\begin{thebibliography}{CKPS92}

\bibitem[Bat95]{Bata1995}
Vladimir Batagelj.
\newblock Uvod v {SGML}.
\newblock URL: \url{http://vlado.mat.uni-lj.si/vlado/sgml/sgmluvod.htm}, 1995.

\bibitem[Cha94]{Charniak94}
Eugene Charniak.
\newblock {\em Statistical Language Learning}.
\newblock Language and Computers 12. The MIT Press, 1994.

\bibitem[CKPS92]{XeroxTag92}
D.~Cutting, J.~Kupiec, J.~Pedersen, and P.~Sibun.
\newblock A practical part-of-speech tagger.
\newblock In {\em Proceedings of the Third Conference on Applied Natural
  Language Processing}, pages 133--140, Trento, Italy, 1992.

\bibitem[EIPV96]{Erj:TihMTE}
Toma\v{z} Erjavec, Nancy Ide, Vladim\'{\i}r Petkevi\v{c}, and Jean V\'{e}ronis.
\newblock Multext-east: Multilingual text tools and corpora for central and
  eastern european languages.
\newblock In {\em Proceedings of the First TELRI European Seminar: Language
  Resources for Language Technology}, pages 87--98, 1996.
\newblock 15--16 September 1995, Tihany, Hungary.

\bibitem[Erj96]{Erj:TihTool}
Toma\v{z} Erjavec.
\newblock Public domain generic tools: an overview.
\newblock In {\em Proceedings of the First European TELRI Seminar: Language
  Resources for Language Technology}, pages 37--48, 1996.
\newblock 15--16 September 1995, Tihany, Hungary.

\bibitem[GC93]{GaleChurch93}
William Gale and Ken~W. Church.
\newblock A program for aligning sentences in bilingual corpora.
\newblock {\em Computational Linguistics}, 19(1):75--102, 1993.

\bibitem[GLS87]{Garside/Leech/Sampson:87}
R.~Garside, G.L. Leech, and G.~Sampson, editors.
\newblock {\em The Computational Analysis of {E}nglish}.
\newblock Longman, London and New York, 1987.

\bibitem[Gol90]{Gold:SGML}
Charles~F. Goldfarb.
\newblock {\em The SGML Handbook}.
\newblock Clarendon Press, Oxford, 1990.

\bibitem[HH96]{Hla:TihTag}
Barbora Hladka and Jan Haji\v{c}.
\newblock Tagging a highly inflected language.
\newblock In {\em Proceedings of the First TELRI European Seminar: Language
  Resources for Language Technology}, pages 191--196, 1996.
\newblock 15--16 September 1995, Tihany, Hungary.

\bibitem[Hla]{Hla:Zbir}
Miran Hladnik.
\newblock Zbirka slovenskih leposlovnih besedil.
\newblock URL: \url{http://www.ijs.si/lit/leposl.html}.

\bibitem[IPDV96]{CES}
Nancy Ide, Greg Priest-Dorman, and Jean V\'{e}ronis.
\newblock Corpus encoding standard v1.3.
\newblock Technical report, Eagles, Multext \& Multext-East,
  \url{http://www.cs.vassar.edu/CES/CES1.html}, 1996.

\bibitem[IV95]{TEIchum95}
Nancy Ide and Jean Veronis, editors.
\newblock {\em The Text Encoding Initiative: Background and Context}.
\newblock Kluwer Academic Publishers, Dordrecht, 1995.

\bibitem[KF67]{Brown}
Henry Ku\v{c}era and William~Nelson Francis.
\newblock {\em Computational Analysis of Present Day American English}.
\newblock Brown University Press, Providence, Rhode Island, 1967.

\bibitem[Sin87]{LookUp}
John Sinclair, editor.
\newblock {\em Looking Up: An account of the COBUILD Project in lexical
  computing}.
\newblock Collins, 1987.

\bibitem[Sin94]{EagCorTyp}
John Sinclair.
\newblock Corpus typology.
\newblock EAGLES DOCUMENT EAG--CSG/IR--T1.1, Commission of the European
  Communities, 1994.

\bibitem[SMB94]{TEI94}
C.~M. Sperberg-McQueen and Lou Burnard, editors.
\newblock {\em Guidelines for Electronic Text Encoding and Interchange}.
\newblock Chicago and Oxford, 1994.

\bibitem[Top75]{Top:besedila}
Jo\v{z}e Topori\v{s}i\v{c}, editor.
\newblock {\em Besedila slovenskega jezika}.
\newblock Ljubljana : Filozofska fakulteta, 1975.

\end{thebibliography}

\end{sloppy}
\end{document}
