Een woordspel heeft meer nodig dan een lijst van legale tekenreeksen. Het moet aangeven wat elk van hen betekent, en betekenis is het moeilijkst op te slaan.
WordChess speelt op een 25×25 bord met een 148,941-woord Engels woordenboek6, met gemiddeld 8,6 letters per item, sommige lopend tot 25. Dat is het makkelijke deel. Een lijst van legale woorden is slechts een set van tekenreeksen die het spel zal accepteren. Het interessante deel is een speler vertellen wat de tekenreeks op het bord betekent, en dat doen tegelijkertijd in tweeëntwintig talen.
Lexicografen trekken een scherpe lijn tussen een lemma en de daarvan afgeleide vormen. Het lemma is het hoofdwoord dat je opzoekt, run, house, be. Er omheen draait een paradigma van oppervlaktevormen: runs, ran, running. Elke vorm draagt dezelfde kernbetekenis, maar is gekleed voor een andere grammaticale rol.3 Een woordenboek besteedt zijn proza aan het lemma en laat de schaduwen naar huis wijzen.
Hoeveel schaduwen een woord werpt, hangt af van de taal. Het Engels is analytisch: het leunt op woordvolgorde en kleine hulpwoorden, zodat een werkwoord zelden meer dan een handvol vormen heeft. Fins is agglutinerend, het bouwt betekenis door achtervoegsels aan een stam te plakken. Een enkel Fins zelfstandig naamwoord buigt in zo'n vijftien cases, in enkelvoud en meervoud, voordat bezittelijke uitgangen en clitica erop gestapeld worden; het praktische aantal verschillende vormen loopt in de duizenden.4 Hongaars pakt een hele Engelse zinsgroep, in mijn huis, in één woord, házamban.5
De definities komen van Wiktionary, het vrije woordenboek dat iedereen kan bewerken. Het is enorm en meertalig: het project omvat ruim honderd actieve taaledities en tientallen miljoenen items, geschreven in samenwerking door vrijwilligers in plaats van een betaald redactieteam.1 Voor een spel dat in 22 talen draait, komt geen ander vrij lexicon in de buurt qua dekking.
Maar dekking op papier is niet de dekking die je hardop kunt voorlezen. Wiktionary bewaart geïnflecteerde vormen op een manier die menselijke redacteuren bespaart het tien duizend keer schrijven van dezelfde glos. In plaats van een definitie uit te schrijven, draagt een niet-lemma-item een form-of-sjabloon, een kleine verwijzing die in feite zegt: "dit is een bepaalde grammaticale vorm van dat lemma."2 De vermelding voor smoulders is geen proza; het is een sjabloon dat wordt weergegeven als "third-person singular simple present of smoulder."1
Deze verwijzingen zijn geen afrondingsfout. Op de Engelse Wiktionary zijn van de ongeveer 1,27 miljoen definities er zo'n 478.000, ruim een derde, "form of"-definities in plaats van uitgeschreven betekenissen.1 De data is er. Het is alleen opgevouwen.
De uitdaging die ertoe deed was dus nooit "het woord ontbreekt". Het was dat de betekenis van het woord in een sjabloon zat dat een naïve parser zou weggooien. De definities van WordChess werden gebouwd door de ruwe Wiktionary-dumps te lezen en de inflectiesjablonen uit te vouwen taal voor taal, de parser te leren wat elke verwijzing betekent en het om te schrijven in een gewone glosse.6
Elke taal verbergt zijn vormen achter verschillende mechanismen. Spaans verstopt werkwoordsvormen achter {{forma verbo}}, opgelost als "verbal form of X". Duits gebruikt {{Grundformverweis Dekl/Konj}} voor gedeclinieerde en geconjugeerde vormen. Fins leunt op {{taivutusmuoto}}. Het Russisch slaat vaak helemaal geen vormsjabloon op; het geïnflecteerde woord is een kale doorverwijzing (собаки → собака) die gevolgd moet worden om een „vorm van”-gloss te herstellen.6 Behandel elke conventie, en de dekking schiet omhoog.
| Taal | Vóór | Na | Winst |
|---|---|---|---|
| Duits | 45% | 92% | +47 |
| Nederlands | 58% | 90% | +32 |
| Fins | 54% | 74% | +20 |
| Russisch | 20% | 70% | +50 |
| Grieks | 15% | 57% | +42 |
Gemeten op basis van de ontwerp- en bouwnotities van dit project. De percentages geven het aandeel van woordenboekitems met een bruikbare definitie of een opgelost „vorm van”-gloss weer.
De gegevens ontbraken nooit. Ze waren opgevouwen in een pointer, en een machine het woord geven betekende leren om het weer uit te vouwen.
Het is eerlijk om te zeggen wat het spel nu bevat. Wanneer WordChess aangeeft dat собаки een vorm is van собака, "hond", heeft het niets begrepen. Het heeft één tekenreeks op een andere tekenreeks, een gloss, gemapt door dezelfde verwijzingen te volgen die een menselijke redacteur achterliet. Dit is lemmatisering, het werkpaard van de verwerking van natuurlijke taal: het reduceren van een oppervlaktevorm tot de basisvorm, zodat een machine minder verschillende dingen hoeft bij te houden.7
Dat is een reële en nuttige vorm van weten. Het stelt het spel in staat "wat is dit woord?" te beantwoorden in Athene of Amsterdam zonder een lexicograaf in dienst te hebben. Maar het is weten-als-opzoeken, niet weten-als-betekenis. De gloss is een belofte dat een persoon, die hem leest, het woord zal herkennen. De machine houdt de belofte vast; de lezer levert de betekenis.
Sommige talen botsen tegen een plafond dat geen parser kan opheffen, omdat de data simpelweg niet aanwezig is om uit te vouwen. Hongaarse items bevatten vaak alleen een etymologie en een tabel met vertalingen, zonder enige definitietekst, zodat zelfs een perfecte lezer met lege handen thuiskomt. De moeilijkste gevallen concentreren zich waar de taalkunde het moeilijkst is: agglutinerende talen zoals het Fins en het Hongaars, die enorme paradigma's voortbrengen, en de Cyrillische en Griekse schriften, waar de gemeenschapsdekking al dunner is. Het Grieks klimde van 15% naar 57%; dat het ver bij het Duitse 92% blijft, is een feit over de bron, niet over de code. 6