Coggle requires JavaScript to display documents.
TOKEN (Wyrażenia regularne w celu uzyskania istotnych tokenów (daty…
TOKEN (Wyrażenia regularne w celu uzyskania istotnych tokenów, ciag znaków(najcześciej wyraz) tworzony wyodrębniony z lini/zdania
zawierające pewien sens, znaczenie, PROBLEMY tokenizacji
kiedy i jak rozdzielić token ze znakami specjanlymi, obsługa błędów - zdarza się, że ludzie piszą z błedami ortograficznymi, interpunkcyjnymi - trzeba sobie z tym radzić, SEGMENTACJA - wyłuskanie sensownego tekstu z akapitu, tokenizacja jest zależna od języka i wbrew pozorom nie jest taka prosta)