Wikipedia:Automatyczne sprawdzanie pisowni
Przydałoby się automatyczne sprawdzanie pisowni działające na zasadzie kilku heurystyk typu: jeśli jakieś słowo jest mało prawdopodobne, a przyjęcie teorii że powstało w wyniku literówki czyni je bardziej prawdopodobnym, zaznacz je jako "błąd". Literówki bardzo prawdopodobne to:
- zbyt późne puszczenie prawego altu, czyli ogonkizacja litery występującej po literze zogonkizowanej np. "prześłij" zamiast "prześlij"
- zamiana kolejności dwóch liter
- inne konwersje litera->litera, przy czym niektóre konwersje są o wiele bardziej prawdopodobne od innych, zależnie od statusu ogonkowego i położenia na typowej klawiaturze.
Zostały zrobione obliczenia częstości występowania wyrazów. Wyrazy na Wikipedii to oczywiście rzecz względna, więc wszystko co przeżyło poniższe:
#!/usr/bin/perl -p s/<.*?>/ /g; s/[^a-zA-Z\\200-\\377]+/ /g; s/\s+/ /g; s/^ //; s/ $//; s/ /\n/g; y/A-Z/a-z/; $_ .= "\n" unless $_ eq "";
jest "wyrazem".
Ciekawostki:
- Najpopularniejszy wyraz nie-łaciński to: き (12 wystąpień)
- Odnotowano 140 101 różnych wyrazów
- 52.8% wyrazów wystąpiło tylko raz, i stanowiły one 5.9% wystąpień wyrazów
- 1183 wyrazy (0.84%) stanowiły 50% wszystkich wystąpień wyrazów
A teraz statystyki, od góry to:
40878 w 24328 i 16366 na 15301 z 13933 się 11492 do 9632 jest 8149 to 7675 nie 6463 a 6228 powiat 5868 lata 5547 województwo 5308 województwie 5264 miejscowość 5261 o 4743 te 4670 wieku 4599 przez 4575 od 3546 po 3384 lub 3376 język 3220 są 3152 że 2988 roku 2728 oraz 2647 wiek 2577 jak 2529 za 2455 też 2284 dla 2197 zobacz 2125 rok 2016 http 1978 jako 1969 tym 1965 nbsp 1917 jego 1886 może 1837 także 1828 co 1811 np 1690 pod 1657 historia 1629 m 1611 które 1610 ze 1604 www 1602 ma 1589 xviii 1556 wikipedia 1525 en 1514 być 1496 tego 1488 x 1469 xix 1459 tylko 1454 r 1454 ale 1439 jednak 1422 ich 1411 n 1403 xx 1395 można 1375 polsce 1370 czy 1359 dzień 1311 był 1282 ii 1267 p 1251 e 1240 redirect 1239 polski 1224 km 1180 nobla 1176 the 1173 taw 1161 wikipedysta 1157 tak 1116 wydarzenia 1107 który 1078 s 1077 c 1042 jej 1030 pl 1028 czyli 1027 wikipedii 1026 of 1021 innych 1013 zmarli 1012 urodzili 1012 bardzo 992 nagroda 986 xv 984 art 981 ten 978 lat 974 ok 969 latach 951 tys 948 wojna 933 informatyki 925 również 922 strony 918 tej 915 świecie 912 polska 906 usa 904 lipca 901 języki 896 już 894 mln 893 przy 886 jeśli 881 de 866 których 848 u 845 in 825 tych 824 został 823 grafika 818 iii 806 między 806 kpjas 798 nad 795 polskich 787 maja 780 inne 755 nazwa 743 prawo 737 dni 736 b 714 państwa 710 liczba 707 bez 706 wiele 702 we 700 było 700 artykuł 698 go 697 by 696 więc 692 v 691 stan 691 czerwca 686 kwietnia 685 stulecia 684 sierpnia 684 d 680 często 677 która 676 grudnia 672 wiki 661 prawa 654 września 654 on 651 niż 642 wszystkich 640 mają 634 wszystkie 633 pomorskie 629 następny 628 system 625 była 625 angielski 623 kujawsko 621 sposób 620 mazowieckie 617 mogą 615 mazowieckim 614 tzw 614 poprzedni 613 t 612 warmińsko 607 przed 604 strona 598 jeden 596 k 593 będzie 591 xvi 589 część 587 pomorskim 584 stycznia 577 polskiej 575 wielu 575 org 574 wojny 567 f 565 której 564 pierwszy 563 czasie 559 gdzie 554 gdy 552 png 551 com 550 nawet 550 iv 546 października 536 były 535 marca 530 wielkopolskie 529 ziemiach 524 kalendarz 523 części 521 obecnie 521 nich 518 grupy 516 takie 516 końca 513 pierwiastek 513 lutego 510 języka 510 and 506 xvii 506 federacji 505 ta 505 one 504 należy 501 je 498 danych 497 wielkopolskim 497 jeszcze 492 youandme 489 listopada 485 vii 485 przypadku 482 albo 479 którym 478 małopolskie 477 tu 476 dniu 474 dziesięciolecia 473 lubelskie 471 miasto 467 vi 467 liczby 462 rosyjskiej 462 jan 460 lubelskim 459 małopolskim 457 kalendarium 456 rady 455 układ 451 jpg 451 h 450 francuski 449 xi 448 każdy 445 głównie 443 xii 442 ix 438 dwa 437 podkarpackie 434 zwykle 431 języków 430 bardziej 427 później 426 osób 425 podkarpackim 424 wyspy 424 więcej 424 systemu 424 pracy 422 polskie 421 około 419 najbardziej 417 polskiego 416 została 414 ziemi 414 ludzi 414 aby 413 viii 412 bo 411 sierpień 411 dolnośląskie 407 życia 407 rzeczypospolitej 407 którego 407 czerwiec 406 gru 405 marzec 404 praw 404 języku 404 dniem 403 różnych 403 lipiec 403 grudzień 402 xiv 400 maj 399 Święta 399 stron 399 gregoriański 398 styczeń 397 luty 395 sobie 394 mieszkańców 392 październik 392 nazwy 392 dolnośląskim 389 zostaje 388 wrzesień 387 państwo 387 listopad 387 kwiecień 387 kalendarzu 385 dwóch 385 bitwa 382 świata 380 grupa 380 amerykański 379 stanu 378 pozostało 378 kilka 378 ani 375 cesarz 374 usunięto 374 przestępnych 374 postaci 371 Świecie 371 takich 371 gregoriańskim 371 czasu 369 czas 369 chemiczny 368 jednym 366 typu 366 istnieje 362 literatura 361 punkt 360 europie 359 j 358 celu 356 chemia 355 względu 355 wraz 355 itp 354 prezydent 353 tam 353 ministrów 352 stanów 351 miasta 350 niemiecki 350 kraju 349 określa 349 ang 348 śląskie 348 powierzchnia 344 większość 343 skład 343 okresie 342 zasady 341 teorii 340 zjednoczonych 338 wyniku 338 pierwsze 337 ustawy 337 oznacza 336 nowy 335 y 335 nim 333 teoria 333 symbol 333 l 332 temat 324 tekstu 324 odkrycia 321 łódzkie 321 program 321 pierwsza 321 miejsce 320 poprzez 320 ona 319 morze 318 ją 317 jedynie 317 drugiej 316 człowieka 315 występuje 314 terytorium 314 ponad 314 amp 313 łódzkim 313 rzymski 313 mazurskie 311 – 311 powstanie 311 czym 309 ustawa 308 poza 308 pomocą 308 g 307 ludności 307 jednego 307 coś 306 stany 306 mazurskim 305 znaczenie 305 sejm 302 niemcy 300 znaków