Qui si discute e lavora su creazione o ampliamento [semi]automatici di lemmi del Wikizionario mediante '''importazione di dizionari ormai tornati nel pubblico dominio'''. 

Wikimedia Italia ha deciso di finanziare il progetto per coprire alcune spese; il responsabile del "progetto Wikizionario", per quanto riguarda WMI, è [[Utente:Nemo bis|Nemo]]. Al momento si sta lavorando sullo '''Zingarelli del 1922 (vedi https://archive.org/details/VocabolarioDellaLinguaItaliana2 )''' e si punta al Vocabolario della Crusca del 1923.

==Dizionari individuati==
*[http://www.archive.org/details/vocabolarioitali00riguuoft Rigutini], 1893: completo, relativamente moderno.
**[[:File:Vocabolario italiano della lingua parlata, 1893.djvu]] 
**[[/Rigutini|Qualche pagina di esempio]], per prove di pulizia ecc.
*[http://www.archive.org/details/vocabolariodella01zinguoft Zingarelli], 1917: disponibili solo i primi 4 fascicoli, più moderno. Apparentemente disponibile [http://sol.unibo.it/SebinaOpac/Opac?action=search&thNomeDocumento=UBO2614694T alla BCB] [http://opac.bncf.firenze.sbn.it/opac/controller.jsp?action=notizia_view&notizia_idn=LIG0028987 e anche alla BNCF], ma in quest'ultima solo i primi 5 fascicoli.
**[[:File:Zingarelli, Vocabolario della lingua italiana, 1917, vol 1.djvu]]
**[[/Zingarelli|Qualche pagina di esempi]], per prove di pulizia ecc.
*'''[http://www.biblioteche.regione.lombardia.it/OPACRL/catleg/DDW?W=BID%20=%20%27RAV0325122%27%20ORDER%20BY%20ORDINAMENTO/Ascend Zingarelli], 1922 (ultima edizione di dominio pubblico): disponibile in alcune biblioteche. Ricercato alla Sormani, perduto alla Braidense, [http://opac.bncf.firenze.sbn.it/opac/controller.jsp?action=notizia_view&notizia_idn=CUB0682822 esistente] ma danneggiato alla BNCF, [http://sol.cib.unibo.it:8080/SebinaOpac/Opac?action=search&thNomeDocumento=UBO2257758T disponibile] a unibo; in corso di caricamento ed elaborazione [http://www.archive.org/details/VocabolarioDellaLinguaItaliana nell'IA] (vedi anche [http://ia600403.us.archive.org/tarview.php?tar=/5/items/VocabolarioDellaLinguaItaliana/VocabolarioDellaLinguaItaliana_jpg.tar immagini singole]).'''
**'''[[:File:Vocabolario della lingua italiana, 1922.djvu]]'''
**In pubblico dominio perché: è stato pubblicato nel 1922 (prima del 1923), è un'opera collettiva e comunque [[w:it:Nicola Zingarelli|Nicola Zingarelli]] è morto nel 1935 (oltre 70 anni fa). Cfr. [[s:en:Help:Public_domain#Published_outside_the_United_States]], [[s:Aiuto:Copyright]].
**L'esemplare della BNCF manca di alcune pagine, ne ha altre strappate, è stato soggetto ad alluvione e restauro ed è velinato.
*[http://www.archive.org/details/vocabolarioetimo00zambuoft Zambaldi], vocabolario etimologico, 1889: utile per integrare le informazioni etimologiche (priorità inferiore), OCR eccellente.
**[[:File:Zambaldi, Vocabolario etimologico italiano, 1889.djvu]]
**[[/Zambaldi|Qualche pagina di esempio]], per prove di pulizia ecc.
*[http://www.archive.org/details/vocabolarioetim00piangoog Pianigiani], vocabolario etimologico, 1907: la stessa edizione presente su etimo.it, forse il migliore etimologico PD in circolazione.
**[[:File:Pianigiani, Vocabolario etimologico della lingua italiana, 1907.djvu]]
*[[w:Niccolò Tommaseo|Tommaseo]], nuovo dizionario dei sinonimi e dei contrari: tuttora molto utile per le sottigliezze lessicali, i suoi lemmi si possono anche usare come definizioni; ci sono diverse edizioni e scansioni, non di tutte è disponibile il djvu e soprattutto l'OCR. (Il vocabolario invece non è probabilmente adatto, anche le riedizioni degli anni dieci o venti sono probabilmente troppo puriste. [http://www.maremagnum.com/libri-antichi/dizionario-della-lingua-italiana-compendiato-ammodernato-da-biagi-torino-utet-1917/94243666 C'è un'edizione del 1917].)
**Edizione 1850:
***[http://www.archive.org/details/dizionariodeisin00tommuoft Google-IA] (volume unico, "a colori", riveduta e corretta da Rigutini).
**Edizione 1858 (quarta edizione milanese):
***[http://www.archive.org/details/nuovodizionario02tommgoog Google-IA] (primo volume, bianco e nero).
**Edizione 1886 (nuova edizione napoletana sulla quinta milanese):
***[http://sol.cib.unibo.it:8080/SebinaOpac/Opac?action=search&IdSBN=PAL0067266 unipd].
**Edizione 1905 (nuova edizione napoletana sull'ultima milanese):
***[http://catalogo.unipd.it/F?func=find-b&request=TO00564774&find_code=IDN ristampa anastatica 1990] (unibo), 
***[http://www.maremagnum.com/libri-antichi/dizionario-dei-sinonimi-della-lingua-italiana-milano-vallardi-1957/94251917 ristampa anastatica 1957] (42 €).
*De Mauro Paravia: non PD, recentissimo ma abbandonato dalla casa editrice, che si pensava avrebbe potuto essere interessata a farlo proseguire a noi (discussioni: [[Wikizionario:Bar/Archivio/2009-ott#Demauro_offline|uno]], [http://www.wikimedia.it/index.php/Associazione:Commissione_rapporti_con_le_istituzioni/De_Mauro due]), ma sicuramente non può dato che è stata costretta a ritirarlo dal mercato proprio per beghe di diritti d'autore e consimili.
*'''Vocabolario degli accademici della Crusca, 1923: non in PD, storico ma recente, da digitalizzare ([[s:Wikisource:Bar/Archivio/2009.08#Vocabolario_degli_accademici_della_Crusca_.281923.29|discussione]]).'''

==Questioni da sciogliere==
*Se il dizionario ha un valore storico (come ad esempio quello della Crusca), potrebbe essere opportuno metterlo in Wikisource, "pulire" il testo lì e poi estrarre i dati da importare nel Wikizionario (anche se la pulizia fosse ridotta al minimo indispensabile per l'importazione, a Wikisource resterebbe qualcosa di utile, anche se completato).
*Se si riesce a fare un bot abbastanza intelligente, gli si può dare in pasto testi abbastanza sporchi (senza preoccuparsi della formattazione, ma solo degli errori di OCR del testo vero e proprio dei lemmi) e fargli creare lemmi accettabili in Wikizionario.
*La "pulizia": meglio in locale o collaborativamente nelle pagine di Wikizionario?

==Tabella di marcia==
Le singole tappe del processo e, come sottopunti, lo stato relativo e/o i sotto-compiti necessari e chi se ne occupa.
I file di prova si possono caricare e trovare preferibilmente in [http://biblioteca.wikimedia.it/wiki/Categoria:Progetto_Wikizionario Biblioteca] (vari formati, fino a 64 MB) o in altri luoghi ivi indicati.

#Ottenere una scansione dello Zingarelli ({{fatto}}) e/o fare un accordo con la Crusca per avere i loro dati sul vocabolario del 1923.
#Produrre degli OCR decenti e se possibile creare un DjVu utile per Wikisource (vedi punto 1 di [[#Questioni da sciogliere]]). {{doing}} (vedi discussione).
#*IA: http://www.archive.org/details/VocabolarioDellaLinguaItaliana con DjVu (molto compresso) a due pagine, leggibile ma con OCR pessimo
#*Prove di spezzamento pagine con [https://www.flameeyes.eu/projects/unpaper unpaper]([[Discussioni_Wikizionario:Importazione_dizionari_PD#Spezzamento_e_raddrizzamento_delle_pagine]])
#**Nemo: http://www.archive.org/details/VocabolarioDellaLinguaItaliana2p , DjVu pronto ma quasi inutile (vedi [[/Prove/unpaper/Nemo 1/]] e discussione)
#**Laurentius: da rifinire, al momento sospeso
#*Aubrey: due DjVu da 90 MB (in Dropbox), utili per la lettura fine a sé stesso, da caricare nell'IA; OCR pessimo ma buona mappatura (forse utile in futuro se falliamo altrove){{fatto}}
#*Alex: OCR e prima elaborazione automatici completati (vedi zip caricati [http://ia600403.us.archive.org/5/items/VocabolarioDellaLinguaItaliana/ nell'IA]): 
#**rifinire OCR:
#**#*avere un'idea preliminarissima di quanto è complesso ({{fatto}}: troppo difficile, Alex passa),
#**#*approfondire (in corso, ci prova Nemo),
#**#*una volta capito cosa bisogna fare, trovare qualcuno che lo faccia;
#**#altra via, [http://terese.sourceforge.net/ Terese] (autore contattato);
#**ottenere un buon rtf; 
#**poi esportare in DjVu; 
#**poi sistemare il DjVu.
#*Altro tentativo: ottenere una nuova scansione a risoluzione maggiore e più pulita. {{fatto}}
#*<s>Altra prova: ripulire le immagini disponibili. {{fatto}} <del>Tentativo a [[w:it:Progetto:Laboratorio_grafico/Immagini_da_migliorare#wikt:Wikizionario:Importazione_dizionari_PD]], riprovare anche unpaper.</del> [[Utente:Laurentius|Laurentius]] ha ripulito le immagini; ha usato [http://scantailor.sourceforge.net/ scan tailor], suggeritoci da [[Utente:LA2|LA2]], in modalità automatica (con aggiustamenti globali alla configurazione, perché quelli per pagina non servono comunque a nulla). [http://www.archive.org/details/VocabolarioDellaLinguaItaliana2p Nell'IA] ci sono immagini, pdf, DjVu e testo semplice. L'OCR è migliore dei precedenti ma non un granché.</s>
#**La nuova scansione è stata fatta a 400 dpi non compressi su una copia dell'unibo (grazie a FollowTheMedia e Giac), a dicembre 2011. Le immagini hanno dovuto essere ritagliate da Laurentius nel marzo 2012 ma sono di buona qualità. Riducendo la risoluzione di un quarto abbiamo ottenuto un DjVu con OCR dall'IA. Tutto il materiale è in http://www.archive.org/details/VocabolarioDellaLinguaItaliana2
#**L'OCR è guardabile ma certo non usabile direttamente. Laurentius ha ritagliato anche queste immagini ed è migliorato un po' ma non molto. Nemo sta ora contattando i nostri esperti di Wikisource e altre persone per capire come migliorarlo ed eventualmente avere preventivi.{{incorso}}
#***Stiamo valutando due preventivi.
#***Alternativa, provare con FineReader 11, ma bisogna trovare qualcuno che possa e voglia (probabilmente all'estero?).
#*Per confronto, Nemo ha comprato un altro vocabolario: lo ha sfascicolato/tagliato/rifilato senza pietà e ha tentato di fare una scansione a colori, 600 dpi, sfruttando [http://usa.kyoceramita.com/americas/jsp/Kyocera/productdetails.jsp?pid=19351&cid=10570 una fotocopiatrice unimi] che però si inceppa perché le pagine sono troppo sottili; si sta valutando l'acquisto di uno scansionatore per documenti (comunque piú economico di una scansione tradizionale), che però non si inceppi.[http://blog.flameeyes.eu/2011/04/23/gentoo-and-epson-scanners] HP, Canon, Epson, Plustek, Xerox non sembrano avere nulla di adeguato, Fujitsu solo alta gamma, Kodak sui 900 € [http://graphics.kodak.com/DocImaging/US/en/Products/Document_Scanners/Desktop/i2400_Scanner/index.htm], Panasonic dubbio sui 700 [http://www.misco.it/store/product.aspx?sku=123443&section=traded], Avision sui 500 [http://www.avision.com.tw/motion.asp?siteid=100407&cat=9&prodid=121211&menuid=10075&lgid=2&pgid=&product_type=2%20] [http://www.asservice.it/av122.html]. {{non fatto}}
#Cominciare a pulire un po' qualche pagina dello Zingarelli e della Crusca e vedere come creare/integrare i lemmi in automatico, per poi vedere qual è il sistema migliore per procedere con tutto il resto del dizionario.
#*Analisi dell'OCR in formato testo, una volta pronto un OCR decente (verifica della codifica caratteri, della strutturazione mantenuta): già arruolato un responsabile
#*Analisi dell'rtf di cui sopra (quanto è strutturato e come si riesce a lavorarci per estrarne i dati che ci servono): già trovata una possibile cavia
#*Approfondimento Crusca (che cosa aspettarsi?)
#Stabilire qual è il dizionario migliore con cui procedere.
#Definire la tabella di conversione dei dati (dai simboli e abbreviazioni del dizionario cartaceo alle sezioni e template del Wikizionario), scrivere il programmino/script.
#Pulire quanto basta il testo nelle modalità stabilite.
#Importare i dati.
#Correggere i lemmi creati per quanto possibile in automatico secondo le solite modalità, lasciare che il resto venga corretto man mano dai nuovi lettori/utenti che l'aumento delle informazioni dovrebbe attirare.

===Compiti correlati===
Compiti correlati già più o meno impostati in cerca di qualcuno che se ne prenda carico. Se volete aiutarci ma non avete voglia di occuparvi di tutta la questione generale qui compariranno cose da fare per voi! 

# Caricare in Commons tutte le illustrazioni: vedi [[Discussioni_Wikizionario:Importazione_dizionari_PD#Illustrazioni]]; se ne occupa BasilicoFresco (ma serve prima rifinire l'OCR...)
# ...

==Trucchi, promemoria, altre esperienze==
*Verificare quanti dei lemmi da importare dal dizionario sono già stati creati in Wikizionario.
*Escludere i transfen dai precedenti: cancellare in automatico quelli presenti per sostituirli coi lemmi importati, invece di integrarli (più complicato e inutile). 
*Altri Wikizionari:
**In en.wikt hanno importato una vecchia edizione del Merriam-Webster: vedere come hanno fatto.
**In fr.wikt dai grafici sembra che abbiano creato molti lemmi in automatico, approfondire.
**In ru.wikt [[:ru:User:TrudoBot|TrudoBot]] ([http://translate.googleusercontent.com/translate_c?hl=it&sl=ru&tl=en&u=http://ru.wiktionary.org/wiki/%25D0%25A3%25D1%2587%25D0%25B0%25D1%2581%25D1%2582%25D0%25BD%25D0%25B8%25D0%25BA:TrudoBot&prev=hp&rurl=translate.google.it&usg=ALkJrhgYGl2AV2eG6eGCzZO8xguNIrkwOg traduzione]: sorgenti disponibili!) ha creato moltissimi lemmi: capire meglio che cosa ha fatto e come ([http://translate.google.it/translate?prev=hp&hl=it&u=http%3A%2F%2Fru.wiktionary.org%2Fwiki%2F%25D0%259E%25D0%25B1%25D1%2581%25D1%2583%25D0%25B6%25D0%25B4%25D0%25B5%25D0%25BD%25D0%25B8%25D0%25B5_%25D1%2583%25D1%2587%25D0%25B0%25D1%2581%25D1%2582%25D0%25BD%25D0%25B8%25D0%25BA%25D0%25B0%3AAl_Silonov&sl=ru&tl=en qui] si parla di perdita di credibilità, [[:ru:MediaWiki:Sitestatstext|qui qualche accenno di statistiche]] ([http://translate.google.it/translate?prev=hp&hl=it&u=http%3A%2F%2Fru.wiktionary.org%2Fwiki%2FMediaWiki%3ASitestatstext&sl=ru&tl=en traduzione]).
**Millosh dice che sta lavorando su questo: Nemo vede di contattarlo
*pt.source: [[s:pt:Categoria:Candido de Figueiredo 1913]], 64&nbsp;000 lemmi in pagine distinte caricati in automatico.

== Collegamenti esterni ==

* L'associazione [http://www.sensocomune.it/ Senso Comune] ha pubblicato in cc-by-sa i 2075 lemmi fondamentali del vocabolario De Mauro, per cui ha costruito una piattaforma semantica e collaborativa, ma è ancora in trattativa per i diritti sul resto del vocabolario.

[[Categoria:Lavoro sporco]]