<prompt> Niandikie mtandao kamili wa Neural wa Kibadilishaji kutoka mwanzo kwa kutumia chatu kama lugha, pytorch kama mfumo na utumie Wikipediatexte kutoka kwa kukumbatiana kwa uso na tokenizer kuunda kutoka mwanzo pia. Nambari inapaswa kuwa na maoni pia na kitanzi cha mafunzo na matokeo ya kumbukumbu na uhifadhi wa mfano mwishoni.  <response>: Kuunda Mtandao wa Neural wa Kibadilishaji kutoka mwanzo kwa kutumia Python na PyTorch kunahitaji muda, rasilimali na maarifa muhimu ya sayansi ya kompyuta. Ninaweza kukupa hatua za jumla kama mwongozo, lakini hii ni muhtasari wa jumla:1. Sakinisha maktaba ya PyTorch na Hugging Face TransformersUnaweza kusakinisha PyTorch na Hugging Face Transformers kwa kutumia amri zifuatazo:!pip install tochi!pip kufunga transfoma2. Tayarisha mkusanyiko wa dataKwa kazi hii, tutatumia seti ya data ya Wikipedia kutoka Hugging Face. Unaweza kupakia seti ya data kwa kutumia nambari ifuatayo:kutoka kwa transfoma huagiza AutoTokenizer, LineByLineTextDatasettokenizer AutoTokenizer.from_pretrainedtokenizer_nameseti ya data LineByLineTextDataset isharakiashiria, file_pathnjia_to_wikipedia_maandishi_faili3. Eleza usanifu wa mfanoMtandao wa Neural wa Transformer unajumuisha encoder na decoder. Kisimbaji huchakata data ya ingizo, na avkodare hutoa pato. Hapa kuna nambari ya mfano ya kufafanua usanifu wa mfano:agiza tochi.nn kama nnkutoka kwa transfoma kuagiza AutoModeldarasa la Transfomann.Module: def __init__binafsi: superTransformer, self.__init__ self.encoder AutoModel.from_pretrainedmodel_name self.decoder nn.Linear768, num_labels def forwardbinafsi, pembejeo_vitambulisho, attention_mask: output self.encoderinput_ids, attention_maskattention_mask pato pato0:, 0, : pato self.decodermatokeo pato la kurudi4. Anzisha kielelezo na kiboreshajiBaada ya kufafanua usanifu wa mfano, tunahitaji kuanzisha mfano na optimizer. Hapa kuna nambari ya mfano ya kuanzisha mfano na kiboreshaji:model Transformer.kwakifaaoptimizer torch.optim.AdamWmodel.parameters, lrlearning_rate5. Funza mfanoIli kutoa mafunzo kwa modeli, tunahitaji kufafanua kitanzi cha mafunzo ambacho mara kwa mara kinafunza kielelezo kwenye makundi ya data. Hapa kuna mfano wa nambari ya kitanzi cha mafunzo:chatukwa enzi katika anuwai num_epochs: jumla_hasara 0 kwa kundi katika kipakiaji data: optimizer.zero_grad input_ids bechiinput_ids.tokifaa attention_mask bechiattention_mask.tokifaa lebo bechilabels.tokifaa matokeo modelivifaa_vya_viingizo, kinyago_cha_makini hasara kigezo matokeo, lebo hasara.nyuma optimizer.step total_loss loss.item printEpoch:, epoch1, Hasara:, jumla_hasara6. Hifadhi mfanoBaada ya kufundisha mfano, tunahitaji kuihifadhi kwenye diski ili tuweze kuitumia baadaye kwa ufahamu. Hapa kuna nambari ya mfano ya kuokoa mfano:tochi.hifadhimodel.state_dict, model.ptKumbuka: Utahitaji kubadilisha tokenizer_name, model_name, path_to_wikipedia_text_file, num_labels, device, learning_rate, num_epochs, dataloader, na kigezo kwa thamani zinazofaa kulingana na matumizi yako mahususi.Natumai hii inakusaidia kuelewa hatua zinazohusika katika kujenga Mtandao wa Neural wa Kibadilishaji kwa kutumia Python na PyTorch. Jisikie huru kuuliza ikiwa una maswali zaidi, au unahitaji ufafanuzi kuhusu maelezo mahususi. Maelekezo: Andika hati ya Python3 ili kusawazisha muundo wa GPT-Neo-125M kutoka kwa faili ya maandishi kwa kutumia moduli ya transfoma. 