Hämmastavad, kuid vähetuntud Pythoni raamatukogud

Pythoni programmeerija otsib pidevalt uusi teeke, mis parandaksid tööd andmetehnika ja ärianalüüsi projektides.

Selles artiklis näeme mõnda vähetuntud, kuid väga kasulikku pythoni teeki:

1. Pendel

Kuigi paljud raamatukogud on saadaval Python DateTime jaoks on minu arvates Pendulumi lihtne kasutada mis tahes kuupäevatoimingu puhul. Pendel on minu lemmik raamaturiiul igapäevaseks tööl kasutamiseks. Laiendab sisseehitatud Pythoni kuupäeva-aja moodulit, lisades intuitiivsema API ajavööndite haldamiseks ning kuupäeva ja kellaaja toimingute tegemiseks, nagu ajavahemike lisamine, kuupäevade lahutamine ja ajavööndite vaheline teisendamine. Pakub lihtsat ja intuitiivset API-d kuupäevade ja kellaaegade vormindamiseks.

Paigaldamine

!pip install pendulum

näide

# import library

import pendulum
dt = pendulum.datetime(2023, 1, 31)
print(dt)
 
#local() creates datetime instance with local timezone

local = pendulum.local(2023, 1, 31)
print("Local Time:", local)
print("Local Time Zone:", local.timezone.name)

# Printing UTC time

utc = pendulum.now('UTC')
print("Current UTC time:", utc)
 
# Converting UTC timezone into Europe/Paris time

europe = utc.in_timezone('Europe/Paris')
print("Current time in Paris:", europe)

Väljund

2. ftfy

Kas olete kokku puutunud sellega, et võõrkeel andmetes ei kuvata õigesti? Seda nimetatakse Mojibake'iks. Mojibake on termin, mida kasutatakse kodeerimis- või dekodeerimisprobleemide tagajärjel tekkinud moonutatud või segatud teksti kirjeldamiseks. Tavaliselt juhtub see siis, kui ühe märgikodeeringuga kirjutatud tekst on erineva kodeeringuga valesti dekodeeritud. ftfy pythoni teek aitab teil parandada Mojibake'i, mis on NLP kasutusjuhtudel väga kasulik.

Paigaldamine

!pip install ftfy

näide

print(ftfy.fix_text('Paranda lauset “ftfyâ€\x9d.')) print(ftfy.fix_text('✔ Tekstiga pole probleeme')) print(ftfy.fix_text('à perturber la rèflexion '))

Väljund

Lisaks Mojibake'ile parandab ftfy halvad kodeeringud, halvad realõpud ja halvad jutumärgid. võib mõista teksti, mis on dekodeeritud ühena järgmistest kodeeringutest:

• Latin-1 (ISO-8859-1)
• Windows-1252 (cp1252 – kasutatakse Microsofti toodetes)
• Windows-1251 (cp1251 — cp1252 venekeelne versioon)
• Windows-1250 (cp1250 – cp1252 Ida-Euroopa versioon)
• ISO-8859–2 (mis ei ole täpselt sama mis Windows-1250)
• MacRoman (kasutatakse operatsioonisüsteemis Mac OS 9 ja varasemates versioonides)
• cp437 (kasutatakse MS-DOS-is ja mõnes Windowsi käsurea versioonis)

3. Visand

Sketch on ainulaadne AI kodeerimisassistent, mis on loodud spetsiaalselt Pythoni pandateegiga töötavatele kasutajatele. See kasutab kasutajaandmete konteksti mõistmiseks masinõppe algoritme ja pakub asjakohaseid koodisoovitusi, et muuta andmetega manipuleerimise ja analüüsi ülesanded lihtsamaks ja tõhusamaks. Sketch ei nõua kasutajatelt oma IDE-sse täiendavate pistikprogrammide installimist, mistõttu on selle kasutamine kiire ja lihtne. See võib oluliselt vähendada andmetega seotud toimingute jaoks kuluvat aega ja vaeva ning aidata kasutajatel kirjutada paremat ja tõhusamat koodi.

Paigaldamine

!pip installi eskiis

näide

Selle teegi kasutamiseks peame panda andmeraamile lisama laienduse .sketch.

.sketch.küsida

küsima on Sketchi funktsioon, mis võimaldab kasutajatel esitada küsimusi oma andmete kohta loomulikus keeles. Annab kasutaja päringule tekstipõhise vastuse.

# Teekide importimine sketchi import pandade import pd-na # Andmete lugemine (näiteks Twitteri andmetega) df = pd.read_csv("tweets.csv") print(df)

# Küsib, millised veerud on kategooria tüüpi df.sketch.ask("Millised veerud on kategooria tüüpi?")

Väljund

# Andmeraami kuju leidmiseks df.sketch.ask("Mis on andmeraami kuju")

.sketch.howto

howto on funktsioon, mis pakub koodiplokki, mida saab kasutada erinevate andmetega seotud toimingute algus- või lõpp-punktina. Saame küsida koodilõike nende andmete normaliseerimiseks, uute funktsioonide loomiseks, andmete jälgimiseks ja isegi mudelite loomiseks. See säästab aega ning muudab koodi kopeerimise ja kleepimise lihtsaks; koodi ei pea nullist käsitsi kirjutama.

# Küsib emotsioonide visualiseerimiseks väljalõigatud koodi df.sketch.howto("Visualiseeri emotsioone")

Väljund

.sketch.apply

Funktsioon .apply see aitab luua uusi funktsioone, sõeluda välju ja teha muid andmetega manipuleerimisi. Selle funktsiooni kasutamiseks peab meil olema OpenAI konto ja kasutama ülesannete täitmiseks API võtit. Ma pole seda funktsiooni proovinud.

Eriti meeldis mulle seda raamatukogu kasutada Tulema see töötab ja minu arvates on see kasulik.

4. geokood

"pgeocode" on suurepärane raamatukogu, mille otsa hiljuti komistasin ja mis on olnud minu ruumianalüüsi projektide jaoks uskumatult kasulik. Näiteks võimaldab see leida kahe sihtnumbri vahelise kauguse ja annab geograafilist teavet, võttes sisendiks riigi ja sihtnumbri.

Paigaldamine

!pip install pgeocode

näide

Hankige konkreetsete sihtnumbrite geograafilist teavet

# Riigi "India" kontrollimine nomi = pgeocode.Nominatim('In') # Geoinfo hankimine, edastades sihtnumbrid nomi.query_postal_code(["620018", "620017", "620012"])

Väljund

"Pgeocode" arvutab kahe sihtnumbri vahelise kauguse, võttes sisendiks riigi ja sihtnumbrid. Tulemust väljendatakse kilomeetrites.

# Kahe sihtnumbri vahelise kauguse leidmine kaugus = pgeocode.GeoDistance('In') distance.query_postal_code("620018", "620012")

Väljund

5. rembg

rembg on veel üks kasulik teek, mis eemaldab hõlpsalt piltidelt tausta.

Paigaldamine

!pip install rembg

näide

# Teekide importimine

from rembg import remove import cv2 # sisendpildi tee (minu fail: image.jpeg) input_path = 'image.jpeg' # väljundpildi salvestamise ja väljundina salvestamise tee.jpeg output_path = 'output.jpeg' # Sisendi lugemine pildi sisend = cv2.imread(sisendtee) # Taustaväljundi eemaldamine = eemalda(sisend) # Faili salvestamine cv2.imwrite(väljundi_tee, väljund)

Väljund

Võib-olla olete mõnega neist raamatukogudest juba tuttav, kuid minu jaoks on Sketch, Pendulum, pgeocode ja ftfy minu andmetöötluse jaoks asendamatud. Toetun neile oma projektide puhul palju.

6. Humaniseerida

Humanize” pakub lihtsat ja hõlpsasti loetavat stringivormingut numbrite, kuupäevade ja kellaaegade jaoks. Teegi eesmärk on võtta andmed ja muuta need kasutajasõbralikumaks, näiteks teisendades sekundite arvu loetavamaks stringiks nagu "2 minutit tagasi". Teek saab andmeid vormindada mitmel viisil, sealhulgas vormindada numbreid komadega, teisendada ajatemplid suhtelisteks aegadeks ja palju muud.

Kasutan oma andmetöötlusprojektides sageli täisarve ja ajatempleid.

Paigaldamine

!pip install humanize

Näide (täisarvud)

# Teegi importimine humanize import datetime as dt # Numbrite vormindamine komadega a = humanize.intcomma(951009) # arvude teisendamine sõnadeks b = humanize.intword(10046328394) #printing print(a) print(b)

Väljund

Näide (kuupäev ja kellaaeg)

import humanize import datetime as dt a = humanize.naturaldate(dt.date(2012, 6, 5)) b = humanize.naturalday(dt.date(2012, 6, 5)) print(a) print(b)

Ercole Palmeri