Csodálatos, de kevéssé ismert Python-könyvtárak

A Python programozó mindig új könyvtárakat keres, amelyek javíthatják az adatmérnöki és üzleti intelligencia projektek munkáját.

Ebben a cikkben néhány kevéssé ismert, de nagyon hasznos python könyvtárat látunk:

1. Inga

Bár sok könyvtár elérhető Piton A DateTime esetében a Pendulum könnyen használható bármilyen dátumművelethez. Az inga a kedvenc könyvespolcom mindennapi munkámhoz. Kibővíti a beépített Python datetime modult, és egy intuitívabb API-t ad hozzá az időzónák kezeléséhez, valamint dátum- és időműveletek végrehajtásához, például időintervallumok hozzáadásához, dátumok kivonásához és időzónák közötti átalakításhoz. Egyszerű és intuitív API-t biztosít a dátumok és időpontok formázásához.

Telepítés

!pip install pendulum

példa

# import library

import pendulum
dt = pendulum.datetime(2023, 1, 31)
print(dt)
 
#local() creates datetime instance with local timezone

local = pendulum.local(2023, 1, 31)
print("Local Time:", local)
print("Local Time Zone:", local.timezone.name)

# Printing UTC time

utc = pendulum.now('UTC')
print("Current UTC time:", utc)
 
# Converting UTC timezone into Europe/Paris time

europe = utc.in_timezone('Europe/Paris')
print("Current time in Paris:", europe)

teljesítmény

2. ftfy

Találkoztál már olyan esettel, amikor az idegen nyelv nem megfelelően jelenik meg az adatokban? Ezt hívják Mojibake-nek. A Mojibake kifejezés a kódolási vagy dekódolási problémák következtében fellépő elrontott vagy összezavart szöveg leírására szolgál. Általában akkor fordul elő, ha az egy karakterkódolással írt szöveget helytelenül dekódolják más kódolással. Az ftfy python könyvtár segít a Mojibake javításában, ami nagyon hasznos az NLP használati esetekben.

Telepítés

!pip install ftfy

példa

print(ftfy.fix_text('Javítsa ki a mondatot az “ftfyâ€\x9d.')) print(ftfy.fix_text('✔ Nincs probléma a szöveggel')) print(ftfy.fix_text('à perturber la rèflexion '))

teljesítmény

A Mojibake mellett az ftfy javítja a rossz kódolásokat, a rossz sorvégződéseket és a rossz idézőjeleket. megértheti a következő kódolások egyikével dekódolt szöveget:

• Latin-1 (ISO-8859-1)
• Windows-1252 (cp1252 – Microsoft termékekben használatos)
• Windows-1251 (cp1251 – a cp1252 orosz verziója)
• Windows-1250 (cp1250 – a cp1252 kelet-európai verziója)
• ISO-8859–2 (ami nem teljesen ugyanaz, mint a Windows-1250)
• MacRoman (Mac OS 9 és régebbi rendszereken használatos)
• cp437 (MS-DOS-ban és a Windows parancssor egyes verzióiban használatos)

3. vázlat

A Sketch egy egyedülálló mesterséges intelligencia-kódoló asszisztens, amelyet kifejezetten a Python pandas könyvtárával dolgozó felhasználók számára terveztek. Gépi tanulási algoritmusokat használ a felhasználói adatok kontextusának megértéséhez, és releváns kódjavaslatokat kínál az adatkezelési és -elemzési feladatok egyszerűbbé és hatékonyabbá tételéhez. A Sketch nem követeli meg a felhasználóktól, hogy további beépülő modulokat telepítsenek az IDE-be, így gyorsan és egyszerűen használható. Ez jelentősen csökkentheti az adatokkal kapcsolatos feladatokhoz szükséges időt és erőfeszítést, és segíthet a felhasználóknak jobb, hatékonyabb kód írásában.

Telepítés

!pip telepítési vázlat

példa

A könyvtár használatához hozzá kell adnunk egy .sketch kiterjesztést a pandas adatkerethez.

.vázolj.kérdezz

kérdez a Sketch olyan funkciója, amely lehetővé teszi a felhasználók számára, hogy természetes nyelvi formátumban tegyenek fel kérdéseket adataikkal kapcsolatban. Szövegalapú választ ad a felhasználó lekérdezésére.

# Könyvtárak importálása vázlatok importálása pandák importálása pd-ként # Adatok beolvasása (példaként a Twitter-adatok felhasználásával) df = pd.read_csv("tweets.csv") print(df)

# A kategória típusú oszlopok megkérdezése df.sketch.ask("Melyik oszlopok kategória típusúak?")

teljesítmény

# Az adatkeret alakjának megkereséséhez df.sketch.ask("Mi az adatkeret alakja")

.vázlat.hogyan

howto egy olyan szolgáltatás, amely egy kódblokkot biztosít, amely különböző adatokkal kapcsolatos feladatok kezdő- vagy végpontjaként használható. Kérhetünk kódrészleteket adataik normalizálásához, új funkciók létrehozásához, adatok nyomon követéséhez és akár modellek készítéséhez. Ez időt takarít meg, és megkönnyíti a kód másolását és beillesztését; nem kell a semmiből kézzel megírni a kódot.

# Az érzelmek megjelenítéséhez kivágott kód kérése df.sketch.howto("Vizualizálja az érzelmeket")

teljesítmény

.vázolni.alkalmazni

Az .apply függvény segít új funkciók létrehozásában, mezők elemzésében és egyéb adatmanipulációk végrehajtásában. A funkció használatához OpenAI-fiókkal kell rendelkeznünk, és az API-kulcsot kell használnunk a feladatok végrehajtásához. Ezt a funkciót nem próbáltam.

Különösen élveztem ezt a könyvtárat hogyan működik, és hasznosnak találom.

4. pgeocode

A „pgeocode” egy kiváló könyvtár, amelybe nemrég bukkantam, és hihetetlenül hasznos volt a térelemzési projektjeimhez. Lehetővé teszi például a két irányítószám közötti távolság meghatározását, és földrajzi információkat szolgáltat az ország és az irányítószám megadásával.

Telepítés

!pip install pgeocode

példa

Szerezzen földrajzi információkat adott irányítószámokhoz

# "India" ország ellenőrzése nomi = pgeocode.Nominatim('In') # Földrajzi adatok megszerzése irányítószámok átadásával nomi.query_postal_code(["620018", "620017", "620012"])

teljesítmény

A „pgeocode” kiszámítja a két irányítószám közötti távolságot az ország és az irányítószámok bevitelével. Az eredményt kilométerben fejezzük ki.

# Távolság keresése két irányítószám között távolság = pgeocode.GeoDistance('In') distance.query_postal_code("620018", "620012")

teljesítmény

5. rembg

A rembg egy másik hasznos könyvtár, amely könnyen eltávolítja a hátteret a képekről.

Telepítés

!pip install rembg

példa

# Könyvtárak importálása

from rembg import remove import cv2 # bemeneti kép elérési útja (saját fájl: image.jpeg) input_path = 'image.jpeg' # elérési út a kimeneti kép mentéséhez és kimenetként való mentéshez.jpeg output_path = 'output.jpeg' # A bemenet olvasása image input = cv2.imread(bemeneti_útvonal) # Háttérkimenet eltávolítása = remove(input) # Fájl mentése cv2.imwrite(output_path, output)

teljesítmény

Lehet, hogy már ismeri ezeket a könyvtárakat, de számomra a Sketch, a Pendulum, a pgeocode és az ftfy nélkülözhetetlenek az adatmérnöki munkámhoz. A projektjeim során sokat számítok rájuk.

6. Humanizálni

Humanize” egyszerű, könnyen olvasható karakterláncformázást biztosít számokhoz, dátumokhoz és időpontokhoz. A könyvtár célja az adatok átvétele és felhasználóbarátabbá tétele, például úgy, hogy néhány másodpercet egy olvashatóbb karaktersorozattá konvertál, például "2 perccel ezelőtt". A könyvtár sokféle módon formázhatja az adatokat, beleértve a számok vesszővel történő formázását, az időbélyegek relatív időké alakítását stb.

Gyakran használok egész számokat és időbélyegeket adatmérnöki projektjeimhez.

Telepítés

!pip install humanize

Példa (egész számok)

# Könyvtár importálása humanize import datetime as dt # Számok formázása vesszővel a = humanize.intcomma(951009) # számok konvertálása szavakká b = humanize.intword(10046328394) #printing print(a) print(b)

teljesítmény

Példa (dátum és idő)

import humanize import datetime as dt a = humanize.naturaldate(dt.date(2012, 6, 5)) b = humanize.naturalday(dt.date(2012, 6, 5)) print(a) print(b)

Ercole Palmeri