Керемет, бірақ аз танымал Python кітапханалары

Python бағдарламашысы әрқашан деректерді инженерия және бизнес-барлау жобаларындағы жұмысты жақсарта алатын жаңа кітапханаларды іздейді.

Бұл мақалада біз аз белгілі, бірақ өте пайдалы питон кітапханаларын көреміз:

1. Маятник

Көптеген кітапханалар бар болса да Python DateTime үшін Маятникті кез келген күн операциясында пайдалану оңай деп санаймын. Маятник - күнделікті жұмыста қолдануға арналған сүйікті кітап шкафы. Кірістірілген Python datetime модулін кеңейтеді, уақыт белдеулерін басқару және уақыт аралығын қосу, күндерді алу және уақыт белдеулері арасында түрлендіру сияқты күн мен уақыт әрекеттерін орындау үшін анағұрлым интуитивті API қосады. Күндер мен уақыттарды пішімдеу үшін қарапайым және интуитивті API ұсынады.

Орнату

!pip install pendulum

мысал

# import library

import pendulum
dt = pendulum.datetime(2023, 1, 31)
print(dt)
 
#local() creates datetime instance with local timezone

local = pendulum.local(2023, 1, 31)
print("Local Time:", local)
print("Local Time Zone:", local.timezone.name)

# Printing UTC time

utc = pendulum.now('UTC')
print("Current UTC time:", utc)
 
# Converting UTC timezone into Europe/Paris time

europe = utc.in_timezone('Europe/Paris')
print("Current time in Paris:", europe)

шығыс

2. ftfy

Деректердегі шет тілі дұрыс көрсетілмеген кезде кездестіңіз бе? Бұл Моджибаке деп аталады. Mojibake - кодтау немесе декодтау мәселелерінің нәтижесінде пайда болатын бұрмаланған немесе шифрланған мәтінді сипаттау үшін қолданылатын термин. Бұл әдетте бір таңба кодтауымен жазылған мәтін басқа кодтауды пайдаланып қате декодталғанда орын алады. Ftfy python кітапханасы Mojibake-ті түзетуге көмектеседі, бұл NLP қолдану жағдайларында өте пайдалы.

Орнату

!pip орнату ftfy

мысал

print(ftfy.fix_text('Сөйлемді â€œftfyâ€\x9d арқылы түзетіңіз.')) print(ftfy.fix_text('✔ Мәтінде ақаулар жоқ')) print(ftfy.fix_text('à perturber la réfxion) '))

шығыс

Mojibake-ге қосымша, ftfy қате кодтауларды, нашар жол соңын және нашар тырнақшаларды түзетеді. келесі кодтаулардың бірі ретінде декодталған мәтінді түсінуі мүмкін:

• Латын-1 (ISO-8859–1)
• Windows-1252 (cp1252 — Microsoft өнімдерінде пайдаланылады)
• Windows-1251 (cp1251 — cp1252 орысша нұсқасы)
• Windows-1250 (cp1250 — cp1252 шығыс еуропалық нұсқасы)
• ISO-8859–2 (бұл Windows-1250-ге мүлдем ұқсамайды)
• MacRoman (Mac OS 9 және одан бұрынғы нұсқаларында пайдаланылады)
• cp437 (MS-DOS жүйесінде және Windows пәрмен жолының кейбір нұсқаларында пайдаланылады)

3. Эскиз

Sketch - бұл Python-да пандалар кітапханасымен жұмыс істейтін пайдаланушылар үшін арнайы жасалған бірегей AI кодтау көмекшісі. Ол пайдаланушы деректерінің контекстін түсіну үшін машиналық оқыту алгоритмдерін пайдаланады және деректерді өңдеу мен талдау тапсырмаларын жеңіл әрі тиімді ету үшін сәйкес код ұсыныстарын береді. Sketch пайдаланушылардан IDE-де кез келген қосымша плагиндерді орнатуды талап етпейді, бұл оны жылдам және пайдалануды жеңілдетеді. Бұл деректерге қатысты тапсырмалар үшін қажетті уақыт пен күш-жігерді айтарлықтай азайтып, пайдаланушыларға жақсырақ, тиімдірек код жазуға көмектеседі.

Орнату

!pip орнату эскизі

мысал

Бұл кітапхананы пайдалану үшін pandas dataframe жүйесіне .sketch кеңейтімін қосу керек.

.eskiz.ask

сұрау пайдаланушыларға табиғи тіл пішімінде деректері туралы сұрақтар қоюға мүмкіндік беретін Sketch мүмкіндігі. Пайдаланушының сұрауына мәтіндік жауап береді.

# Кітапханаларды импорттау эскизді импорттау пандаларды pd ретінде импорттау # Деректерді оқу (мысал ретінде twitter деректерін пайдалану) df = pd.read_csv("tweets.csv") print(df)

# Қай бағандардың санат түрі екенін сұрау df.sketch.ask («Қай бағандар санат түрі?»)

шығыс

# Dataframe пішінін табу үшін df.sketch.ask («Dataframe пішіні қандай»)

.эскиз.қалай

қалай әртүрлі деректерге қатысты тапсырмалар үшін бастапқы немесе аяқталу нүктесі ретінде пайдалануға болатын код блогын қамтамасыз ететін мүмкіндік болып табылады. Біз олардың деректерін қалыпқа келтіру, жаңа мүмкіндіктер жасау, деректерді қадағалау және тіпті үлгілерді құру үшін код үзінділерін сұрай аламыз. Бұл уақытты үнемдейді және кодты көшіруді және қоюды жеңілдетеді; кодты нөлден қолмен жазудың қажеті жоқ.

# Эмоцияларды визуализациялау үшін кесілген кодты беруді сұрау df.sketch.howto («Эмоцияларды визуализациялау»)

шығыс

.eskiz.apply

.apply функциясы ол жаңа мүмкіндіктерді жасауға, өрістерді талдауға және басқа деректер манипуляцияларын жасауға көмектеседі. Бұл мүмкіндікті пайдалану үшін бізде OpenAI тіркелгісі болуы керек және тапсырмаларды орындау үшін API кілтін пайдалану керек. Мен бұл мүмкіндікті қолданып көрмедім.

Бұл кітапхананы пайдалану маған әсіресе ұнады келу ол жұмыс істейді, мен оны пайдалы деп санаймын.

4. пгеокод

«pgeocode» - бұл менің кеңістіктік талдау жобаларым үшін өте пайдалы болған тамаша кітапхана. Мысалы, ол екі пошта индексінің арасындағы қашықтықты табуға мүмкіндік береді және кіріс ретінде ел мен пошта индексін алу арқылы географиялық ақпаратты береді.

Орнату

!pip орнату pgeocode

мысал

Арнайы пошта индекстері үшін географиялық ақпаратты алыңыз

# "Үндістан" елін тексеру nomi = pgeocode.Nominatim('In') # Номи.query_postal_code пошта индекстерін өту арқылы геоақпаратты алу(["620018", "620017", "620012"])

шығыс

«pgeocode» ел мен пошта индекстерін енгізу ретінде алу арқылы екі пошта индексі арасындағы қашықтықты есептейді. Нәтиже километрмен көрсетіледі.

# Екі пошта индексі арасындағы қашықтықты табу қашықтық = pgeocode.GeoDistance('In') distance.query_postal_code("620018", "620012")

шығыс

5. rembg

rembg - суреттерден өңді оңай алып тастайтын тағы бір пайдалы кітапхана.

Орнату

!pip орнату rembg

мысал

# Кітапханаларды импорттау

rembg импортынан импортты жою cv2 # кіріс кескінінің жолы (менің файлым: image.jpeg) input_path = 'image.jpeg' # шығыс кескінді сақтауға және шығыс ретінде сақтауға арналған жол.jpeg output_path = 'output.jpeg' # Енгізуді оқу сурет кірісі = cv2.imread(input_path) # Фондық шығысты жою = жою(кіріс) # cv2.imwrite файлын сақтау(шығыс_жолы, шығыс)

шығыс

Сіз бұл кітапханалардың кейбірімен бұрыннан таныс болуыңыз мүмкін, бірақ мен үшін Sketch, Pendulum, pgeocode және ftfy деректер инженериясы жұмысым үшін өте қажет. Мен өз жобаларымда оларға көп сенемін.

6. Ізгілендіру

Гуманизация» бағдарламасы сандар, күндер және уақыттар үшін қарапайым, оқуға оңай жол пішімдеуін қамтамасыз етеді. Кітапхананың мақсаты деректерді қабылдау және оны қолданушыға ыңғайлы ету, мысалы, бірнеше секундты «2 минут бұрын» сияқты оқылатын жолға түрлендіру арқылы. Кітапхана деректерді әртүрлі жолдармен пішімдей алады, соның ішінде сандарды үтірмен пішімдеу, уақыт белгілерін салыстырмалы уақытқа түрлендіру және т.б.

Мен деректерді инженерлік жобаларым үшін бүтін сандар мен уақыт белгілерін жиі қолданамын.

Орнату

!pip орнату humanize

Мысал (бүтін сандар)

# Кітапхананы импорттау импорттау импорттау күні уақытын dt ретінде гуманизациялау # Сандарды үтірмен пішімдеу a = humanize.intcomma(951009) # сандарды сөзге түрлендіру b = humanize.intword(10046328394) #басып шығару басып шығару(a) басып шығару(b)

шығыс

Мысал (күні мен уақыты)

import humanize import datetime ретінде dt a = humanize.naturaldate(dt.date(2012, 6, 5)) b = humanize.naturalday(dt.date(2012, 6, 5)) print(a) print(b)

Ercole Palmeri