ALTER IGNORE TABLE tablename ADD UNIQUE INDEX dublicatedindex (fieldthatcontaindoubles);
ALTER TABLE tablename DROP INDEX dublicatedindex

The method above will remove dublicates and will add a Unique key to the field of interest.

Another non-recommended option is:

CREATE TABLE tablenamenew as SELECT * FROM acttable WHERE 1 GROUP BY fieldthatcontaindoubles;

The syntax will create a new table that has unique records on fieldthatcontaindoubles

Artikuj të ngjashëm

• 09/21/2009 — MySQL Database Replication (6)
• 06/07/2009 — How to install MySQL Monitoring Tools mtop for CentOS Debian (1)

Replication

Kur nje projekt arrin nje fare volumi informacioni, vihet re qe nuk eshte me e lehte te administrohet databaza e tij. Ne rastin tone, Projekti i Infoarkives, (http://lajme.shqiperia.com), kaloi mbi 2.1 Giga informacion. Per kete projekt ne kishim vendosur nje server te dedikuar ne dispozicion. Megjithe sistemin e cache per te rritur performancen apo procesorin e mire, duke qene se disa here brenda dites serveri terhiqte lajme dhe i shkruante ne DB, sherbimi web u be teper i ngadalte dhe po krijonte problem.

Nga natyra, tabelat myisam jane teper te shpejta ne lexim dhe nxjerrje te informacionit, por problemi kryesor shkrimi ne databaze. Rrobotet e kerkimit terhiqnin informacion i cili shkruhet ne disa tabela dhe nje prej tyre me madhesi prej afro 2Giga. Procesi i shkrimit ne nje tabele te madhe MySQL rrezultoi teper i shtrenjte. Ne nje situate kur shkrimi zgjat disa seconda dhe vendos nje “kycje” per leximin apo indeksimin e leximeve ne DB, nga mysql krijohej nje bottleneck dhe webserveri nuk pergjigjej me shpejtesine e duhur.

Per te zgjidhur probleme te tilla ka disa skenare.

• Shtimi i RAM ne server per te lejuar cache me te mire per mysql
• Ndarja e tabelave te informacionit ne tabela me te vogla. Per kete do duhej kalimi ne InnoDB ku perseri kerkesat per RAM do ishin me te larta
• Kalimi ne nje strukture no-sql, pra ruajtje statike e informacionit
• Ndarja e sherbimit te mysql ne nje server te ndryshem nga webserveri

Megjithese kishim bere disa optimizime ne MySQL dhe ne Apache per te lehtesuar proceset e secilit, ekzekutimi i te dy ketyre sherbimeve krijonte probleme. Ne nje situate te tille, shtimi i RAM ne server (qe eshte i kushtueshem) nuk ishte nje zgjidhje afatgjate.

Fatmiresisht, MySQL lejon Replikimin e databazes. Praktikisht nje server i cilesuar si kryesori (MASTER) mund te replikohet (kopjohet) nga motorri i MySQl ne disa servera te tjere qe quhen Skllever (Slaves). Ne nje situate te tille, eshte e mundur qe serveri kryesor (master) te perdoret per shkrimin e te dhenave nga rrobotet, dhe serveri skllav mund te perdoret per leximin e te dhenave nga webserveri. Ishte kjo zgjidhja qe zgjodhem per rastin e Infoarkives, praktikisht hapat e implementimit jane me poshte.

Krijimi i Log File te MySQL

Replikimi ne MySQL funksionon mbi loget e serverit.  Ketu nuk flitet per loget normal qe tregojne logimin e userave, por logu binar i MySQL.

Logu Binar permban te gjithe komandat qe ndryshojne te dhenat ose qe mund te ndryshojne te dhenat (psh INSERT). Keto komanda (statements) ruhen ne menyre kronologjike qe pershkruajne modifikimet. Nje nga qellimet e ketij logu binar eshte pikerisht replikimi.
Per replikimet, logu binar perdoret tek serveri kryesor (master) si nje rekord i komandave qe duhet ti dergohen sklleverve. Servero kryesor i dergon ngjarjet qe ndodhen ne logun binar tek serveri skllav i cili i ekzekuton ato ne menyren kronologjike (Shih me shume: Manualin e References se MySQL).

Per te krijuar logun binar, modifikohet skedari: my.cnf (zakonisht gjendet nen /etc/my.cnf) qe te permbaje komandat me poshte:

Rrjeshti i pare komandon mySQL qe te shkruaje nje Log dhe ta shkruaje ate pikerisht ne direktorine mesiper. (Kjo direktori duhet te jete me te drejta shkrimi nga perdoruesi mysql).  Rrjeshti i dyte eshte nje reference per databazen qe do te replikohet (kujdes, replikohet nje DB dhe jo te gjitha DBte e serverit.) Ne rastin me siper po replikoj db_arkivaime. Ndersa rrjeshti i trete percakton nga nje Identifikim (unik sigurisht) te ketij serveri.  Nje identifikim unik do percaktohet pak me pas dhe tek serveri skllav.

Ne menyre qe databaza qe do replikohet te lexohet nga serveri skllav, duhet qe ne mysql te krijohet nje user i cili ka te drejta replikimi.

Ne phpmyadmin apo ne mysql console (mysql -u root -p) duhet te krijohet nje perdoures me sintaksen si me poshte:

Me tej, ne serverin skllav duhet te modifikohet my.cnf duke shtuar informacionin si me poshte:

relay-log = /var/lib/mysql/skllav-relay.log
relay-log-index = /var/lib/mysql/skllav-relay-log.index

Sintaksa pak a shume eshte e qarte, rrjeshti i pare percakton nje identifikim per kete server dhe i percakton atij nr 2 si emertim. Rrjeshtat me poshte tregojne perdoruesin me te cilin mund te lidhet serveri skllav me serverin kryesor dhe ne fund ka disa loge qe i duhen motorrit te MySQL per te mbajtur shenim positionin ne te cilin serveri kryesor eshte tek logs.

Ne kete cast eshte e nevojshme te ndalohet serveri kryesor dhe te kopjohet databaza aktuale ne serverin skllav (ne kete menyre te dy serverat do te nisin replikimin duke pasur te njejtin informacion). Metoda ime e preferuar eshte me rsync dhe pasi te jete krijuar dhe databaza “db_arkivaime” dhe tek serveri skllav, mund te kopjohen te gjitha te dhenat nga serveri kryesor tek serveri skllav me sintaksen me poshte:

Sintaksa me siper, ekzekutohet ne serverin skllav dhe kopjon ne menyre binare gjithcka qe ndodhet nen /var/lib/mysql/db_arkivaime/ tek e njejta direktori ne serverin tjeter. Normalisht ky eshte path-i ku ruhen te dhenat e DBve (nje bashkesi skedaresh, .MYI, frm, MYD).

Pervec rsync (per databaza te medha), mysqldump (apo phpmyadmin dump) mund te perdoren per te kopjuar databazen nga masteri tek serveri.

Per te gjetur pozicionin e serverit kryesor ne Logs duhet te ekzekutohet (serveri duhet startuar me pare):

ne mysql console apo phpmyadmin te serverit Master. Pergjigja do jete dicka e tipit:

Ne kete cast tek Serveri Skllav duhet te ekzekutohet:

Pas nje restarti te serveri te slave mund te shikohet qe cdo veprim Update, Insert apo Delete ne serverin master reflektohet real time tek serveri skllav.

Artikuj të ngjashëm

• 12/17/2009 — MySQL Remove Duplicates (0)
• 06/07/2009 — How to install MySQL Monitoring Tools mtop for CentOS Debian (1)

Monitor' your MySQL Server

If a webserver with Apache and MySQL is having a high load or apache takes too long to respond, in the most of the cases it is a the MySQL that is causing the high load. In order to find out what is causing the Load and which of the Mysql database is taking too much time to respond, mtop (MySQL Monitoring Tools) is the perfect tool for monitoring.

As described from the Official Home page, “mtop (MySQL top) monitors a MySQL server showing the queries which are taking the most amount of time to complete. Features include ‘zooming’ in on a process to show the complete query, ‘explaining’ the query optimizer information for a query and ‘killing’ queries. In addition, server performance statistics, configuration information, and tuning tips are provided. “

Debian Installation

If you are using a Debain Server, installing mtop is easy through apt-get

apt-get install mtop

If the Debian installation complains because of the new root password! Change back to empty the root password, and reset it as below.

$ mysql -u root -p

* Enter the following MySQL command:
>SET PASSWORD FOR root@localhost=PASSWORD(”);QUIT;

* install mtop
apt-get install mtop

* Set MySQL root password to irs previous value:

$ mysql -u root -p
>SET PASSWORD FOR root@localhost=PASSWORD(‘YOURROOTPASSWORD’);QUIT;

(Credits for the solution above: https://bugs.launchpad.net/debian/+source/mtop/+bug/77980)

CentOS Installation

Installing the mtop tool on a CentOS system is a little bit more tricky as there is no official support in the main yum channels. Even though, there exists some packages from the website: http://dag.wieers.com/

Based on the architecture you are using, navigate to the http://dag.wieers.com/rpm/packages/mtop/ website and retrieve and install the mtop rpm package.

cd ~

wget http://dag.wieers.com/rpm/packages/mtop/mtop-0.6.6-1.2.el5.rf.noarch.rpm

rpm -ivh wget http://dag.wieers.com/rpm/packages/mtop/mtop-0.6.6-1.2.el5.rf.noarch.rpm

If the installation failes with the message:

warning: mtop-0.6.6-1.2.el5.rf.noarch.rpm: Header V3 DSA signature: NOKEY, key ID 6b8d79e6
error: Failed dependencies:
perl(Curses) is needed by mtop-0.6.6-1.2.el5.rf.noarch

then you need to install Curses. The good news is that http://dag.wieers.com has support also for this library. By navigating to the: http://dag.wieers.com/rpm/packages/perl-Curses/ you will be able to find the Perl Curses library that corresponds to the architecture of your system.
The installation is the same as above, wget and rpm -ivh Curses and agatin mtop.

Artikuj të ngjashëm

• 01/25/2010 — Restarto Apache nese serveri arrin nje limit te caktuar ngarkese (3)
• 12/17/2009 — MySQL Remove Duplicates (0)
• 09/21/2009 — MySQL Database Replication (6)
• 05/02/2009 — Debian and I am loving it (2)

Backup

PhpMyAdmin është një web-program fantastik për administrimin e një databaze në MySQL. Këtë program e instalojmë gjithmonë në serverat e administruar nga Host.al dhe ua rekomandojmë të gjithë klientëve tanë.

Megjithatë ndodh që ka raste që në seksionin e programimit kemi nevojë të punojmë me databaza në servera jo vetëm të kompanisë sonë, por dhe të hostuesve të tjerë. Para 2 ditësh mora një email nga një koleg i punës për backup të një DB MySQL në një server të tillë për të cilin nuk kishim as të dhëna shelli e as të dhëna për ndonjë phpMyAdmin. Në këtë rast nuk mund as të instalohej phpMyAdmin kështuqë databaza duhej bërë backup në një mënyrë tjetër.

Normalisht për të bërë backup një Databazë me anë të phpmydmin shkohet tek menuja Export (ose sipas gjuhës) dhe procedohet më tej.

Export table in PhpMyAdmin

Mënyra më e thjeshtë dhe praktike për mendimin tim është përdorimi i shell. Nëpërmjet shell me komandën mysqldump mund të transferohet lehtësisht e gjithë databaza në një file .sql. Shembull:

mysqldump -u emerperdoruesi -pfjalekalimi emerDB > db.sql

Në rastin kur nuk ka shell, por funksioni exec i PHP është aktiv mund të krijohet një script i thjeshtë php që të thërrasë këtë komandë dhe ta shkruaj në një skedar. Duhet që më parë skedari (psh db.sql) të jetë krijuar dhe të jetë bërë i shkruajtshëm si 666 (rw-rw-rw-).

Në këtë rast përmbajtja e skedarit (psh: mysqldump.php) mund të jetë:

<?php
exec(‘mysqldump -u emerperdoruesi -pfjalekalimi emerDB > db.sql’);

Pas thërritjes nga browseri, në të njëjtën direktori, skedari db.sql do të përmbajë të gjithë përmbajtjen e DB në sintaksë SQL Ansi.

Shpeshherë funksionet e ngjashme me exec (system, shell e të ngjashëm) ndalohen për ekzekutim nga PHP (Psh ne i bllokojmë këto funksione për efekt siguria tek Host.al). Në këtë rast duhet të shkruhet një funksion që të gjenerojë një tekst të gjatë me komandat ANSI SQL që përdoren per DB Dump.

Një shembull për një file të tillë jepet më poshtë:

<?php

//Lidhja me DB

$db=’DBNAME’;
$link = mysql_connect(‘localhost’, ‘EMERPERDORUESI’, ‘FJALEKALIM’);
if (!$link) {
die(‘Could not connect: ‘ . mysql_error());
}
$db_selected = mysql_select_db($db, $link);
if (!$db_selected) {
die (‘Can\’t use dbname : ‘ . mysql_error());
}

//Thërritja e funksionit që shfaq kodin,
//Deklarimi i funksionit është më poshtë

echo ‘<pre>’.mysql_dump($db).’</pre>’;

//Funksioni: Credits: http://snipplr.com/view/173/mysql-dump/
function mysql_dump($database) {
$query = ”;
$tables = @mysql_list_tables($database);
while ($row = @mysql_fetch_row($tables)) { $table_list[] = $row[0]; }

for ($i = 0; $i < @count($table_list); $i++) {

$results = mysql_query(‘DESCRIBE ‘ . $database . ‘.’ . $table_list[$i]);
$query .= ‘DROP TABLE IF EXISTS `’ . $database . ‘.’ . $table_list[$i] . ‘`;’ .”\n\r”;
$query .= “\n\r” . ‘CREATE TABLE `’ . $database . ‘.’ . $table_list[$i] . ‘` (‘ .”\n\r”;
$tmp = ”;
while ($row = @mysql_fetch_assoc($results)) {
$query .= ‘`’ . $row['Field'] . ‘` ‘ . $row['Type'];
if ($row['Null'] != ‘YES’) { $query .= ‘ NOT NULL’; }
if ($row['Default'] != ”) { $query .= ‘ DEFAULT \” . $row['Default'] . ‘\”; }
if ($row['Extra']) { $query .= ‘ ‘ . strtoupper($row['Extra']); }
if ($row['Key'] == ‘PRI’) { $tmp = ‘primary key(‘ . $row['Field'] . ‘)’; }
$query .= ‘,’. “\n\r”;
}
$query .= $tmp . “\n\r” . ‘);’ . str_repeat(“\n\r”, 2);
$results = mysql_query(‘SELECT * FROM ‘ . $database . ‘.’ . $table_list[$i]);
while ($row = @mysql_fetch_assoc($results)) {
$query .= ‘INSERT INTO `’ . $database . ‘.’ . $table_list[$i] .’` (‘;
$data = Array();
while (list($key, $value) = @each($row)) { $data['keys'][] = $key; $data['values'][] = addslashes($value); }
$query .= join($data['keys'], ‘, ‘) . ‘)’ . “\n\r” . ‘VALUES (\” . join($data['values'], ‘\’, \”) . ‘\’);’ . “\n\r”;
}
$query .= str_repeat(“\n\r”, 2);
}
return $query;
}

mysql_close($link);
?>

Artikuj të tjerë