Il faut sauver le dernier giga de RAM

Damien Lucas

Tech Lead

Architecte

onepoint

dlucasd

dlucasd_

Ivan Béthus

Tech Lead

onepoint

ibethus

"Vous avez 3 semaines !"

Semaine 1

Module Parsing données :

Dump déjà fait et analysé dans Memory Analyser car trop long (Xmx 3Go)
Explication heap dump (grosse volumétrie sur Métadonnée)
Fix sur les métadonnées, seules les 10 premières sont utiles ⇒ le programme passe avec moins de 3Go de RAM
Ok ça passe, mais ça a consommé combien ? on ne peut pas savoir
Utilisation de JFR pour mesurer la consommation mémoire
On lance le programme avec la commande de JFR : -XX:StartFlightRecording=duration=200s
On lance JMC et on importe le fichier dedans → permet d’analyser les classes les plus instanciées

pour préparer cette démo : 1/ avoir exécuté le module avec un Xmx3g + écriture d’un heap dump dans un fichier. 2/ avoir ouvert Memory Analyser avec le heap dump de 3go car assez long (10/15min). La démo n’a pas besoin de base de données.

Générer un dump mémoire

jmap -dump:[live],format=b,file=<file-path> <pid>

jcmd <pid> GC.heap_dump <file-path>

java -XX:+HeapDumpOnOutOfMemoryError #optionnel : -Xmx1g

Eclipse Memory Analyser

Lancer JFR

java -XX:StartFlightRecording=duration=200s

JDK Mission Control

Semaine 2

le composant est long sur l’accès à la base de données, l’étape 1 dure longtemps
du coup, je viens d’installer pg_stat_statements, et je passe le show_sql=true pour voir
lancement en mode profiling IntelliJ
N+1 query ⇒ modification Courrier ⇒ pas possible ⇒ modification de la Query LEFT JOIN FETCH ⇒ ok, moins de requête mais rien à voir avec de l’optim mémoire
courriers.csv ⇒ quoi ? on n’utilise que deux colonnes! ⇒ projection
moins de données ramenées ⇒ on peut mieux faire avec un Stream dans le repo
tuning : @QueryHint(name = HINT_FETCH_SIZE, value = "300000")
ok, on check pg_stat_statements ⇒ c’est quoi cette requête sur config ?
pas dans le code ⇒ hypersistence-utils

pour préparer cette démo : 1/ avoir 4 000 000 de courriers dans la base de données ⇒ voir le script de génération, qui génère les INSERT. Ce fichier est prit à l’initialisation du conteneur base de données dans le docker compose

pg_stat_statements

- Ajout dans le fichier postgresql.conf :
shared_preload_libraries = 'pg_stat_statements'
- Redémarrage de PostgreSQL

create extension pg_stat_statements;
select pg_stat_statements_reset();

Projections fermées

interface CourrierReporting {
	String getVille();
	String getDestinataire();
}

Projections ouvertes

interface CourrierReporting {
	String getVille();
	String getDestinataire();

	default String getFullDestinataire() {
		return getDestinataire().concat(" ").concat(getVille());
	}
}

Récupérer une liste de courriers

public interface CourrierRepository extends JpaRepository<Courrier, Long> {
	Stream<Courrier> getByVille(String ville);
	Page<Courrier> getByVille(String ville, Pageable p);
	Slice<Courrier> getByVille(String ville, Pageable p);
}

hypersistence-utils

<dependency>
    <groupId>io.hypersistence</groupId>
    <artifactId>hypersistence-utils-hibernate-63</artifactId>
    <version>3.7.3</version>
</dependency>

Semaine 3

Les listes, c’est bien…

…les stream, c’est mieux ! (enfin, parfois)

Ajouter un cache

@EnableCaching
public class MaClasseDeConfiguration {
}

@Repository
public interface MonRepository extends JpaRepository<MonEntite, Long> {

	@Cacheable("leNomDeMonCache")
	List<MonEntite> findByParam(String param);

}

Livraison

To be continued…

T.HANKS