Add a new config to scrap description from babelio

internal/babelio/babelio.go

@@ -0,0 +1,128 @@
+package babelio
+
+import (
+	"errors"
+	"fmt"
+	"io"
+	"net/http"
+	"strings"
+
+	"git.artlef.fr/bibliomane/internal/callapiutils"
+	"git.artlef.fr/bibliomane/internal/myvalidator"
+	"github.com/PuerkitoBio/goquery"
+	"golang.org/x/text/encoding/charmap"
+)
+
+type babelioSearchArg struct {
+	Term string `json:"term"`
+}
+
+type babelioSearchResult struct {
+	//only parsing the url
+	Url string `json:"url"`
+}
+
+func GetDescriptionFromISBN(baseUrl string, isbn string) (string, error) {
+	url, err := searchPageIsbn(baseUrl, isbn)
+	if err != nil {
+		return "", err
+	}
+	//we either find the full summary, or we have to make another call to get it.
+	fullSummary, payloadToQuery, err := parseBookPage(baseUrl, url)
+	if err != nil {
+		return "", err
+	}
+	if fullSummary != "" {
+		return decodeAndCleanText(strings.NewReader(fullSummary)), err
+	} else if payloadToQuery != "" {
+		return queryDescription(baseUrl, payloadToQuery)
+	} else {
+		return "", nil
+	}
+}
+
+func searchPageIsbn(baseUrl, isbn string) (string, error) {
+	searchUrl, err := callapiutils.ComputeUrl(baseUrl, "aj_recherche.php")
+	if err != nil {
+		return "", err
+	}
+	term := babelioSearchArg{Term: isbn}
+	var searchResults []babelioSearchResult
+	callapiutils.FetchAndParseResultFromPost(searchUrl, &term, &searchResults)
+	if len(searchResults) == 0 {
+		return "", myvalidator.TranslatedError{Err: errors.New("ISBNNotFoundBabelio")}
+	}
+
+	return searchResults[0].Url, nil
+}
+
+func parseBookPage(baseUrl, bookUrl string) (string, string, error) {
+
+	url, err := callapiutils.ComputeUrl(baseUrl, bookUrl)
+	if err != nil {
+		return "", "", err
+	}
+	resp, err := http.Get(url.String())
+	if err != nil {
+		return "", "", err
+	}
+	defer resp.Body.Close()
+
+	doc, err := goquery.NewDocumentFromReader(resp.Body)
+	//we either find the full summary, or we have to make another call to get it.
+	fullsummary := ""
+	jsToParse := ""
+	doc.Find(".livre_resume").Each(func(i int, s *goquery.Selection) {
+		onclick, ok := s.Find("a").Attr("onclick")
+		if ok {
+			jsToParse = onclick
+		} else {
+			fullsummary = s.Text()
+		}
+	})
+	if fullsummary != "" {
+		return fullsummary, "", nil
+	}
+	typeStr, idObj, err := extractNumbersFromExpression(jsToParse)
+	if err != nil {
+		return "", "", err
+	}
+	return "", fmt.Sprintf("type=%s&id_obj=%s", typeStr, idObj), nil
+}
+
+func extractNumbersFromExpression(jsToParse string) (string, string, error) {
+	splitted := strings.Split(jsToParse, ",")
+	if len(splitted) < 3 {
+		return "", "", myvalidator.TranslatedError{Err: errors.New("BabelioParseError")}
+	}
+	if len(splitted[2]) < 3 {
+		return "", "", myvalidator.TranslatedError{Err: errors.New("BabelioParseError")}
+	}
+	return splitted[1], splitted[2][:len(splitted[2])-2], nil
+}
+
+func queryDescription(baseUrl string, payloadToQuery string) (string, error) {
+	url, err := callapiutils.ComputeUrl(baseUrl, "aj_voir_plus_a.php")
+	if err != nil {
+		return "", err
+	}
+	resp, err := http.Post(url.String(),
+		"application/x-www-form-urlencoded; charset=UTF-8",
+		strings.NewReader(payloadToQuery))
+	if err != nil {
+		return "", err
+	}
+	defer resp.Body.Close()
+
+	if resp.StatusCode != http.StatusOK {
+		return "", myvalidator.TranslatedError{Err: fmt.Errorf("BabelioFetchDescError")}
+	}
+	return decodeAndCleanText(resp.Body), nil
+}
+
+func decodeAndCleanText(reader io.Reader) string {
+	tr := charmap.Windows1252.NewDecoder().Reader(reader)
+	var decodedString strings.Builder
+	io.Copy(&decodedString, tr)
+	return strings.TrimSpace(strings.ReplaceAll(decodedString.String(), "<br>", "\n"))
+}

internal/babelio/babelio_test.go

@@ -0,0 +1,30 @@
+package babelio
+
+import (
+	"testing"
+
+	"github.com/stretchr/testify/assert"
+)
+
+func TestGetDescriptionFromISBN_Philip(t *testing.T) {
+	desc, err := GetDescriptionFromISBN("https://www.babelio.com", "9782290033630")
+	expectedDesc := `Les bombes étaient finalement tombées. Malgré l'équilibre de la terreur, un jour un homme avait été assez fou pour appuyer sur le bouton. Cependant, dans ce coin perdu de Californie, la vie continuait. Pour Bonny Keller, toujours perturbée malgré six ans d'analyse ; pour Bruno Bluthgeld, l'un des responsables de la grande catastrophe ; pour Hoppy, le phocomèle, l'ancien bébé thalidomide doté de pouvoirs supranormaux... Elle continuait aussi pour Walt Dangerfield, l'astronaute expédié sur mars, mais dont la cabine s'était satellisée autour de la terre. Là, à l'abri des radiations, il s'était transformé en une sorte de super disc-jockey dont l'écoute était devenue une drogue pour tous les survivants...
+Philip K. Dick (1928-1982). A travers une œuvre imposante, il ne cessera de traiter ses thèmes de prédilection : la juxtaposition de deux niveaux de réalité — l'un "objectivement" déterminé, l'autre n'étant qu'un monde d'apparences — et la poranoïa qu'impliquent ces manipulations de la réalité dont personne ne tonnait jamais le degré exact de "virtualité".`
+	if err != nil {
+		t.Error(err)
+		return
+	}
+	assert.Equal(t, expectedDesc, desc)
+}
+
+func TestGetDescriptionFromISBN_Emily(t *testing.T) {
+	desc, err := GetDescriptionFromISBN("https://www.babelio.com", "9782253004752")
+	expectedDesc := `Roman unique, à la croisée du fantastique et du romantisme, ce texte inclassable bouleverse les codes du XIXe siècle par sa violence émotionnelle, sa narration fragmentée et ses personnages à fleur de peau.
+Sur les landes battues par les vents, à l'ombre des murs de Hurlevent, se joue une tragédie d'amour et de vengeance entre Catherine et Heathcliff - deux âmes tourmentées, liées par une passion aussi absolue que destructrice.
+Sublimée par l'univers graphique intense d'Isabella Mazzanti, cette édition s'impose comme un objet littéraire à part, mêlant innovations narratives et force d'évocation. Les images semblent vibrer d'un souffle secret, comme si le vent y faisait surgir, en silence, le tumulte des passions.`
+	if err != nil {
+		t.Error(err)
+		return
+	}
+	assert.Equal(t, expectedDesc, desc)
+}